华为云用户手册

  • 支持安装Agent数据库类型及版本 支持的数据库类型及版本如表2所示。 表2 数据库安全审计支持的数据库类型和版本 数据库类型 版本 MySQL 5.0、5.1、5.5、5.6、5.7 8.0(8.0.11及以前的子版本) 8.0.20 8.0.23 8.0.25 Oracle (因Oracle为闭源协议,适配版本复杂,如您需审计Oracle数据库,请先联系客服人员) 11g 11.1.0.6.0 、11.2.0.1.0 、11.2.0.2.0、11.2.0.3.0、11.2.0.4.0 12c 12.1.0.2.0 、12.2.0.1.0 19c PostgreSQL 7.4 8.0 8.0、8.1、8.2、8.3、8.4 9.0 9.0、9.1、9.2、9.3、9.4、9.5、9.6 10.0 10.0、10.1、10.2、10.3、10.4、10.5 11.0 12.0 13.0 14.0 SQL Server 2008、2008R2 2012 2014 2016 2017 DWS 1.5 8.1 SHENTONG V7.0 GBase 8a V8.5 GBase 8s V8.8 Gbase XDM Cluster V8.0 Greenplum V6.0 HighGo V6.0 GaussDB (for MYSQL) MySQL 8.0 GaussDB 1.4企业版 DAMENG DM8 KINGBASE V8 MongoDB V5.0 DDS 4.0 Hbase (华为 云审计 实例:23.02.27.182148 及其之后的版本支持) 1.3.1 2.2.3 Hive (华为云审计实例:23.02.27.182148 及其之后的版本支持) 1.2.2 2.3.9 3.1.2 3.1.3
  • 支持免安装Agent数据库类型及版本 部分数据库类型及版本支持免安装Agent方式,如表1所示。 表1 支持免Agent安装的关系型数据库 数据库类型 支持的版本 GaussDB for MySQL 默认都支持 RDS for SQLServer (华为云审计实例:23.02.27.182148 及其之后的版本支持) 默认都支持 RDS for MySQL 5.6(5.6.51.1及以上版本) 5.7(5.7.29.2及以上版本) 8.0(8.0.20.3及以上版本) GaussDB(DWS) 8.2.0.100及以上版本 PostgreSQL (华为云审计实例:23.04.17.123301 及其之后的版本支持) 14(14.4及以上版本) 13(13.6及以上版本) 12(12.10及上版本) 11(11.15及以上版本) 9.6(9.6.24及以上版本) 9.5(9.5.25及以上版本) RDS for MariaDB 默认都支持
  • 组织人员默认权限说明 管理员为组织人员分配权限时,系统也将为该角色自动添加默认权限。 表1 默认权限说明 合作伙伴身份 角色默认权限 GrowCloud伙伴 主页 账号 账户信息 查看账户余额 充值 提现 设置余额预警 伙伴信息 基本信息 查看公司信息 查看个人信息 查看账号信息 修改账号信息 管理我的凭证 支持 查看新闻动态 查看实名认证信息 GoCloud伙伴 主页 账号 伙伴信息 基本信息 查看公司信息 查看个人信息 查看账号信息 修改账号信息 管理我的凭证 支持 方案 查看新闻动态 查看实名认证信息 父主题: 伙伴组织管理
  • 在配置服务级条件键billing:cloudServiceType后,接口调用返回CBC.0151 配置服务级条件键billing:cloudServiceType如图所示: 目前服务级条件键billing:cloudServiceType仅支持退订权限项billing:subscription:unsubscribe。 如果配置此条件键后出现以下情况报错: { "error_code": "CBC.0151", "error_msg": "user access denied.checkCustomerPermission,correct permission code is billing:order:view" } 可用以下办法解决: 单独设置退订权限项billing:subscription:unsubscribe和服务级条件键billing:cloudServiceType,与其他权限项配置分开。 登陆新版控制台。 对原有策略进行修改,配置退订权限项。 确保策略内容列为允许,云服务列为billing,操作列写操作勾选billing:subscription:unsubscribe。如下图所示。 退订权限项下配置云服务级条件键。 选择请求条件(可选)列,单击添加条件。添加请求条件弹框中填写如下内容: 条件键:billing:cloudServiceType 运算符:StringEquals 值:hws.service.type.ebs 复制策略,配置其他不受云服务级条件键影响的权限。 单击克隆键,复制一条新的策略。删除新策略特定条件列中的条件。 取消勾选新策略操作列写操作billing:subscription:unsubscribe。单击确定,修改完成。 父主题: 细粒度鉴权
  • 数据源简介 表2 数据源简介 数据源类型 简介 数据仓库 服务(DWS) 华为云DWS是基于Shared-nothing分布式架构,具备MPP大规模并行处理引擎,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 数据湖探索 DLI ) 华为云DLI是完全兼容Apache Spark和Apache Flink生态,实现批流一体的Serverless大数据计算分析服务。DLI支持多模引擎,企业仅需使用SQL或程序就可轻松完成异构数据源的批处理、流处理、内存计算、机器学习等,挖掘和探索数据价值。 MapReduce服务 MRS HBase) HBase是一个开源的、面向列(Column-Oriented)、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。 使用MRS HBase可实现海量数据存储,并实现毫秒级数据查询。选择MRS HBase可以实现物流数据毫秒级实时入库更新,并支持百万级时序数据查询分析。 MapReduce服务(MRS Hive) Hive是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive定义了简单的类 SQL 查询语言,称为HiveQL,它允许熟悉SQL的用户查询数据。 使用MRS Hive可实现TB/PB级的数据分析,快速将线下Hadoop大数据平台(CDH、HDP等)迁移上云,业务迁移 “0”中断,业务代码 “0”改动。 MapReduce服务(MRS Kafka) 华为云MapReduce服务可提供专属MRS Kafka集群。Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。 MapReduce服务(MRS Spark) Spark是一个开源的,并行数据处理框架,能够帮助用户简单的开发快速、统一的大数据应用,对数据进行协处理、流式处理、交互式分析等等。 Spark提供了一个快速的计算、写入以及交互式查询的框架。相比于Hadoop,Spark拥有明显的性能优势。Spark提供类似SQL的Spark SQL语言操作结构化数据。 MapReduce服务(MRS Clickhouse) ClickHouse是一款开源的面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是极致压缩率和极速查询性能。同时,ClickHouse支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。 当前ClickHouse被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域,非常适用于商业智能化应用场景。 MapReduce服务(MRS Impala) Impala直接对存储在HDFS、HBase或 对象存储服务 (OBS)中的Hadoop数据提供快速、交互式SQL查询。除了使用相同的统一存储平台之外,Impala还使用与Apache Hive相同的元数据,SQL语法(Hive SQL),ODBC驱动程序和用户界面(Hue中的Impala查询UI)。这为实时或面向批处理的查询提供了一个熟悉且统一的平台。作为查询大数据的工具的补充,Impala不会替代基于MapReduce构建的批处理框架,例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 MapReduce服务(MRS Ranger) Ranger提供一个集中式安全管理框架,提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 MapReduce服务(MRS Hudi) Hudi是一种 数据湖 的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。支持多种计算引擎,提供IUD接口,在 HDFS的数据集上提供了插入更新和增量拉取的流原语。 Hudi的元数据存放在Hive中,操作通过Spark进行。 MapReduce服务(MRS Presto) Presto是一个开源的用户交互式分析查询的SQL查询引擎,用于针对各种大小的数据源进行交互式分析查询。其主要应用于海量结构化数据/半结构化数据分析、海量多维数据聚合/报表、ETL、Ad-Hoc查询等场景。 Presto允许查询的数据源包括Hadoop分布式文件系统(HDFS),Hive,HBase,Cassandra,关系数据库甚至专有数据存储。一个Presto查询可以组合不同数据源,执行跨数据源的数据分析。 MapReduce服务(MRS Doris) Doris是一个高性能、实时的分析型数据库,仅需亚秒级响应时间即可返回海量数据下的查询结果,不仅可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。因此,Apache Doris 能够较好的满足报表分析、即时查询、统一数仓构建、数据湖联邦查询加速等使用场景。 云数据库 RDS 华为云RDS是一种基于 云计算平台 的即开即用、稳定可靠、弹性伸缩、便捷管理的在线关系型数据库服务。 注意, DataArts Studio 平台目前仅支持RDS中的MySQL和PostgreSQL数据库。 MySQL MySQL是目前最受欢迎的开源数据库之一,其性能卓越,架构成熟稳定,支持流行应用程序,适用于多领域多行业,支持各种WEB应用,成本低,中小企业首选。 ORACLE ORACLE数据库系统是以 分布式数据库 为核心的一组软件产品,是目前最流行的客户/服务器(CLIENT/SERVER)或B/S体系结构的数据库之一。 ORACLE数据库是目前世界上使用最为广泛的数据库管理系统,作为一个通用的数据库系统,它具有完整的数据管理功能;作为一个关系数据库,它是一个完备关系的产品;作为分布式数据库它实现了分布式处理功能。 实时数据接入 DIS 使用实时数据接入通道,可实现跨空间作业调度。若使用数据通道连接,可以向其他账号的DIS通道发送消息;若不使用,仅能给本账号下所有region的通道发送消息。 Rest Client 通过Rest Client 执行一个RESTful请求。目前支持 IAM Token、用户名密码两种认证鉴权方式的RESTful请求。 主机连接 通过主机连接,用户可以在DataArts Studio数据开发中连接到指定的主机,通过脚本开发和作业开发在主机上执行Shell或Python脚本。主机连接保存连接某个主机的连接信息,当主机的连接信息有变化时,只需在主机连接管理中编辑修改,而不需要到具体的脚本或作业中逐一修改。
  • 测试API 填写入参取值。 如果单个参数需要传多个值时,写法如下: 字符串:'a','b','c' 数值:1,2 字段:a,b,c 图8 填写入参取值 (可选)调整排序参数描述pre_order_by的值。 系统根据排序参数信息已给出默认值,默认升序排序。一般而言,排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。 pre_order_by是非必填参数,默认取必选排序字段升序作为排序的依据。 当配置pre_order_by参数值时,需严格按照排序参数列表中配置的排序参数顺序、可选属性和排序方式进行配置,否则会调用失败。 图9 调整排序参数描述pre_order_by的值 (可选)调整分页参数值。 系统会对返回数据进行分页,pageSize表示分页后的页面大小,pageNum表示页码。默认按100的大小分页,返回第1页数据。 API调试时,page_size (系统默认) 最大为100,当page_size值大于100时,默认查出的数据仍为100条。 图10 调整分页参数值 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,请仔细查看错误提示并做相应的修改重新测试。 完成API测试之后,单击“确定”,即成功生成了一个数据API。
  • 测试API 填写入参取值。 如果单个参数需要传多个值时,写法如下: 字符串:'a','b','c' 数值:1,2 字段:a,b,c 图7 填写入参取值 (可选)调整排序参数描述pre_order_by的值。 系统根据排序参数信息已给出默认值,默认升序排序。一般而言,排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。 pre_order_by是非必填参数,默认取必选排序字段升序作为排序的依据。 当配置pre_order_by参数值时,需严格按照排序参数列表中配置的排序参数顺序、可选属性和排序方式进行配置,否则会调用失败。 图8 调整排序参数描述pre_order_by的值 (可选)查看分页参数值。 采用默认分页方式时,可以查看分页参数情况,其中pageSize表示分页后的页面大小,pageNum表示页码。默认按100的大小分页,返回第1页数据。 图9 查看分页参数值 完成API参数的配置并保存后,单击左下角的“开始测试”,可进入API测试环节。 填写参数值,单击“开始测试”,即可在线发送API请求,在右侧可以看到API请求详情及返回内容。 测试过程中,当数据服务API查询返回值超过默认30秒无结果时,会报超时错误。 如果测试失败,请仔细查看错误提示并做相应的修改重新测试。 完成API测试之后,单击“确定”,即成功生成了一个数据API。
  • 配置取数逻辑 本例中以脚本方式说明如何配置API取数逻辑。Mybatis方式与之相比差异在于参数解析形式和支持的语法差异,在使用流程上没有区别。 如果使用Mybatis方式生成API,则需要将本章节脚本中的参数解析格式由${parameter}修改为#{parameter}形式,另外Mybatis方式支持的标签语法可在界面中单击脚本编辑处的,查看弹出的Mybatis脚本编辑提示。 “取数方式”选择“脚本方式”或“MyBatis方式”: 选择数据源、数据连接、数据库等数据信息。 数据服务仅支持部分数据源,详情请参见DataArts Studio支持的数据源。您需提前在DataArts Studio管理中心中配置好数据源,按照脚本编辑提示要求输入SQL语句。 选择分页方式,推荐使用自定义分页方式。 默认分页是指在创建API时输入了SQL,数据服务会自动基于SQL外层包装分页逻辑。 例如输入的SQL脚本为: SELECT * FROM userinfo WHERE id=${userid} 数据服务在处理调试或者调用时,将自动在用户SQL外层包装分页逻辑,从而变成以下脚本: SELECT * FROM (SELECT * FROM userinfo WHERE id=${userid}) LIMIT {limitValue} OFFSET {offsetValue} 其中limitValue表示读取的数据条数,offsetValue表示跳过的数据条数(即偏移量),例如limitValue为20、offsetValue为40时,表示跳过40条数据,然后读取20条数据。一般而言,limitValue和offsetValue可作为入参,在调试或者调用API时传入值。如果未定义limitValue或offsetValue,系统将默认赋值。 自定义分页是指在创建API时,数据服务将不对SQL进行处理,分页逻辑需要在写SQL时由用户自定义。 如果已知需要读取的数据条数limitValue和需要跳过的数据条数offsetValue,则分页逻辑可以写成以下脚本: SELECT * FROM userinfo WHERE id=${userid} LIMIT {limitValue} OFFSET {offsetValue} 而在实际使用中,更多的是根据分页后的页面大小pageSize和页码pageNum定义分页逻辑,脚本样式如下: SELECT * FROM userinfo WHERE id=${userid} LIMIT {pageSize} OFFSET {pageSize*(pageNum-1)} 值得注意的是,不同的数据源具有不同的语法风格,分页脚本应按照数据源语法要求调整。例如: DLI数据源不支持“LIMIT {limitValue} OFFSET {offsetValue}”的写法,仅支持“LIMIT {limitValue}” 。 HETU数据源分页需要反转,不支持“LIMIT {limitValue} OFFSET {offsetValue}”的写法,仅支持“OFFSET {offsetValue} LIMIT {limitValue}”。 编写API查询SQL。 在脚本编辑页面,单击脚本编辑处的,按照脚本编辑提示开发SQL查询语句。单击可将入参添加为SQL语句的API请求参数。 例如,需要在用户表中根据用户ID查询用户信息时,取值脚本可写为如下脚本。其中,“id”为userinfo表中的字段,“userid”为API中定义的入参。 SELECT * FROM userinfo WHERE id=${userid} 如果分页方式为自定义分页,页面大小pageSize为10、页码pageNum为2时,按照LIMIT {pageSize} OFFSET {pageSize*(pageNum-1)}转换方法,脚本可写为: SELECT * FROM userinfo WHERE id=${userid} LIMIT 10 OFFSET 10 图3 编写API查询SQL 脚本编辑完成后,单击脚本编辑窗口下方的“测试SQL”,填写入参值,执行验证是否能返回预期结果。如果测试失败,可在“预览SQL”页签下查看实际运行的SQL语句是否符合预期,或者通过“日志”页签查看报错信息。 图4 测试SQL SELECT查询的字段即为API返回参数,支持通过AS返回别名。 WHERE条件中的参数为API请求参数,脚本方式下参数格式为${参数名},MyBatis方式下参数格式为#{参数名}。 专享版数据服务支持返回总条数,开启后可返回取值脚本执行结果数据的总条数。 如果单个参数需要传多个值时,写法如下: 字符串:'a','b','c' 数值:1,2 字段:a,b,c 添加排序参数。 在排序参数列表中,单击“新建”可设置排序字段。 字段名称对外不可见,是所选的数据表中的字段,是API调用时实际访问的内容。在API查询SQL语句已编写完成且测试通过的前提下,可在“字段名称”输入框中选择排序字段。 变量可自定义,用于与字段名称关联。在“变量”输入框中输入参数名称(一般填写为参数名称即可),系统会自动修改为变量形式。 是否可选决定了调用API时此排序参数是否必选,勾选则表示可以不使用此参数。 排序方式分为升序、降序以及自定义,表示了当前参数允许使用的排序形式。如果设置为升序或降序,在API测试或调用时,如果排序参数描述pre_order_by的值与此处设置不符,则会导致调用失败。 排序字段需要添加到SQL脚本中才能生效,单击将排序参数添加到SQL语句,使用ORDER BY排序。 例如,需要在用户表中根据用户ID查询用户信息,通过age和kk两个字段排序,页面大小pageSize为10、页码pageNum为2时,脚本样例如下。 SELECT * FROM userinfo WHERE id=${userid} order by (${age},${kk}) LIMIT 10 OFFSET 10 图5 添加排序参数 脚本编辑完成后,单击脚本编辑窗口下方的“测试SQL”,填写入参值和pre_order_by参数值,执行验证是否能返回预期结果。其中pre_order_by参数值已由系统根据排序参数信息给出默认值,默认升序排序。一般而言,排序参数描述pre_order_by的值填写形式为“排序参数参数名:ASC”或“排序参数参数名:DESC”,其中ASC表示升序,DESC表示降序,多个排序参数描述以“英文分号”进行分隔。 如果测试失败,可在“预览SQL”页签下查看实际运行的SQL语句是否符合预期,或者通过“日志”页签查看报错信息。 pre_order_by是非必填参数,默认取必选排序字段升序作为排序的依据。 当配置pre_order_by参数值时,需严格按照排序参数列表中配置的排序参数顺序、可选属性和排序方式进行配置,否则会调用失败。 图6 测试SQL 单击“下一步”,进行API测试页面。
  • 下载或转储脚本执行结果 脚本运行成功后,支持下载和转储SQL脚本执行结果。系统默认支持所有用户都能下载和转储SQL脚本的执行结果。如果您不希望所有用户都有该操作权限,可参考配置数据导出策略进行配置。 脚本执行完成后在“执行结果”中,单击“下载”可以直接下载 CS V格式的结果文件到本地。可以在下载中心查看下载记录。 脚本执行完成后在“执行结果”中,单击“转储”可以将脚本执行结果转储为CSV和JSON格式的结果文件到OBS中,详情请参见表7。 转储功能依赖于OBS服务,如无OBS服务,则不支持该功能。 当前仅支持转储SQL脚本查询类语句的结果。 表7 转储配置 参数 是否必选 说明 数据格式 是 目前支持导出CSV和JSON格式的结果文件。 资源队列 否 选择执行导出操作的DLI队列。当脚本为DLI SQL时,配置该参数。 压缩格式 否 选择压缩格式。当脚本为DLI SQL时,配置该参数。 none bzip2 deflate gzip 存储路径 是 设置结果文件的OBS存储路径。选择OBS路径后,您需要在选择的路径后方自定义一个文件夹名称,系统将在OBS路径下创建文件夹,用于存放结果文件。 您也可以到下载中心配置默认的OBS路径地址,配置好后在转储时会默认填写。 覆盖类型 否 如果“存储路径”中,您自定义的文件夹在OBS路径中已存在,选择覆盖类型。当脚本为DLI SQL时,配置该参数。 覆盖:删除OBS路径中已有的重名文件夹,重新创建自定义的文件夹。 存在即报错:系统返回错误信息,退出导出操作。 是否导出列名 否 是:导出列名 否:不导出列名 字符集 否 UTF-8:默认字符集。 GB2312:当导出数据中包含中文字符集时,推荐使用此字符集。 GBK:国家标准GB2312基础上扩容后兼容GB2312的标准。 相对于直接查看SQL脚本的执行结果,通过下载和转储能够支持获取更多的执行结果。各类SQL脚本查看、下载、转储支持的规格如表8所示。 表8 SQL脚本支持查看/下载/转储规格 SQL类型 在线查看最大结果条数 下载最大结果条数 转储最大结果条数 DLI 1000 1000 无限制 Hive 1000 1000 10000 DWS 1000 1000 10000 Spark 1000 1000 10000 RDS 1000 1000 不支持
  • 质量监控 对已编排好的单任务作业关联质量作业,当前暂不支持单任务Data Migration作业和单任务的实时作业。 质量监控支持并行和串行两种方式。单击画布右侧“质量监控”页签,展开配置页面,配置如表6所示的参数。 表6 质量监控配置 参数 说明 执行方式 选择质量监控的执行方式: 并行:并行模式下,所有质量作业算子的上游都被设置为主算子。 串行:串行模式下,质量作业将依照配置面板由上至下的顺序依次串联,顶部的质量作业依赖于主算子。 质量作业 关联质量作业。 单击“新增”,右侧自动弹出Data Quality Monitor算子的页面。 节点名称可自定义。 DQC作业类型选择“质量作业”。 说明: 对账作业目前不支持。 选择需要关联的“质量作业名称”,其他参数根据实际业务需要配置。如果没有质量作业,请参考新建质量作业创建一个质量作业。 说明: 单击“新增”可以关联多个质量作业。 单击可以修改已关联的质量作业。 单击可以删除已关联的质量作业。 是否忽略质量作业告警 是:质量作业告警可以忽略 否:质量作业告警不可忽略,产生告警时,上报告警。 配置高级参数。 配置节点执行的最长时间。设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将会再次重试。 失败重试。节点执行失败后,是否重新执行节点。 是:重新执行节点,请配置以下参数。 超时重试 最大重试次数 重试间隔时间(秒) 否:默认值,不重新执行节点。 说明: 如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后,系统支持再重试。 当节点运行超时导致的失败不会重试时,您可前往“默认项设置”修改此策略。 当“失败重试”配置为“是”才显示“超时重试”。 节点执行失败后的操作: 终止当前作业执行计划:停止当前作业运行,当前作业实例状态显示为“失败”。 继续执行下一节点:忽略当前节点失败,当前作业实例状态显示为“忽略失败”。 挂起当前作业执行计划:暂停当前作业运行,当前作业实例状态显示为“等待运行”。 终止后续节点执行计划:停止后续节点的运行,当前作业实例状态显示为“失败”。 单击“确定”,质量监控配置完成。
  • 调测并保存作业 作业配置完成后,请执行以下操作: 单击画布上方的运行按钮,运行作业。 用户可以查看该作业的运行日志,单击“查看日志”可以进入查看日志界面查看日志的详细信息记录。 运行完成后,单击画布上方的保存按钮,保存作业的配置信息。 保存后,在右侧的版本里面,会自动生成一个保存版本,支持版本回滚。保存版本时,一分钟内多次保存只记录一次版本。对于中间数据比较重要时,可以通过“新增版本”按钮手动增加保存版本。
  • 配置作业参数 作业参数为全局参数,可用于作业中的任意节点。操作方法如下: 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。 表4 作业参数配置 功能 说明 变量 新增 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 删除 在参数值文本框后方,单击,删除作业常量。 工作空间环境变量 查看工作空间已配置的变量和常量。 单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例 作业运行调度的实例个数。 单次调度场景默认为1。 事件驱动调度场景默认为1。 周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。 在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。 如果参数配置了依赖作业实际运行时产生的数据,参数预览功能中无法模拟此类数据,则该数据不展示。
  • 配置作业参数 作业参数为全局参数,可用于作业中的任意节点。操作方法如下: 单击编辑器右侧的“参数”,展开配置页面,配置如表4所示的参数。 表4 作业参数配置 功能 说明 变量 新增 单击“新增”,在文本框中填写作业参数的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改。 掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。 删除 在参数值文本框后方,单击,删除作业参数。 常量 新增 单击“新增”,在文本框中填写作业常量的名称和参数值。 参数名称 名称只能包含字符:英文字母、数字、中划线和下划线。 参数值 字符串类的参数直接填写字符串,例如:str1 数值类的参数直接填写数值或运算表达式。 参数配置完成后,在作业中的引用格式为:${参数名称} 编辑参数表达式 在参数值文本框后方,单击,编辑参数表达式,更多表达式请参见表达式概述。 修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。 删除 在参数值文本框后方,单击,删除作业常量。 工作空间环境变量 查看工作空间已配置的变量和常量。 单击“作业参数预览”页签,展开预览页面,配置如表5所示的参数。 表5 作业参数预览 功能 说明 当前时间 仅单次调度才显示。系统默认为当前时间。 事件触发时间 仅事件驱动调度才显示。系统默认为事件触发时间。 周期调度 仅周期调度才显示。系统默认为调度周期。 具体时间 仅周期调度才显示。周期调度配置的具体运行时间。 起始日期 仅周期调度才显示。周期调度的生效时间。 后N个实例 作业运行调度的实例个数。 单次调度场景默认为1。 事件驱动调度场景默认为1。 周期调度场景 当实例数大于10时,系统最多展示10个日期实例,系统会自动提示“当前参数预览最多支持查看10个实例”。 在作业参数预览中,如果作业参数配置存在语法异常情况系统会给出提示信息。 如果参数配置了依赖作业实际运行时产生的数据,参数预览功能中无法模拟此类数据,则该数据不展示。
  • API返回数据规格 数据服务适用于小批量数据的快速响应交互场景,不适用于将大量数据通过API的方式返回。当前通过数据服务API返回数据的规格如下表所示。 表5 API的返回数据条数限制 API分类 使用场景 数据源 默认规格 配置类API 调试API DLI/MySQL/RDS/DWS 10 调用API DLI/MySQL/RDS/DWS 100 脚本类API 测试SQL - 10 调试API DLI 默认分页:100 自定义分页:1000 MySQL/RDS/DWS 默认分页:10 自定义分页:2000 调用API DLI 默认分页:100 自定义分页:1000 MySQL/RDS/DWS 默认分页:10 自定义分页:2000
  • 共享版规格 数据服务共享版无具体的规格指标,在表3中给出了用户创建和使用API的相关配额说明。 如果您需要修改默认限制值,请参考如何申请扩大配额。 表3 数据服务使用限制明细 限制项 默认限制 能否修改 API分组数量 每个用户最多创建50个API分组。 √ API数量 每个用户最多创建200个API。 √ 后端策略数量 每个用户最多创建5个后端策略。 √ 应用数量 每个用户最多创建50个应用。应用配额包括用户自行创建的应用和API市场购买API生成的应用。 √ 流控策略数量 每个用户最多创建30个流控策略。 用户流量限制不超过API流量限制。 应用流量限制不超过用户流量限制。 源IP流量限制不超过API流量限制。 √ 访问控制策略数量 每个用户最多可以创建100个访问控制策略。 √ VPC通道数量 每个用户最多创建30个VPC通道。 √ 变量数量 每个分组在任意一个环境中,最多创建50个变量。 √ 弹性云服务器数量 每个VPC通道最多添加200个弹性云服务器。 √ 参数数量 每个API最多创建50个参数。 √ 发布历史数量 同一个API在每个环境中最多纪录10条最新的发布历史。 √ 每个API的访问频率 不超过200次/秒。 √ 特殊应用 阈值不超过API流量限制值。 x 子域名访问次数 每个子域名每天最多可以访问1000次。 x 调用请求包的大小 API每次最大可以调用12M的请求包 x TLS协议 支持TLS1.1和TLS1.2,推荐使用TLS1.2。 x 实名认证 未实名认证的用户,无法进行任何的创建操作。 x
  • 共享版与专享版对比 数据服务当前提供共享版与专享版两种服务方式。其中共享版数据服务即开即用,专享版数据服务需要购买专享版集群增量包,并在实例中管理API。 专享版数据服务常用于企业内部系统解耦,各服务部署在云上的VPC内,服务之间以RESTful API方式通信,通信链路在VPC内部进行,网络安全得到进一步保障。同时专享版实例支持前端或后端服务部署在公有网络,通过绑定弹性公网IP实现网络交互。 表1 共享版与专享版数据服务差异 差异项 共享版 专享版 计费 - 根据集群规格按包年包月计费。 按照API使用额度计费:每个工作空间具有10个API免费试用额度,超过试用配额每天每个API按1元收费。 网络访问 公网访问。 实例运行在虚拟私有云(VPC)中,在VPC内,使用实例子网地址调用API。 可通过开启公网入口与出口访问,允许外部服务调用API,及后端部署在外部网络环境中。 云市场售卖 API可在云市场公开售卖。 不支持将API上架到云市场公开售卖。 使用对象 小型用户。 物理隔离要求较低,能够开箱即用,快速实现API能力开放。 中大型用户。 专享版数据服务拥有物理隔离的独立集群, 更丰富的特性。 满足内部API调用跟API开放,独立的出、入网带宽选择。 数据服务的共享版与专享版在功能上的异同点如下表所示。 表2 共享版与专享版数据服务功能差异 规格分类 规格描述 共享版 专享版 基本功能 精细化流控策略 30个 500个 IP&用户访问控制 √ √ 安全认证 √ √ API生命周期管理 √ √ 自定义域名 √ √ Excel导入导出 √ √ 支持VPC通道 √ √ API参数编排-配置方式 √ √ API参数编排-脚本方式 √ √ API参数编排-MyBatis方式 × √ API编排 × √ 注册现有API √ × 返回总条数 × √ API分组变量管理 √ √ 高级功能 自定义认证 √ √ 创建应用 50个 1000个 支持对接API云市场 √ × 支持协议 HTTP或HTTPS HTTPS 支持API策略路由 √ √ 运维分析展示 √ √ 支持后端负载均衡 × √ 支持内部API管理 × √ 后端支持对接私有云 × √ 支持对接专线服务 × √ 性能指标 独立物理多租集群 × √ 出、入网带宽独立 × √ 推荐每秒请求次数 200TPS 8000-30000TPS
  • 诊断数据安全风险 数据安全诊断当前支持敏感数据保护、数据权限控制和数据源保护三大诊断项,诊断详情如图1所示。 图1 数据安全诊断详情 数据安全风险诊断的操作步骤如下,请您根据需要定期扫描处理,建议至少每月进行一次扫描,以保障数据使用过程的安全可靠。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图2 选择数据安全 单击左侧导航树中的“数据安全诊断”,进入数据安全诊断页面。 图3 数据安全诊断 根据需要,选择敏感数据保护、数据权限控制或数据源保护页签,单击“开始扫描”或“重新扫描”,进行安全诊断。 扫描结束后,请您根据安全扫描结果和处理建议,识别风险项并单击“处理风险”进行优化,保障数据使用过程的安全可靠。 另外,中风险及高风险等级的风险问题属于潜在的安全隐患,建议您尽快处理。下图以敏感数据保护为例查看该检查项目前的风险等级及诊断结果。 图4 安全诊断结果
  • 故障原因 子账号权限不足,仅为操作账号配置了SA FullAccess或SA ReadOnlyAccess策略权限,未配置“Tenant Guest”角色。 目前,“SA FullAccess”或“SA ReadOnlyAccess”权限需要配合“Tenant Guest”权限才能使用。具体说明如下: 配置SA所有权限:“SA FullAccess”和“Tenant Guest”权限。 其中,如果需要使用SA的资源管理和基线检查功能需要配置以下权限: 资源管理:“SA FullAccess”和“Tenant Administrator”权限,详细操作请参见配置相关功能所需的权限。 基线检查:“SA FullAccess”、“Tenant Administrator”和IAM相关权限,详细操作请参见配置相关功能所需的权限。 配置SA只读权限:“SA ReadOnlyAccess”和“Tenant Guest”权限。
  • 修订记录 发布日期 修改记录 2023-06-08 第三十次正式发布。 本次更新说明如下: 新增SA与SecMaster服务的关系与区别?章节内容。 优化 态势感知 与其他安全服务之间的关系与区别?章节中的描述信息。 优化SA与HSS服务的区别?章节中的描述信息。 更新如何给账号配置相关功能所需的权限?章节中的描述信息。 2022-11-24 第二十九次正式发布。 本次更新说明如下: 更新态势感知支持跨区域使用吗?章节内容,新增region。 更新“态势感知支持退订吗?”章节中的退订图片说明。 优化文档描述。 2022-10-26 第二十八次正式发布。 本次更新说明如下: 更新“态势感知支持退订吗?”章节中的退订说明。 新增区域与可用区章节内容。 2022-08-30 第二十七次正式发布。 本次更新说明如下: 新增常见问题以下常见问题: 如何处理SA的403 forbidden报错? 为什么WAF、HSS中的数据和SA中的数据不一致? 2022-02-11 第二十六次正式发布。 本次更新说明如下: 刷新SA与HSS服务的区别?章节内容,删除了安全编排功能相关描述。 刷新如何处理暴力破解告警事件?章节内容,删除了安全编排功能相关描述。 2022-01-22 第二十五次正式发布。 本次更新说明如下: 刷新如何给账号配置相关功能所需的权限?章节内容,新增资源管理功能权限相关描述。 2022-01-11 第二十四次正式发布。 本次更新说明如下: 刷新如何更新安全评分?章节内容,安全概览全新升级,更新安全概览相关描述。 2021-11-11 第二十三次正式发布。 本次更新说明如下: 新增了标准版相关描述。 2021-08-02 第二十二次正式发布。 本次更新说明如下: 新增常见问题如何给账号配置相关功能所需的权限?。 2021-03-12 第二十一次正式发布。 本次更新说明如下: 新增了为什么不能使用主机漏洞和网站漏洞功能?问答。 2020-12-24 第二十次正式发布。 本次更新说明如下: 新增了如何更新安全评分?问答。 2020-11-19 第十九次正式发布。 本次更新说明如下: 新增了SA与HSS服务的区别?问答; 新增了如何处理暴力破解告警事件?问答。 2020-10-10 第十八次正式发布。 本次更新说明如下: 修改了为什么主机最大配额不能小于主机数量?问答; 修改了态势感知如何变更专业版规格?问答。 2020-08-28 第十七次正式发布。 本次更新说明如下: 修改了态势感知如何变更专业版规格?问答; 修改了“态势感知支持退订吗?”问答; 修改了“态势感知即将到期如何续费?”问答。 2020-07-09 第十六次正式发布。 本次更新说明如下: 新增了“态势感知到期后,会继续收费吗?”问答; 新增了“如何取消态势感知自动续费?”问答; 新增了“如何修改态势感知自动续费?”问答; 修改了态势感知如何变更专业版规格?问答; 修改了“态势感知如何收费?”问答; 修改了“态势感知支持退订吗?”问答; 修改了“态势感知即将到期如何续费?”问答。 2020-03-30 第十五次正式发布。 本次更新说明如下: 新增了态势感知支持跨区域使用吗?问答; 新增了态势感知支持跨账号使用吗?问答; 修改了如何获取风险程度最高的资产信息?问答。 2020-03-20 第十四次正式发布。 本次更新说明如下: 新增了为什么最大配额数不能小于主机数量?问答; 修改了态势感知与其他安全服务之间的关系与区别?问答。 2020-03-13 第十三次正式发布。 本次更新说明如下: 新增了“态势感知可以免费使用吗?”问答; 修改了态势感知的数据来源是什么?问答; 修改了“态势感知即将到期如何续费?”问答; 修改了“如何获取攻击者的信息?”问答; 修改了态势感知与其他安全服务之间的关系与区别?问答。 2020-01-10 第十二次正式发布。 本次更新说明如下: 新增了态势感知如何变更专业版规格?问答。 2019-09-26 第十一次正式发布。 本次更新说明如下: 新增了态势感知与其他安全服务之间的关系与区别?问答。 2019-09-06 第十次正式发布。 本次更新说明如下: 新增了什么是区域和可用区?问答。 2019-08-09 第九次正式发布。 本次更新说明如下: 新增了“态势感知如何收费?”问答; 新增了“态势感知支持退订吗?”问答; 新增了“态势感知支持续费吗?”问答。 2019-07-11 第八次正式发布。 2019-02-20 第七次正式发布。 2019-02-01 第六次正式发布。 2018-11-06 第五次正式发布。 2018-10-16 第四次正式发布。 2018-09-06 第三次正式发布。 2018-08-06 第二次正式发布。 2018-04-24 第一次正式发布。
  • 什么是区域、可用区? 我们用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区(AZ,Availability Zone):一个AZ是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前,华为云已在全球多个地域开放云服务,您可以根据需求选择适合自己的区域和可用区。
  • 如何选择区域? 选择区域时,您需要考虑以下几个因素: 地理位置 一般情况下,建议就近选择靠近您或者您的目标用户的区域,这样可以减少网络时延,提高访问速度。 在除中国大陆以外的亚太地区有业务的用户,可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户,可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户,可以选择“拉美-圣地亚哥”区域。 资源的价格 不同区域的资源价格可能有差异,请参见华为云服务价格详情。
  • 服务含义区别 态势感知(Situation Awareness,SA)是华为云可视化 威胁检测 和分析的安全管理平台。着重呈现全局安全威胁攻击态势,统筹分析多服务威胁数据和云上安全威胁,帮助企业构建全局安全体系,呈现全局安全攻击态势。 主机安全服务(Host Security Service,HSS)是以工作负载为中心的安全产品,集成了主机安全、 容器安全 和网页防篡改,旨在解决混合云、多云数据中心基础架构中服务器工作负载的独特保护要求。 简而言之,SA是呈现全局安全态势的服务,HSS是提升主机和容器安全性的服务。
  • 服务功能区别 SA通过采集全网安全数据(包括HSS、WAF、AntiDDoS等安全服务检测数据),使用大数据AI、机器学习等分析技术,从资产安全、威胁告警、漏洞管理、基线检查维度,分类呈现资产安全状况。 HSS通过在主机中安装Agent,使用AI、机器学习和深度算法等技术分析主机中风险,并从HSS云端防护中心下发检测和防护任务,全方位保障主机安全。同时可从可视化控制台,管理主机Agent上报的安全信息。 表1 SA与HSS主要功能区别 功能项 共同点 不同点 资产安全 主机资产 呈现主机资产的整体安全状态。 SA:仅支持同步HSS主机资产风险信息,列表呈现各主机资产的整体安全状况。 HSS:不仅支持呈现主机的安全状况,还支持深度扫描主机中的账号、端口、进程、Web目录、软件信息和自启动任务。 网站资产 - SA:支持检查和扫描网站安全状态,列表呈现各网站资产的整体安全状况。 HSS:不支持该功能。 漏洞管理 应急漏洞公告 - SA:支持同步华为 云安全 公告信息,及时获取热点安全讯息。 HSS:不支持该功能。 主机漏洞 呈现主机 漏洞扫描 结果,管理主机漏洞。 SA:仅支持同步HSS主机漏洞扫描结果,管理主机漏洞。 HSS:支持检测Linux漏洞、Windows漏洞、Web-CMS漏洞、应用漏洞,提供漏洞概览,包括主机漏洞检测详情、漏洞统计、漏洞类型分布、漏洞TOP5和风险服务器TOP5,帮助您实时了解主机漏洞情况。 网站漏洞 - SA:支持同步CodeArts Inspector 网站漏洞扫描 结果,管理网站漏洞。 HSS:不支持该功能。 基线检查 云服务基线 - SA:针对华为云服务关键配置项,从“安全上云合规检查1.0”、“等保2.0三级要求”、“护网检查”风险类别,了解云服务风险配置的所在范围和风险配置数目。 HSS:不支持该功能。 主机基线 - SA:不支持该功能。 HSS:针对主机,提供基线检查功能,包括检测复杂策略、弱口令及配置详情,包括对主机配置基线通过率、主机配置风险TOP5、主机弱口令检测、主机弱口令风险TOP5的统计。
  • 请求示例 POST https://{endpoint}/v2/{project_id}/events/import { "events" : [ { "version" : "1.1.0", "environment" : { "type" : "xxx", "domain_id" : "dfaf9864b95c448797b5dc0f0xxxxxxx", "project_id" : "2b31ed520xxxxxxebedb6e57xxxxxxxx", "region_id" : "xx-xx-1" }, "data_source" : { "type" : 1, "domain_id" : "dfaf9864b95c448797b5dc0f0xxxxxxx", "project_id" : "2b31ed520xxxxxxebedb6e57xxxxxxxx", "region_id" : "xx-xx-1", "company_name" : "xxx", "product_name" : "xxx", "product_feature" : "xxx" }, "first_observed_time" : "2020-10-10T13:10:40.436+0800", "last_observed_time" : "2020-10-10T13:10:40.436+0800", "create_time" : "2020-10-10T13:10:40.436+0800", "arrive_time" : "2020-10-21T01:20:31.343+0800", "event_id" : "1683fbf6-01fd-49f4-8222-0fe33d3f2d2e", "title" : "TCP Malformed", "description" : "TCP Malformed", "count" : 1, "severity" : { "original_score" : 1, "label" : "TIPS" }, "type" : [ { "business" : "attack", "category" : "Brute Force", "classifier" : "ssh" } ], "network" : { "direction" : "IN", "dest_ip" : "xxx.xxx.xxx.xxx", "dest_port" : 80, "dest_geo" : { "latitude" : 1.352083, "longitude" : 103.81984 } }, "resource" : [ { "id" : "f1f4076a-9d12-497f-aac4-a9dcb5462fcc", "name" : "ecs-s3_large_2_win-20200828214727", "type" : "cloudservers", "provider" : "ecs", "region_id" : "xx-xx-1", "domain_id" : "dfaf9864b95c448797b5dc0f00709a55", "project_id" : "2b31ed520xxxxxxebedb6e57xxxxxxxx", "ep_id" : "7e998f85-xxxx-xxxx-xxxx-xxxxxxxx", "ep_name" : "test001" } ], "verification_state" : "Unknown", "handle_status" : "New" } ] }
  • 响应参数 状态码: 400 表20 响应Body参数 参数 参数类型 描述 error_msg String 无效请求提示信息 最小长度:1 最大长度:128 error_code String 错误码 最小长度:1 最大长度:128 状态码: 401 表21 响应Body参数 参数 参数类型 描述 error_msg String 权限错误 最小长度:1 最大长度:128 error_code String 错误码 最小长度:1 最大长度:128 状态码: 500 表22 响应Body参数 参数 参数类型 描述 error_msg String 系统内部错误 最小长度:1 最大长度:128 error_code String 错误码 最小长度:1 最大长度:128
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 最小长度:1 最大长度:2097152 X-Language 否 String 语言。 最小长度:2 最大长度:6 表3 请求Body参数 参数 是否必选 参数类型 描述 events 是 Array of Event objects event 批量导入 表4 Event 参数 是否必选 参数类型 描述 version 是 String SA数据对象版本号,数据接入时需携带版本号。版本号由SA服务团队负责更新,数据源只可填写SA给定的版本号。目前版本为1.0.0。 最小长度:5 最大长度:5 environment 是 Environment object 环境坐标,DRP。 data_source 是 DataSource object 提供数据来源相关信息,必选对象。 first_observed_time 是 String 首次发现时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 last_observed_time 否 String 最新发现时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 create_time 是 String 记录时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 arrive_time 否 String 数据接收时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 是指事件数据被SA侧接收的时间,由SA接收时填写,产品上报数据时不用填写。 event_id 是 String 事件唯一标识,UUID格式。 最小长度:32 最大长度:36 title 是 String 事件标题,最大255字符。 最小长度:1 最大长度:255 description 是 String 事件描述信息,最大1024个字符 最小长度:1 最大长度:1024 source_url 否 String 事件URL链接,指向数据源产品中有关当前事件说明的页面。 最小长度:1 最大长度:4096 count 是 Integer 事件发生次数,默认为1,必填。 最小值:1 最大值:9223372036854775807 confidence 否 Integer 事件的置信度。置信度的定义旨在说明识别的行为或问题的可能性。 取值范围:0-100,0表示置信度为0%,100表示置信度为100%。 最小值:0 最大值:100 severity 是 Severity object 严重性对象。 criticality 否 Integer 关键性,是指事件涉及的资源的重要性级别。 取值范围:0-100,0表示资源不关键,100表示最关键资源。 最小值:0 最大值:100 type 是 Type object 事件分类。 compliance 否 Compliance object 扩展信息,用来提供合规检查信息。合规检查相关的数据上报时,必须填充此对象。 network 否 Network object 扩展信息,用来提供网络信息。 vulnerability_patch 否 VulnerabilityPatch object 扩展信息,用来提供漏洞信息。 malware 否 Malware object 恶意软件。 threat_intel 否 ThreatIntel object 威胁情报。 resource 是 Resource object 受影响资源。 remediation 否 Remediation object 补救措施。 data_source_fields 否 Object 数据源自定义信息,最多支持50个key/value对,约束条件: 1、该对象不能包含冗余数据,并且不能与已定义的SSA事件格式字段冲突。 2、字段名称可以包含字母数字字符、空格和以下符号:_ . / = + \ - @。 示例: "data_source_fields": { "key1": "value1", "key2", "value2", } verification_state 否 String 事件验证状态,标识事件的准确性。 Unknown – 未知,默认 True_positive – 确认 False_positive – 误报。 最小长度:1 最大长度:512 handle_status 是 String 事件处理状态,New/Ignored/Resolved;默认New。 最小长度:1 最大长度:512 phase 否 String 阶段:Prepartion|Detection and Analysis|Containm,Eradication& Recovery| Post-Incident-Activity。 最小长度:1 最大长度:32 sla 否 Integer 约束闭环时间:单位:天。 最小值:1 最大值:90 表5 Environment 参数 是否必选 参数类型 描述 type 是 String 环境供应商,HWCP/HWC/AWS/Azure/GCP等。 最小长度:1 最大长度:36 domain_id 是 String 租户账号ID,用来标识事件所属租户。 最小长度:32 最大长度:36 project_id 否 String 租户项目ID,用来标识事件所属项目区域。 最小长度:32 最大长度:36 region_id 否 String 数据源产品所在区域,具体取值范围查看华为云地区和终端节点定义。 最小长度:1 最大长度:512 表6 DataSource 参数 是否必选 参数类型 描述 type 否 Integer 数据源类型,取值范围如下: 1 - 华为产品 2 - 第三方产品 3 - 租户私有产品 最小值:1 最大值:3 domain_id 否 String 数据源产品所属管理账号的ID,最大36个字符。 最小长度:32 最大长度:36 project_id 否 String 数据源产品所属项目的ID,最大36个字符。 最小长度:32 最大长度:36 region_id 否 String 数据源产品所在区域,具体取值范围查看华为云地区和终端节点定义。 最小长度:1 最大长度:512 company_name 是 String 数据源产品所属公司的名称。 最小长度:1 最大长度:512 product_name 是 String 数据源产品的名称。 最小长度:1 最大长度:512 product_feature 否 String 产品功能特性名称,用来指明检测到当前事件的产品的功能特性。 最小长度:1 最大长度:512 表7 Severity 参数 是否必选 参数类型 描述 label 是 String 严重性等级取值范围:TIPS、LOW、MEDIUM、HIGH、FATAL。 TIPS:未发现任何问题。 LOW:无需针对问题执行任何操作。 MEDIUM:问题需要处理,但不紧急。 HIGH:问题必须优先处理。 FATAL:问题必须立即处理,以防止产生进一步的损害。 最小长度:1 最大长度:512 normalize_score 否 Integer 严重性评分取值范围:0-100; 与严重性等级的对应关系: TIPS 0; LOW 1-39; MEDIUM 40-69; HIGH 70-89; FATAL 90-100。 最小值:0 最大值:100 original_score 否 Integer 严重性原始评分,指在数据源产品中的评分。 最小值:0 最大值:9223372036854775807 表8 Type 参数 是否必选 参数类型 描述 business 是 String 事件所属业务领域标签,可选类别如下: attack – 攻击 vulnerability – 漏洞 compliance check – 合规检查 risk - 风险 public opinion - 舆情 illegal&violation - 违法违规 security bulletin - 公告 最小长度:1 最大长度:512 category 否 String 类别,推荐使用预定义的类型分类。 最小长度:1 最大长度:512 classifier 否 String 分类器,推荐使用预定义的分类器。 如果指定了分类器,则必须指定类别。 最小长度:1 最大长度:512 tech_domain 否 String 技术领域标签: OS:主机 APP:应用 NET:网络 OPS:运维 CS:云服务 CSP:平台云服务 最小长度:1 最大长度:512 properties 否 TypeProperties object 属性信息。 表9 TypeProperties 参数 是否必选 参数类型 描述 killchain 否 String Kill chain事件分类,仅当business为attack有效 最小长度:1 最大长度:512 ttps 否 String Mitre Array 事件分类,仅当business为attack有效 最小长度:1 最大长度:512 effects 否 String 影响,适用全部类型 最小长度:1 最大长度:512 表10 Compliance 参数 是否必选 参数类型 描述 checkitem_id 是 String 检查项(检查规则)编号 最小长度:1 最大长度:512 checkpoint_id 是 String 检查点(检查结果)编号,检查项对同一个资源的检查结果 最小长度:1 最大长度:512 spec_id 是 String 检查规范编号,默认选第一个 最小长度:1 最大长度:512 status 是 String 合规检查结果,取值定义:PASSED、WARNING、FAILED、NOT_AVAILABLE。 说明: PASSED - 接受评估的所有资源都已通过安全检查。 WARNING - 某些信息缺失或配置不支持此检查。 FAILED - 至少有一个接受评估的资源未能通过安全检查。 NOT_AVAILABLE - 由于服务中断或 API 错误,无法执行检查。 最小长度:1 最大长度:512 properties 否 String 属性信息 最小长度:1 最大长度:512 表11 Network 参数 是否必选 参数类型 描述 direction 否 String 方向,取值范围:IN、OUT。 最小长度:2 最大长度:3 protocol 否 String 协议。 最小长度:0 最大长度:512 src_ip 否 String 源IP地址。 最小长度:7 最大长度:15 src_port 否 Integer 源端口,0–65535。 最小值:0 最大值:65535 src_domain 否 String 源域名,最大128个字符。 最小长度:1 最大长度:128 src_geo 否 Geo object 源IP的地理位置信息。 dest_ip 否 String 目标IP地址。 最小长度:7 最大长度:15 dest_port 否 Integer 目标端口,0–65535。 最小值:0 最大值:65535 dest_domain 否 String 目标域名,最大128个字符。 最小长度:1 最大长度:128 dest_geo 否 Geo object 目标IP的地理位置信息。 表12 Geo 参数 是否必选 参数类型 描述 latitude 否 Number 纬度。 最小值:-90.0 最大值:90.0 longitude 否 Number 经度。 最小值:-180.0 最大值:180.0 city_code 否 String 城市编码。 最小长度:1 最大长度:128 country_code 否 String 国家简码ISO 3166-1 alpha-2,例如:CN、US、DE、IT、SG。 最小长度:1 最大长度:128 表13 VulnerabilityPatch 参数 是否必选 参数类型 描述 patch_id 是 String 补丁编号。 最小长度:1 最大长度:256 patch_name 否 String 补丁名称。 最小长度:1 最大长度:256 type 否 String 补丁类型(0:linux,1:windows,2:web-cms)。 最小长度:1 最大长度:32 major_level 否 String 重要等级。 最小长度:1 最大长度:32 status 否 String 补丁状态。 最小长度:1 最大长度:32 repair_cmd 否 String 修复命令。 最小长度:0 最大长度:512 repair_necessity 否 String 修复必要程度(1:需立刻修复,2:可延后修复,3:暂可以不修复)。 最小长度:0 最大长度:512 release_time 否 String 发布时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息 为事件发生时区,无法解析时区的时间,默认时区填东八区。 reference_url 否 String 参考链接。 最小长度:0 最大长度:512 vendor_name 否 String 漏洞报告提供者信息。 最小长度:1 最大长度:32 vulnerable_package 否 String 受影响软件版本。 最小长度:1 最大长度:32 cve_ids 否 String CVE编号列表。 最小长度:1 最大长度:256 表14 Malware 参数 是否必选 参数类型 描述 name 是 String 恶意软件名称,最大64个字符。 最小长度:1 最大长度:64 sha256 否 String 恶意软件sha256 最小长度:1 最大长度:1024 type 是 String 恶意软件类型,遵循STIX规范: adware、backdoor、bot、bootkit、ddos、downloader、dropper、exploit-kit、keylogger、ransomware、remote-access-trojan、resource-exploitation、rogue-security-software、rootkit、screen-capture、spyware、trojan、unknown、virus、webshell、wiper、worm 最小长度:1 最大长度:512 path 否 String 恶意软件在系统中的路径,最大512个字符。 最小长度:0 最大长度:512 state 否 String 恶意软件状态,取值范围:OBSERVED、REMOVAL_FAILED、REMOVED。 最小长度:0 最大长度:512 properties 否 MalwareProperties object 属性信息。 表15 MalwareProperties 参数 是否必选 参数类型 描述 pid 否 String 进程ID。 最小长度:1 最大长度:64 user 否 String 系统角色(例如:root,service)。 最小长度:1 最大长度:64 mod 否 String 系统权限(例如:777,755)。 最小长度:1 最大长度:64 start_time 否 String 进程启动时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。 表16 ThreatIntel 参数 是否必选 参数类型 描述 id 是 String 情报Id。 最小长度:0 最大长度:32 indicator_type 否 String 威胁情报类型,Domain、Email_Address、Hash_MD5、Hash_SHA1、Hash_SHA256、 Hash_SHA512、IPv4_Address、IPv6_Address、URL。 最小长度:0 最大长度:64 labels 否 String 标签,如'矿池','外联'等,"Directory Scan|Directory Traversal"。 最小长度:0 最大长度:512 confidence 否 Integer 置信度,不同来源目前置信度分值定义不一样(分数)。 最小值:0 最大值:9223372036854775807 information_source 是 String 威胁情报源,最大64个字符。 最小长度:0 最大长度:64 severity 否 Integer 严重程度,不同渠道定义值不一样(分数)。 最小值:0 最大值:9223372036854775807 description 是 String 威胁情报描述。 最小长度:0 最大长度:4096 modified 否 String 威胁情报的更新时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 valid_from 否 String 有效期开始(可读字符串)。 最小长度:0 最大长度:32 valid_until 否 String 有效期结束(可读字符串)。 最小长度:0 最大长度:32 properties 否 ThreatIntelProperties object 威胁情报属性信息。 表17 ThreatIntelProperties 参数 是否必选 参数类型 描述 file_md5 否 String 恶意软件Md5。 最小长度:1 最大长度:64 file_sha1 否 String 恶意软件Sha1。 最小长度:1 最大长度:255 file_sha256 否 String 恶意软件Sha256值。 最小长度:1 最大长度:255 file_name 否 String 文件名称。 最小长度:1 最大长度:255 create_time 否 String 编译时间,格式ISO8601:YYYY-MM-DDTHH:mm:ss.ms+timezone。时区信息为事件发生时区,无法解析时区的时间,默认时区填东八区。 file_class 否 String 文件类别,TEXT|XCODE。 最小长度:1 最大长度:255 file_family 否 String 家族,例如:wannacry(勒索软件)。 最小长度:1 最大长度:255 file_maltype 否 String 类别,例如:trojan(特洛伊)。 最小长度:1 最大长度:255 ip_resolves_to_refs 否 String mac地址。 最小长度:1 最大长度:255 belongs_to_refs 否 String IP AS 自治系统。 最小长度:1 最大长度:255 ip_location 否 String 地区 格式:country/provice/city/lngwgs/latwgs。 最小长度:1 最大长度:255 domain_family 否 String 例如:banjori|iodine。 最小长度:1 最大长度:255 domain_resolves_to_refs 否 String 解析的IP地址。 最小长度:1 最大长度:255 domain_dns_type 否 String DNS类别。A|NS|CNAME|TXT。 最小长度:1 最大长度:255 url_host 否 String 例:3ms.huawei.com。 最小长度:1 最大长度:255 url_resolves_to_refs 否 String IP地址。 最小长度:1 最大长度:255 display_name 否 String 显示名称。 最小长度:1 最大长度:128 url_belongs_to_ref 否 String 邮箱账户,@之前部分。 最小长度:1 最大长度:128 表18 Resource 参数 是否必选 参数类型 描述 id 是 String 资源ID。 最小长度:32 最大长度:36 name 是 String 资源名称;最大长度255个字符。 最小长度:1 最大长度:255 type 是 String 资源类型。 最小长度:1 最大长度:128 provider 是 String 云服务名称。 最小长度:1 最大长度:128 region_id 否 String 区域。 最小长度:1 最大长度:128 domain_id 是 String 资源所属租户账号ID。 最小长度:32 最大长度:36 project_id 否 String 资源所属项目ID。 最小长度:32 最大长度:36 ep_id 否 String 企业项目ID。 最小长度:32 最大长度:36 ep_name 否 String 企业项目名称。 最小长度:32 最大长度:36 tags 否 Object 资源标签 1、最多50个key/values对。 2、values:最大255字符。 3、取值范围:字母数字、空格、“+”、“-”、“=”、“.”、“_”、“:”、“/”、“@”。 表19 Remediation 参数 是否必选 参数类型 描述 recommendation 是 String 处理建议,最长512个字符。 最小长度:1 最大长度:512 url 否 String 链接,指向该事件的一般修复信息。该URL必须可以从公网访问,不需要提供凭证。 最小长度:1 最大长度:128
  • 请求消息体 请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxxxxxxxxxx为project的名称,如“cn-north-4”,您可以从地区和终端节点获取,对应地区和终端节点页面的“区域”字段的值。 scope参数定义了Token的作用域,下面示例中获取的Token仅能访问project下的资源。您还可以设置Token作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "name": "xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
  • 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时候,PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分,您可以看到其请求方法为“POST”,则其请求为: POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens
  • 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 如下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”,有其他取值时会在具体接口中专门说明。 X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 AK/SK认证的详细说明请参见AK/SK认证。 对于获取用户Token接口,由于不需要认证,所以只添加“Content-Type”即可,添加消息头后的请求如下所示。 POST https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json
  • 请求URI 请求URI由如下部分组成。 {URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 URI-scheme: 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint: 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点获取。 例如IAM服务在“华北-北京四”区域的Endpoint为“iam.cn-north-4.myhuaweicloud.com”。 resource-path: 资源路径,也即API访问路径。从具体API的URI模块获取,例如“获取用户Token”API的resource-path为“/v3/auth/tokens”。 query-string: 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京四”区域的Token,则需使用“华北-北京四”区域的Endpoint(iam.cn-north-4.myhuaweicloud.com),并在获取用户Token的URI部分找到resource-path(/v3/auth/tokens),拼接起来如下所示。 https://iam.cn-north-4.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,同一个服务的Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。
共100000条