华为云用户手册

  • D CS 过期Key扫描 基于开源Redis以上机制,分布式缓存服务提供了一种通用的方式,来定时释放所有已经过期Key占用的内存,通过自行配置定时任务,在任务执行期间,会对所有缓存实例的主节点进行扫描操作,扫描操作会遍历整个实例的键空间,触发Redis引擎中对Key过期的判断,从而释放已过期的Key。 只有Redis 4.0、Redis 5.0、和Redis 6.0基础版实例支持过期key扫描。 建议在业务低峰时段执行过期Key扫描,降低CPU被用满的可能。 不支持查询已释放的过期Key。
  • 背景说明 在开源Redis的键空间中,有两种删除Key的方式。 使用DEL等命令直接显式对Key进行删除。 使用类似于EXPIRE等命令对Key设置过期时间,当达到过期时间时,Redis键空间中的Key将不可访问。对于设置了过期时间的Key,当达到过期时间时,Redis不会立即对Key进行删除,由于Redis当前主线程仍然为单线程,故Redis设计了几种机制对已经过期的Key进行内存释放: 惰性删除:Redis的删除策略由主循环中的判断逻辑进行控制,所有Key读写命令执行之前都会调用函数对其进行检查,如果过期,则删除该键,然后返回Key不存在的结果;未过期则不做操作,继续执行原有的命令。 定期删除:由Redis的定时任务函数实现,该函数以一定的频率运行,每次运行时,都从键空间中随机取出一定数量的Key进行检查,并删除其中的过期键。(默认一次从设置过期时间的Key中随机检查20个,每秒10次) 不是每次定时任务都会检查所有的Key,而是随机检查一定数量的Key,该机制旨在防止阻塞Redis主进程太久而造成业务阻塞,所以会造成已过期的Key释放内存速度较慢。
  • 自动扫描参数配置 在执行过期key扫描时,若您想设置自动扫描,单击“自动扫描”右侧的,弹出“自动扫描设置”页面,进行相应设置后,单击“确定”自动扫描配置完成。 自动扫描配置参数说明如下表1。 表1 自动扫描配置参数 配置参数 参数含义 取值范围 默认值 备注 首次扫描时间 设定的第一次扫描时间,须设定在当前时间之后。 取值格式:YYYY/MM/DD hh:mm:ss - - 扫描间隔 从首次扫描时间开始,每隔一个间隔时间,便启动一次扫描。 0~43,200,单位:分 1440 如果到达启动时刻,上一次扫描还未结束,则本次轮空。 启动扫描的时机有五分钟冗余量,即超过本次启动时刻,不足五分钟,仍然会启动,不至于轮空。 说明: 连续扫描可能使cpu占用率较高,建议根据实例中key总量以及key增长情况来配置,可参考下面性能说明和配置建议。 扫描超时 此参数的目的在于避免不可知原因造成的扫描超时,导致后面的定时任务无法执行。设定此参数,超过超时时间后,返回失败,以便能继续进行下一轮扫描。 1~86,400,单位:分 2880 时间不少于扫描间隔时间的2倍。 可根据每次过期key扫描的时间,以及使用场景所能承受的最大超时时间,设定一个经验值。 迭代扫描key数量 SCAN命令用于迭代当前数据库中的key集合。 COUNT选项的作用就是让用户告知迭代命令, 在每次迭代中应该从数据集里返回多少元素。具体参见scan命令介绍。迭代式扫描可降低一次扫描过多key而造成扫描时间过长,影响redis性能的问题。 10~1,000,单位:个 10 举例:redis中有1000万个key,迭代扫描key数量设为1000,则迭代10000次可完成全库扫描。 性能说明: 数据面底层SCAN扫描间隔5ms,相当于1秒钟扫描200次。迭代扫描key数量设为10/50/100/1000时,每秒钟扫描2000/10000/20000/200000个key。 每秒钟扫描key数量越大,cpu占用率也相应增加。 测试参考: 使用主备实例测试,在有1000万不过期和500万过期的key,过期时间为1-10秒的场景下,完成一次全库扫描,测试数据如下: 以下测试结果仅供参考,不同局点环境和网络波动等客观条件可能产生差异。 自然删除,每秒删除1万条过期key,删除500万过期key,耗时约为8分钟,cpu占用率约为5%。 “迭代扫描key数量”设为10,耗时约为 1500万/0.2万/60秒 = 125分,cpu占用率约为8%。 “迭代扫描key数量”设为50,耗时约为 1500万/1万/60秒 = 25分, 删除key时cpu占用率约10%。 “迭代扫描key数量”设为100,耗时约为 1500万/2万/60秒 = 12.5分, 删除key时cpu占用率约20%。 “迭代扫描key数量”设为1000,耗时约为 1500万/20万/60秒 = 1.25分,删除key时cpu占用率约为25%。 建议配置:
  • 超高性能计算型实例类型总览 超高性能计算型主要用于满足高端计算(例如工业仿真、分子建模、计算流体力学)的需要,除了提供强大的CPU能力外,还提供了多种选择,使用EDR InfiniBand网卡组成的低延迟RDMA网络,支持内存密集的计算需求。 该类型弹性云服务器默认未开启超线程,每个vCPU对应一个底层物理内核。 超高性能计算型实例类型总览: 在售:H2 表1 超高性能计算型特点 规格名称 计算 磁盘类型 网络 超高性能计算型H2 CPU/内存配比:1:8/1:16 vCPU数量范围:16 处理器:英特尔® 至强® 处理器E5 v4家族 基频/睿频:3.2GHz/3.6GHz 高IO 通用型SSD 超高IO 极速型SSD 超高网络收发包能力 提供大量内存和处理器数 使用带宽为100Gb/s的IB网卡 网络类型:100Gbit EDR IB网络 实例网络性能与计算规格对应,规格越高网络性能越强 最大网络收发包:90万PPS 最大内网带宽:13Gbps
  • 超高性能计算型H2 概述 超高性能计算型主要用于满足高端计算(例如工业仿真、分子建模、计算流体力学)的需要,除了提供强大的CPU能力外,还提供了多种选择,使用EDR InfiniBand网卡组成的低延迟RDMA网络,支持内存密集的计算需求。 适用场景 高端计算,例如工业仿真、分子建模、计算流体力学的需要 规格 表2 H2型弹性云服务器的规格 规格名称 vCPU 内存 (GiB) 最大带宽/基准带宽 (Gbps) 最大收发包能力 (万PPS) 网卡多队列数 本地盘 (GiB) 虚拟化类型 h2.3xlarge.10 16 128 13/8 90 8 1 × 3200 KVM h2.3xlarge.20 16 256 13/8 90 8 1 × 3200 KVM
  • H2型云服务器使用须知 H2型云服务器不支持操作系统的重装、切换功能。 H2型云服务器不支持规格变更。 H2型云服务器不支持冷迁移、热迁移、HA(High Availability): 部分宿主机硬件故障或亚健康等场景,需要用户配合关闭ECS完成宿主机硬件维修动作。 因系统维护或硬件故障等,重新部署ECS实例后,实例会部署到其他宿主机,本地盘数据不保留。 H2型云服务器当前支持如下版本的操作系统: 对于公共镜像,支持如下版本的操作系统: CentOS 7.2 64bit CentOS 6.5 64bit 对于私有镜像,支持如下版本的操作系统: CentOS 6.5 64bit CentOS 7.2 64bit CentOS 7.3 64bit SUSE Linux Enterprise Server 11 SP4 64bit SUSE Linux Enterprise Server 12 SP2 64bit Red Hat Enterprise Linux 7.2 64bit Red Hat Enterprise Linux 7.3 64bit H2型云服务器使用带宽100Gb/s的IB网卡。 H2型云服务器使用一块PCIe 3.2TB SSD卡作为本地临时存储。 使用私有镜像创建的H2型云服务器,需在云服务器创建完成后安装InfiniBand网卡驱动。请根据IB类型,在Mellanox官网选择相应版本的InfiniBand网卡驱动下载(建议选择4.2-1.0.0.0的驱动版本下载使用),并根据Mellanox提供的操作指导进行安装。 IB网卡类型:“Mellanox Technologies ConnectX-4 Infiniband HBA (MCX455A-ECAT)” Mellanox官网地址:http://www.mellanox.com/ 网卡驱动下载地址:https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/ 使用SUSE操作系统的H2型云服务器,如需使用IPoIB(IP over IB)功能,需在安装InfiniBand网卡驱动后,给IB网卡手动配置一个IP地址。 删除H2型云服务器后,SSD磁盘中的数据会被自动清除。因此,在使用H2型云服务器的过程中,请勿将持久性数据保存至SSD磁盘。 对于H2型云服务器,关机后仍然计费。如果停止计费,需删除弹性云服务器。
  • 适用于人工智能与机器学习场景的合规实践 该示例模板中对应的合规规则的说明和修复项指导如下表所示: 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 说明指导 规则中文描述 修复项指导 cce-cluster-end-of-maintenance-version CCE集群版本为处于维护的版本 cce 确保CCE集群版本为处于维护中的版本。 CCE集群版本为停止维护的版本,视为“不合规” 为了保证您的服务权益,建议尽快升级到最新的商用版本。集群升级流程包括升级前检查、备份、升级和升级后验证几个步骤,具体操作流程可见CCE服务说明文档的升级概述。 cce-cluster-oldest-supported-version CCE集群运行的非受支持的最旧版本 cce 确保CCE集群运行的不是最旧版本 如果CCE集群运行的是受支持的最旧版本(等于参数“最旧版本支持”),视为“不合规” 系统会自动为您的华为云CCE任务部署安全更新和补丁。如果发现影响华为云CCE平台版本的安全问题,华为云会修补该平台版本。要帮助对运行华为云cluster的华为云CCE任务进行补丁管理,请更新您服务的独立任务以使用最新的平台版本。 cce-endpoint-public-access CCE集群资源不具有公网IP cce 确保CCE集群资源不可以被公网访问 CCE集群资源具有公网IP,视为“不合规” 用户可以解除集群与EIP的绑定。 cts-obs-bucket-track CTS 追踪器追踪指定的OBS桶 cts 由于CTS只支持查询7天的审计事件,为了您事后审计、查询、分析等要求,启用CTS追踪器请配置OBS服务桶。 账号下的所有CTS追踪器未追踪指定的OBS桶,视为“不合规” 云审计 服务管理控制台支持配置已开启的追踪器的OBS桶、LTS转储和配置已创建的追踪器关键事件操作通知。 mrs-cluster-kerberos-enabled MRS 集群开启kerberos认证 mrs MRS 1.8.0版本之前未开启Kerberos认证的集群不支持访问权限细分。只有开启Kerberos认证才有角色管理权限,MRS 1.8.0及之后版本的所有集群均拥有角色管理权限。 MRS集群未开启kerberos认证,视为“不合规” MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务,如需更换Kerberos认证状态,建议重新创建MRS集群,然后进行数据迁移。 mrs-cluster-no-public-ip MRS集群未绑定公网IP mrs 确保 MapReduce服务 (MRS)无法公网访问。华为云MRS集群主节点可能包含敏感信息,并且此类账户需要访问控制。 MRS集群绑定公网IP,视为“不合规” 对于不合规的MRS资源,用户可以解除其与弹性公网IP的绑定。 sfsturbo-encrypted-check 弹性文件服务通过KMS进行加密 sfsturbo 由于敏感数据可能存在并帮助保护静态数据,确保弹性文件服务(SFS Turbo)已通过KMS进行加密。 弹性文件服务(SFS Turbo)未通过KMS进行加密,视为“不合规” 可以新创建加密或者不加密的文件系统,无法更改已有文件系统的加密属性。 父主题: 合规规则包示例模板
  • 操作步骤 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“资源聚合器”,在下拉列表中选择“资源”,进入“资源”页面。 在页面左上角选择需要查看的资源聚合器,列表中将展示此聚合器聚合的全部资源。 在页面上方的搜索框中可使用资源名称、账号ID和资源类型,进一步对聚合的资源进行筛选。 在资源列表中单击需要查看的资源名称,即可查看此资源的详细信息。 图1 查看聚合的资源
  • 操作场景 您可以在资源列表中查看资源聚合器聚合的全部资源。该列表可帮助您筛选不同资源聚合器聚合的资源,且支持通过资源名称、账号ID和资源类型进一步筛选,还可以查看每个资源的详情。 查看组织资源聚合器聚合的资源信息依赖于组织服务的相关授权项,您需要具有如下权限: organizations:organizations:get organizations:delegatedAdministrators:list organizations:trustedServices:list
  • 预设策略列表 当您在配置审计控制台添加合规规则时,可以直接选用系统内置的预设合规策略。 当前配置审计服务支持的预设策略如下表所示。 表1 配置审计 支持的预设策略 云服务 预设策略 触发方式 评估资源 公共可用预设策略 资源名称满足正则表达式 配置变更 全部资源 资源具有指定的标签 配置变更 全部资源 资源属于指定企业项目ID 配置变更 全部资源 资源在指定区域内 配置变更 全部资源 API网关 APIG APIG专享版实例配置安全认证类型 配置变更 apig.instances APIG专享版实例配置访问日志 配置变更 apig.instances APIG专享版实例域名均关联SSL证书 配置变更 apig.instances 部署 CodeArts Deploy CodeArts项目下的主机集群为可用状态 配置变更 codeartsdeploy.host-cluster MapReduce服务 MRS MRS资源属于指定安全组 配置变更 mrs.mrs MRS资源属于指定VPC 配置变更 mrs.mrs MRS集群开启kerberos认证 配置变更 mrs.mrs MRS集群使用多AZ部署 配置变更 mrs.mrs MRS集群未绑定公网IP 配置变更 mrs.mrs NAT网关 NAT NAT私网网关绑定指定VPC资源 配置变更 nat.privateNatGateways VPC终端节点 VPCEP 创建了指定服务名的终端节点 周期触发 vpcep.endpoints Web应用防火墙 WAF WAF防护域名配置防护策略 配置变更 waf.instance 弹性负载均衡 ELB ELB资源不具有公网IP 配置变更 elb.loadbalancers ELB监听器配置指定预定义安全策略 配置变更 elb.loadbalancers ELB监听器配置HTTPS监听协议 配置变更 elb.loadbalancers ELB后端服务器权重检查 配置变更 elb.members 弹性公网IP EIP EIP带宽限制 配置变更 vpc.publicips 弹性公网IP未进行任何绑定 配置变更 vpc.publicips EIP在指定天数内绑定到资源实例 周期触发 vpc.publicips 弹性伸缩 AS 弹性伸缩组均衡扩容 配置变更 as.scalingGroups 弹性伸缩组使用弹性负载均衡健康检查 配置变更 as.scalingGroups 弹性伸缩组启用多AZ部署 配置变更 as.scalingGroups 弹性文件服务器 SFS 弹性文件服务通过KMS进行加密 配置变更 sfsturbo.shares 弹性云服务器 ECS ECS资源规格在指定的范围 配置变更 ecs.cloudservers ECS实例的镜像ID在指定的范围 配置变更 ecs.cloudservers ECS的镜像在指定Tag的IMS的范围内 配置变更 ecs.cloudservers 绑定指定标签的ECS关联在指定安全组ID列表内 配置变更 ecs.cloudservers ECS资源属于指定虚拟私有云ID 配置变更 ecs.cloudservers ECS资源配置秘钥对 配置变更 ecs.cloudservers ECS资源不能公网访问 配置变更 ecs.cloudservers 检查ECS资源是否具有多个公网IP 配置变更 ecs.cloudservers 关机状态的ECS未进行任意操作的时间检查 周期触发 ecs.cloudservers 分布式缓存服务 DCS DCS Memcached资源支持SSL 配置变更 dcs.memcached DCS Memcached资源属于指定虚拟私有云ID 配置变更 dcs.memcached DCS Memcached资源不存在公网IP 配置变更 dcs.memcached DCS Memcached资源需要密码访问 配置变更 dcs.memcached DCS Redis实例支持SSL 配置变更 dcs.redis DCS Redis实例高可用 配置变更 dcs.redis DCS Redis实例属于指定虚拟私有云ID 配置变更 dcs.redis DCS Redis实例不存在公网IP 配置变更 dcs.redis DCS Redis实例需要密码访问 配置变更 dcs.redis 函数工作流 FunctionGraph 函数工作流的函数并发数在指定范围内 配置变更 fgs.functions 函数工作流使用指定VPC 配置变更 fgs.functions 函数工作流的函数不允许访问公网 配置变更 fgs.functions 检查函数工作流参数设置 配置变更 fgs.functions 内容分发网络 CDN CDN使用HTTPS证书 配置变更 cdn.domains CDN回源方式使用HTTPS 配置变更 cdn.domains CDN安全策略检查 配置变更 cdn.domains CDN使用自有证书 配置变更 cdn.domains 配置审计 Config 账号开启资源记录器 周期触发 config.trackers 数据仓库服务 DWS DWS集群启用KMS加密 配置变更 dws.clusters DWS集群启用日志转储 配置变更 dws.clusters DWS集群启用自动快照 配置变更 dws.clusters DWS集群启用SSL加密连接 配置变更 dws.clusters 数据复制服务 DRS 数据复制服务实时灾备任务不使用公网网络 配置变更 drs.dataGuardJob 数据复制服务实时迁移任务不使用公网网络 配置变更 drs.migrationJob 数据复制服务实时同步任务不使用公网网络 配置变更 drs.synchronizationJob 数据加密 服务 DEW KMS密钥不处于“计划删除”状态 配置变更 kms.keys KMS密钥启用密钥轮换 配置变更 kms.keys 统一身份认证 服务 IAM IAM用户的AccessKey在指定时间内轮换 周期触发 iam.users IAM策略中不存在KMS的任一阻拦action 配置变更 iam.roles&iam.policies IAM用户组添加了IAM用户 配置变更 iam.groups IAM用户密码策略符合要求 配置变更 iam.users IAM策略黑名单检查 配置变更 iam.users、iam.groups、iam.agencies IAM策略不具备Admin权限 配置变更 iam.roles、iam.policies IAM自定义策略具备所有权限 配置变更 iam.roles、iam.policies IAM账号存在可使用的访问密钥 周期触发 iam.users IAM用户访问模式 配置变更 iam.users IAM用户创建时设置AccessKey 配置变更 iam.users IAM用户归属用户组 配置变更 iam.users IAM用户在指定时间内有登录行为 周期触发 iam.users IAM用户开启MFA 配置变更 iam.users IAM用户单访问密钥 配置变更 iam.users Console侧密码登录的IAM用户开启MFA认证 配置变更 iam.users 根账号开启MFA认证 周期触发 iam.users 文档数据库服务 DDS DDS实例开启SSL 配置变更 dds.instances DDS实例属于指定实例类型 配置变更 dds.instances DDS实例未绑定公网IP 配置变更 dds.instances DDS实例属于指定虚拟私有云ID 配置变更 dds.instances 消息通知 服务 SMN SMN主题配置访问日志 配置变更 smn.topic 虚拟私有云 VPC 未与子网关联的网络ACL 配置变更 vpc.firewallGroups 默认安全组关闭出、入方向流量 配置变更 vpc.securityGroups VPC启用流日志 配置变更 vpc.vpcs 安全组端口检查 配置变更 vpc.securityGroups 安全组入站流量限制指定端口 配置变更 vpc.securityGroups 安全组入站流量限制SSH端口 配置变更 vpc.securityGroups 虚拟专用网络 VPN VPN连接状态为“正常” 配置变更 vpnaas.vpnConnections、vpnaas.ipsec-site-connections 云监控服务 CES CES启用告警操作 配置变更 ces.alarms CES配置监控KMS禁用或计划删除的事件监控告警 周期触发 ces.alarms CES配置监控OBS桶策略变更的事件监控告警 周期触发 ces.alarms 指定的资源类型绑定指定指标CES告警 周期触发 ces.alarms 检查特定指标的CES告警进行特定配置 配置变更 ces.alarms CES配置监控VPC变更的事件监控告警 周期触发 ces.alarms 云容器引擎 CCE CCE集群版本为处于维护的版本 配置变更 cce.clusters CCE集群运行的非受支持的最旧版本 配置变更 cce.clusters CCE集群资源不具有公网IP 配置变更 cce.clusters 云审计服务 CTS CTS追踪器通过KMS进行加密 配置变更 cts.trackers CTS追踪器启用事件分析 配置变更 cts.trackers CTS追踪器追踪指定的OBS桶 周期触发 cts.trackers CTS追踪器打开事件文件校验 配置变更 cts.trackers 创建并启用CTS追踪器 周期触发 cts.trackers 在指定区域创建并启用CTS追踪器 周期触发 cts.trackers 云数据库 RDS GaussDB 资源属于指定虚拟私有云ID 配置变更 gaussdb.instance GaussDB NoSQL部署在单个可用区 配置变更 nosql.instances GaussDB NoSQL开启备份 配置变更 nosql.instances GaussDB NoSQL使用磁盘加密 配置变更 nosql.instances GaussDB NoSQL开启错误日志 配置变更 nosql.instances GaussDB NoSQL支持慢查询日志 配置变更 nosql.instances GaussDB实例开启审计日志 配置变更 gaussdb.instance GaussDB实例开启自动备份 配置变更 gaussdb.instance GaussDB实例开启错误日志 配置变更 gaussdb.instance GaussDB实例开启慢日志 配置变更 gaussdb.instance GaussDB for MySQL实例开启审计日志 配置变更 gaussdb.instance GaussDB for MySQL实例开启备份 配置变更 gaussdb.instance GaussDB for MySQL实例开启错误日志 配置变更 gaussdb.instance GaussDB for MySQL实例开启慢日志 配置变更 gaussdb.instance RDS实例开启备份 配置变更 rds.instances RDS实例开启错误日志 配置变更 rds.instances RDS实例开启慢日志 配置变更 rds.instances RDS实例支持多可用区 配置变更 rds.instances RDS实例不具有公网IP 配置变更 rds.instances RDS实例开启存储加密 配置变更 rds.instances RDS实例属于指定虚拟私有云ID 配置变更 rds.instances RDS实例配备日志 配置变更 rds.instances 云搜索服务 CSS CSS集群启用认证 配置变更 css.clusters CSS集群启用快照 配置变更 css.clusters CSS集群开启磁盘加密 配置变更 css.clusters CSS集群启用HTTPS 配置变更 css.clusters CSS集群绑定指定VPC资源 配置变更 css.clusters CSS集群具备多AZ容灾 配置变更 css.clusters CSS集群具备多实例容灾 配置变更 css.clusters CSS集群不能公网访问 配置变更 css.clusters CSS集群开启安全模式 配置变更 css.clusters CSS集群白名单不生效 配置变更 css.clusters CSS集群kibana白名单不生效 配置变更 css.clusters 云硬盘 EVS 云硬盘的类型在指定的范围内 配置变更 evs.volumes 云硬盘创建后在指定天数内绑定资源实例 周期触发 evs.volumes 云硬盘闲置检测 配置变更 evs.volumes 已挂载的云硬盘开启加密 配置变更 evs.volumes 云证书管理服务 CCM 检查私有CA是否过期 周期触发 pca.ca 检查私有证书是否过期 周期触发 pca.cert 分布式消息服务Kafka版 DMS Kafka队列打开内网SSL加密访问 配置变更 dms.kafkas DMS Kafka队列打开公网SSL加密访问 配置变更 dms.kafkas DMS Kafka队列开启公网访问 配置变更 dms.kafkas 分布式消息服务RabbitMQ版 DMS RabbitMq队列打开SSL加密访问 配置变更 dms.rabbitmqs 分布式消息服务RocketMQ版 DMS Reliability队列打开SSL加密访问 配置变更 dms.reliabilitys 父主题: 系统内置预设策略
  • 操作场景 您可以在规则列表中查看资源聚合器聚合的全部合规性数据。该列表可帮助您筛选不同资源聚合器聚合的合规性数据,且支持通过规则名称、合规性评估和账号ID进一步筛选,还可以查看每个合规规则的详情。 查看组织资源聚合器聚合的合规性数据依赖于组织服务的相关授权项,您需要具有如下权限: organizations:organizations:get organizations:delegatedAdministrators:list organizations:trustedServices:list
  • 操作步骤 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“资源聚合器”,在下拉列表中选择“规则”,进入“规则”页面。 在页面左上角选择需要查看的资源聚合器,列表中将展示此聚合器聚合的全部合规性数据。 在列表中单击需要查看的规则名称,即可查看此合规规则的详细信息。 在页面上方的搜索框中可使用规则名称、合规评估结果和账号ID,进一步对聚合的合规性数据进行筛选。 图1 查看聚合的合规规则
  • 另存查询 您可以修改预设查询或已有自定义查询的名称、描述和查询语句,“另存为”后产生新的查询,以“预设查询”为例,您可按如下步骤操作。 进入“高级查询”页面,选择“预设查询”页签。 “高级查询”页面默认展示预设查询列表。 单击目标查询操作列的“使用查询”,进入“使用查询”页面。 也可以单击查询名称,进入查询概览页,再单击查询概览页右下方的“使用查询”,进入“使用查询”页面。 图2 使用预设查询 根据界面提示,在查询编辑器中修改查询语句。 详细请参见高级查询配置样例。 单击“另存为”,配置查询名称和描述。 在弹框中,单击“确认”。 通过“另存为”操作产生的新查询,将更新在自定义查询列表中。
  • 新建查询 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“高级查询”,进入“高级查询”页面。 选择“自定义查询”页签,单击页面右上角的“新建查询”。 根据界面提示,在查询编辑器中输入查询语句。 页面左侧为高级查询使用的Schema信息,也就是查询语句中properties参数需要填写的内容,为各个云服务资源类型的详细属性。查询语句的配置样例请参见高级查询配置样例。 单击“保存查询”,输入查询名称和描述。 查询名称仅支持输入数字、英文字母、下划线和中划线。 单击“确认”,保存成功。 图1 保存查询 如果您的自定义查询达到限额,将无法单击“保存查询”,同时页面右上方提示“您创建的查询已达到上限,请删除暂不需要使用的查询。”。 当自定义查询达到限额,您可以运行查询条件,并导出查询结果。 单击“运行”,查看查询结果。目前只支持展示和导出前4000条查询结果。 单击“导出”,选择要导出的文件格式(CSV格式或JSON格式)。
  • 高级查询使用限制 为避免单用户长时间查询占用资源,影响其他用户,对高级查询功能做以下限制: 单次查询语句的执行时长不能超过15秒,否则会返回超时错误。 单次查询语句查询大量数据,会返回查询数据量过大的报错,需要用户主动简化查询语句。 单次查询结果只返回前4000条。 单个查询语句中最多只能做两次表的关联查询。 每个账号最多可以创建200个高级查询。 高级查询功能依赖于资源记录器所收集的资源数据,强烈建议您保持资源记录器的开启状态,不同场景的说明如下: 如您从未开启过资源记录器,则高级查询语句无法查询到任何资源数据。 如您已开启资源记录器,但仅在资源记录器监控范围内勾选部分资源,则高级查询语句仅能查询到所选择的资源数据。 如您开启资源记录器并勾选全部资源,但后续又关闭资源记录器,则高级查询语句仅能查询到资源记录器由开启到关闭期间收集到的资源数据。 关于如何开启并配置资源记录器请参见:配置资源记录器。 父主题: 高级查询
  • 操作场景 资源聚合器创建完成后,您可以根据需要随时修改账号类型资源聚合器的名称和聚合的源账号,组织类型的资源聚合器仅支持修改聚合器名称。 如下步骤以修改账号类型的聚合器为例进行说明。 修改组织类型的资源聚合器依赖于组织服务的相关授权项,您需要具有如下权限: organizations:organizations:get organizations:accounts:list organizations:delegatedAdministrators:list organizations:trustedServices:enable organizations:trustedServices:list
  • 操作步骤 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“资源聚合器”,在下拉列表中选择“聚合器”,进入“聚合器”页面。 在资源聚合器列表中选择需要修改的聚合器,单击“操作”列的“编辑”按钮。 在资源聚合器详情页中的右上角单击“编辑”按钮,也可以跳转至“编辑聚合器”页面进行修改操作。 图1 修改资源聚合器 进入“编辑聚合器”页面,修改聚合器名称和源账号。 图2 修改聚合器名称和源账号 修改完成后,单击“确认”。
  • 默认规则 此表中的建议项编号对应GB/T 22239-2019中参考文档的章节编号,供您查阅参考。 表1 建议项编号 建议项说明 华为云合规规则 指导 8.1.2.1 b)应保证网络各个部分的带宽满足业务高峰期需要。 eip-bandwidth-limit 确保带宽满足业务高峰期需要。 8.1.2.1 c)应划分不同的网络区域,并按照方便管理和控制的原则为各网络区域分配地址。 dcs-redis-in-vpc 确保分布式缓存服务(DCS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 c)应划分不同的网络区域,并按照方便管理和控制的原则为各网络区域分配地址。 dds-instance-in-vpc 确保文档数据库(DDS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 c)应划分不同的网络区域,并按照方便管理和控制的原则为各网络区域分配地址。 ecs-instance-in-vpc 确保弹性云服务器(ECS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 c)应划分不同的网络区域,并按照方便管理和控制的原则为各网络区域分配地址。 rds-instances-in-vpc 确保关系型数据库(RDS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 d)应避免将重要网络区域部署在边界处,重要网络区域与其他网络区域之间应采取可靠的技术隔离手段。 dcs-redis-in-vpc 确保分布式缓存服务(DCS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 d)应避免将重要网络区域部署在边界处,重要网络区域与其他网络区域之间应采取可靠的技术隔离手段。 dds-instance-in-vpc 确保文档数据库(DDS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 d)应避免将重要网络区域部署在边界处,重要网络区域与其他网络区域之间应采取可靠的技术隔离手段。 ecs-instance-in-vpc 确保弹性云服务器(ECS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.2.1 d)应避免将重要网络区域部署在边界处,重要网络区域与其他网络区域之间应采取可靠的技术隔离手段。 rds-instances-in-vpc 确保关系型数据库(RDS)所有流量都安全地保留在虚拟私有云(VPC)中。 8.1.3.1 b)应能够对非授权设备私自联到内部网络的行为进行限制或检查。 ecs-instance-no-public-ip 由于华为云ecs实例可能包含敏感信息,确保华为云ecs实例无法公开访问来管理对华为云的访问。 8.1.3.1 b)应能够对非授权设备私自联到内部网络的行为进行限制或检查。 elb-loadbalancers-no-public-ip 确保弹性负载均衡(ELB)无法公网访问,管理对华为云中资源的访问。 8.1.3.1 b)应能够对非授权设备私自联到内部网络的行为进行限制或检查。 rds-instance-no-public-ip 确保云数据库(RDS)无法公网访问,管理对华为云中资源的访问。华为云RDS数据库实例可能包含敏感信息,此类账户需要原则和访问控制。 8.1.3.2 a)应在网络边界或区域之间根据访问控制策略设置访问控制规则,默认情况下除允许通信外受控接口拒绝所有通信。 ecs-instance-no-public-ip 由于华为云ecs实例可能包含敏感信息,确保华为云ecs实例无法公开访问来管理对华为云的访问。 8.1.3.2 a)应在网络边界或区域之间根据访问控制策略设置访问控制规则,默认情况下除允许通信外受控接口拒绝所有通信。 elb-loadbalancers-no-public-ip 确保弹性负载均衡(ELB)无法公网访问,管理对华为云中资源的访问。 8.1.3.2 a)应在网络边界或区域之间根据访问控制策略设置访问控制规则,默认情况下除允许通信外受控接口拒绝所有通信。 rds-instance-no-public-ip 确保云数据库(RDS)无法公网访问,管理对华为云中资源的访问。华为云RDS数据库实例可能包含敏感信息,此类账户需要原则和访问控制。 8.1.3.5 c)应对审计记录进行保护,定期备份,避免受到未预期的删除、修改或覆盖等。 cts-tracker-exists 确保账号已经创建了CTS追踪器,云审计服务(CTS)用于记录华为云管理控制台操作。 8.1.4.1 d)应采用口令、密码技术、生物技术等两种或两种以上组合的鉴别技术对用户进行身份鉴别,且其中一种鉴别技术至少应使用密码技术来实现。 iam-user-mfa-enabled 确保为所有IAM用户通过MFA方式进行多因素认证。MFA在用户名和密码的基础上增加了一层额外的保护,通过要求对用户进行MFA来减少账户被盗用的事件。 8.1.4.7 a)应采用密码技术保证重要数据在传输过程中的完整性,包括但不限于鉴别数据、重要业务数据、重要审计数据、重要配置数据、重要视频数据和重要个人信息等。 elb-tls-https-listeners-only 确保弹性负载均衡的监听器已配置HTTPS监听协议。由于可能存在敏感数据,因此启用传输中加密有助于保护该数据。 8.1.4.7 b)应采用密码技术保证重要数据在存储过程中的完整性,包括但不限于鉴别数据、重要业务数据、重要审计数据、重要配置数据、重要视频数据和重要个人信息等。 volumes-encrypted-check 由于敏感数据可能存在,为了帮助保护静态数据,确保已挂载的云硬盘已进行加密。 8.1.4.9 c)应提供重要数据处理系统的热冗余,保证系统的高可用性。 rds-instance-multi-az-support 华为云RDS中的多可用区支持为数据库实例提供了增强的可用性和持久性。当您预置多可用区数据库实例时,华为云 RDS会自动创建主数据库实例,并将数据同步复制到不同可用区中的备用实例。每个可用区都在其物理上不同的独立基础设施上运行,并且经过精心设计,高度可靠。如果发生基础设施故障,华为云 RDS 会自动故障转移到备用数据库,以便您可以在故障转移完成后立即恢复数据库操作。
  • 操作步骤 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“资源聚合器”,在下拉列表中选择“聚合器”,进入“聚合器”页面。 单击页面右上角的“创建聚合器”。 在创建聚合器页面,勾选“允许数据复制”确认框,配置聚合器名称和源账号信息。 如果源类型选择“添加账号”,则输入华为云账号ID,多个账号之间以逗号分隔;如果源类型选择“添加组织”,资源聚合器将聚合此组织下所有成员账号的数据。 图1 创建聚合器 账号类型的资源聚合器仅支持聚合华为云账号下的资源,因此源账号ID需输入华为云账号ID(domain_id)。如何获取账号ID请参见获取账号ID。 创建组织类型资源聚合器的账号需开通组织服务,且必须为组织的管理账号或Config服务的委托管理员账号,具体请参见添加、查看和取消委托管理员。如果创建组织类型资源聚合器的账号为组织管理账号,Config服务会调用enableTrustedService API启用Config与Organizations之间的集成;如果创建组织类型资源聚合器的账号为Config服务的委托管理员账号,Config服务会调用ListDelegatedAdministrators API用于验证调用者是否为有效的委托管理员。 单击“确认”,完成资源聚合器创建。
  • 操作场景 您可以创建账号类型或组织类型的资源聚合器。 账号类型的资源聚合器必须获得源账号的授权才能聚合数据,具体请参见授权资源聚合器账号。 创建组织类型的资源聚合器依赖于组织服务的相关授权项,您需要具有如下权限: organizations:organizations:get organizations:accounts:list organizations:delegatedAdministrators:list organizations:trustedServices:enable organizations:trustedServices:list
  • 适用于统一身份认证服务(IAM)的最佳实践 该示例模板中对应的合规规则的说明和修复项指导如下表所示: 表1 合规包示例模板说明 合规规则 规则中文名称 涉及云服务 说明指导 规则中文描述 修复项指导 access-keys-rotated IAM用户的AccessKey在指定时间内轮换 iam 企业用户通常都会使用访问密钥(AK/SK)的方式对云上资源的进行API访问,但是访问密钥需要做到定期的自动轮换,以降低密钥泄露等潜在的安全风险。 IAM用户的访问密钥未在指定天数内轮转,视为“不合规”. 用户可以通过使用API调用的方式轮换访问密钥。 iam-group-has-users-check IAM用户组添加了IAM用户 iam 管理员创建用户组并授权后,将用户加入用户组中,使用户具备用户组的权限,实现用户的授权。给已授权的用户组中添加或者移除用户,快速实现用户的权限变更。确保IAM组至少有一个用户,帮助您将最小权限和职责分离的原则与访问权限和授权结合起来。 IAM用户组未添加任意IAM用户,视为“不合规” 管理员在用户组列表中,单击新建的用户组,选择“用户组管理”,在“可选用户”中选择需要添加至用户组中的用户。 iam-password-policy IAM用户密码策略符合要求 iam 确保IAM用户密码强度满足密码强度要求。 IAM用户密码强度不满足密码强度要求,视为“不合规” 用户可以根据提示修改密码达到需要的密码强度。 iam-root-access-key-check IAM账号存在可使用的访问密钥 iam 确保根访问密钥已删除。 账号存在可使用的访问密钥,视为“不合规” 用户可以根据规则评估结果删除账号可使用的访问密钥。 iam-user-console-and-api-access-at-creation IAM用户创建时设置AccessKey iam 访问密钥即AK/SK(Access Key ID/Secret Access Key),是您通过开发工具(API、CLI、SDK)访问华为云时的身份凭证,不能登录控制台。 对于从Console侧访问的IAM用户,其创建时设置访问密钥,视为“不合规” 用户可以根据规则评估结果删除或停用访问密钥。 iam-user-group-membership-check IAM用户归属用户组 iam 管理员创建用户组并授权后,将用户加入用户组中,使用户具备用户组的权限,实现用户的授权。给已授权的用户组中添加或者移除用户,快速实现用户的权限变更。 IAM用户不属于任意一个IAM用户组,视为“不合规” 可以选择一个用户组,以管理员的身份,将不合规的IAM用户添加到用户组中。 iam-user-last-login-check IAM用户在指定时间内有登录行为 iam 管理员创建IAM用户后,这个新建的IAM用户可以登录华为云。避免IAM用户资源闲置。 IAM用户在指定时间范围内无登录行为,视为“不合规” 您可以在华为云登录页面或者打开IAM用户专属链接,输入用户名和密码的方式登录IAM用户。 iam-user-mfa-enabled IAM用户开启MFA iam 确保为所有IAM用户通过MFA方式进行多因素认证。MFA在用户名和密码的基础上增加了一层额外的保护,通过要求对用户进行MFA来减少账户被盗用的事件。 IAM用户未开启MFA认证,视为“不合规” 您需要在智能设备上安装一个虚拟MFA应用程序后(例如:华为云App、Google Authenticator或Microsoft Authenticator),才能绑定虚拟MFA设备。 iam-user-single-access-key IAM用户单访问密钥 iam 账号和IAM用户的访问密钥是单独的身份凭证,即账号和IAM用户仅能使用自己的访问密钥进行API调用。 IAM用户拥有多个处于“active”状态的访问密钥,视为“不合规” 用户可以根据规则评估结果删除或停用多余的访问密钥。 mfa-enabled-for-iam-console-access Console侧密码登录的IAM用户开启MFA认证 iam 确保为所有能通过控制台登陆的IAM用户启用多因素认证(MFA),管理对华为云中资源的访问。MFA 在用户名和密码的基础上增加了一层额外的保护。通过要求对用户进行 MFA,您可以减少账户被盗用的事件,并防止敏感数据被未经授权的用户访问。 通过Console密码登录的IAM用户未开启MFA认证,视为“不合规” 您需要在智能设备上安装一个虚拟MFA应用程序后(例如:华为云App、Google Authenticator或Microsoft Authenticator),才能绑定虚拟MFA设备。 root-account-mfa-enabled 根账号开启MFA认证 iam 确保为root用户启用多因素认证(MFA),管理对华为云中资源的访问。多因素认证Multi-Factor Authentication(MFA)是一种非常简单的安全实践方法,它能够在用户名称和密码之外再额外增加一层保护。启用多因素认证后,用户进行操作时,除了需要提供用户名和密码外(第一次身份验证),还需要提供验证码(第二次身份验证),多因素身份认证结合起来将为您的账号和资源提供更高的安全保护。 根账号未开启MFA认证,视为“不合规” 您需要在智能设备上安装一个虚拟MFA应用程序后(例如:华为云App、Google Authenticator或Microsoft Authenticator),才能绑定虚拟MFA设备。 父主题: 合规规则包示例模板
  • 使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的CTS/system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到 对象存储服务 (OBS),才可在OBS桶里面查看历史文件。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。
  • 操作场景 您可以通过资源聚合器列表查看所有已创建的资源聚合器及其详情,并支持在列表中进行搜索操作。 查看组织资源聚合器聚合的资源信息和合规性数据依赖于组织服务的相关授权项,您需要具有如下权限: organizations:organizations:get organizations:delegatedAdministrators:list organizations:trustedServices:list
  • 操作步骤 登录管理控制台。 单击页面左上角的图标,在弹出的服务列表中,选择“管理与监管”下的“配置审计 Config”,进入“资源清单”页面。 单击页面左侧的“资源聚合器”,在下拉列表中选择“聚合器”,进入“聚合器”页面。 在列表中可查看所有已创建的资源聚合器。 您可以通过页面右上方的过滤器搜索出需要查看的资源聚合器,支持根据完整的聚合器名称精确搜索。 在列表中单击需要查看的聚合器名称,进入资源聚合器详情页,查看该资源聚合器的详细信息。 在详情页的“资源计数”列表中单击某个“资源类型”,界面将跳转至“资源”页面并自动筛选出此聚合器中某一资源类型包含的全部资源。 在详情页的“按资源计数排序的账号”列表单击某个“账号ID”,界面将跳转至“资源”页面并自动筛选出此聚合器中某一账号包含的全部资源。 在详情页的“不合规规则”列表单击某个“规则名称”,界面将显示此合规规则的详细信息。 图1 资源聚合器详情页
  • 资源聚合器使用限制 资源聚合器的使用限制如下: 单个账号最多能创建30个账号类型的资源聚合器。 单个资源聚合器最多能聚合30个源账号的数据。 单个账号类型资源聚合器每7天添加、更新和删除的最大源账号数量为1000个。 单个账号最多能创建1个组织类型的资源聚合器。 单个账号每天最多只能创建1次组织类型资源聚合器,当天创建的组织类型资源聚合器被删除后无法再次创建。 资源聚合器聚合的源账号必须开启资源记录器,资源聚合器才会动态收集源账号的资源配置,源账号的资源发生变更后会同步更新数据至资源聚合器。 资源聚合器聚合的源账号只有开启资源记录器后,源账号的资源信息和合规性数据才会聚合到资源聚合器,不同场景的说明如下: 如源账号从未开启过资源记录器,则资源聚合器无法聚合此源账号的资源信息和合规性数据。 如源账号已开启资源记录器,但仅在资源记录器监控范围内勾选部分资源,则资源聚合器会聚合源账号所选择的资源信息以及全部合规性数据。 如源账号开启资源记录器并勾选全部资源,但后续又关闭资源记录器,则资源聚合器会删除收集到的资源信息和合规性数据。 关于如何开启并配置资源记录器请参见:配置资源记录器。 父主题: 资源聚合器
  • 数据湖 准备 在本示例中,选择 数据湖探索 DLI )服务作为数据湖。为确保 DataArts Studio 与DLI网络互通,在创建DLI队列时区域和企业项目应与DataArts Studio实例保持一致。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 开通DLI服务后,您需要在管理中心创建DLI连接,然后通过数据开发组件新建数据库,再执行SQL来创建OBS外表。操作步骤如下: 参考访问DataArts Studio实例控制台登录DataArts Studio管理控制台。 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。 在“数据连接”页面,单击“创建数据连接”按钮。 图1 数据连接 创建一个到DLI的连接,数据连接类型选择“数据湖探索(DLI)”,数据连接名称设置为“dli”。 完成设置后,单击“测试”,测试成功后单击“确定”,完成DLI数据连接的创建。 图2 创建数据连接 DLI连接创建完成后,跳转到数据开发页面。 图3 跳转到数据开发页面 参见图4,在DLI连接上右键单击,创建一个数据库用于存放数据表,数据库名称为“BI”。 图4 创建数据库 创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图5 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,并单击“运行”来创建数据表。其中,user、product、comment、action为OBS外表,使用指定OBS路径中的CSV文件来填充数据,用于存放原始数据;top_like_product和top_bad_comment_product为DLI表,用于存放分析结果。 create table user( user_id int, age int, sexuality int, rank int, register_time string ) USING csv OPTIONS (path "obs://fast-demo/user_data"); create table product( product_id int, a1 int, a2 int, a3 int, category int, brand int ) USING csv OPTIONS (path "obs://fast-demo/product_data"); create table comment( deadline string, product_id int, comment_num int, has_bad_comment int, bad_comment_rate float ) USING csv OPTIONS (path "obs://fast-demo/comment_data"); create table action( user_id int, product_id int, time string, model_id string, type string ) USING csv OPTIONS (path "obs://fast-demo/action_data"); create table top_like_product(brand int, like_count int); create table top_bad_comment_product(product_id int, comment_num int, bad_comment_rate float); 图6 创建数据表 关键参数说明: 数据连接:步骤3中创建的DLI数据连接。 数据库:步骤5中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 脚本运行成功后,可以通过如下脚本检查数据表是否创建成功。 SHOW TABLES; 确认数据表创建成功后,该脚本后续无需使用,可直接关闭。
  • 分析10大用户关注最多的产品 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。 创建一个DLI SQL脚本,以通过DLI SQL语句来创建数据表。 图1 新建脚本 在新建脚本弹出的SQL编辑器中输入如下SQL语句,单击“运行”,从OBS原始数据表中计算出10大用户关注最多的产品,将结果存放到top_like_product表。 INSERT OVERWRITE table top_like_product SELECT product.brand as brand, COUNT(product.brand) as like_count FROM action JOIN product ON (action.product_id = product.product_id) WHERE action.type = 'like' group by brand ORDER BY like_count desc LIMIT 10 图2 脚本(分析10大用户关注最多的产品) 关键参数说明: 数据连接:步骤3中创建的DLI数据连接。 数据库:步骤5中创建的数据库。 资源队列:可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低,可能会出现无法支持建表语句执行的报错,这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行,可联系DLI服务客服或技术支持人员协助解决。 DLI的“default”队列为共享队列,仅用于用户体验,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。当遇到执行时间较长或无法执行的情况,建议您在业务低峰期再次重试,或选择自建队列运行业务。 脚本调试无误后,单击“保存”保存该脚本,脚本名称为“top_like_product”。单击“提交”,提交脚本版本。在后续开发并调度作业会引用该脚本。 脚本保存完成且运行成功后,您可通过如下SQL语句查看top_like_product表数据。您还可以参考图3,下载或转储表数据。 SELECT * FROM top_like_product 图3 查看top_like_product表数据
  • 准备数据 服务不同功能部署的区域,数据格式和调用并发数有相应的约束限制,需要您在使用服务前参考约束准备好待审核的数据。 服务功能的使用约束请参见约束与限制。 例如 文本内容审核 ,输入数据存在以下约束: 文本 内容审核 V2版本:支持“华北-北京一、华北-北京四、华东-上海一”区域,新用户建议使用“华北-北京四”。 文本内容审核V3版本:支持“华北-北京一、华北-北京四、华东-上海一”区域,新用户建议使用“华北-北京四”。 只支持中文文本内容审核。 默认API调用最大并发为50,如需调整更高并发限制请通过工单联系专业工程师为您服务。 服务所支持的区域是指服务部署在该区域下的服务器,用户所在地区与服务部署区域不一致也是可以开通和使用本服务的。有如下两种情况: 如果请求输入的数据是OBS地址方式,就需要使用相同区域的内容审核服务。 例如:您的OBS请求数据在“华北-北京四”,只能调用“华北-北京四”区域下的内容审核服务,如果本服务不支持该区域则不能调用。 如果请求输入的数据是Base64图片或者公网URL,则不受区域影响。 例如:您的服务器在“华东-上海一”可以调用“华北-北京四”的内容审核服务接口。
  • 步骤五:调用服务 输入需要检测的文本,参考如下示例代码修改“ModerationTextContentDemo.java”文件中输入文本的位置("6666666666")。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 // // 2.构建访问文本内容审核服务需要的参数 // String uri = "/v1.0/moderation/text"; JSONObject json = new JSONObject(); json.put("categories", new String[] {"porn","flood"}); //检测内容 JSONObject text = new JSONObject(); text.put("text", "6666666666"); text.put("type", "content"); JSONArray items = new JSONArray(); items.add(text); json.put("items", items); StringEntity stringEntity = new StringEntity(json.toJSONString(), "utf-8"); // 3.传入文本内容审核服务对应的uri参数, 传入文本内容审核服务需要的参数, // 该参数主要通过JSON对象的方式传入, 使用POST方法调用服务 HttpResponse response = service.post(uri, stringEntity); // 4.验证服务调用返回的状态是否成功,如果为200, 为成功, 否则失败。 ResponseProcessUtils.processResponseStatus(response); 执行“ModerationTextContentDemo.java”文件,控制台输出200即表示程序执行成功,文本内容审核结果输出到控制台,如图4所示。 图4 运行结果 查看调用次数。您可以在“服务列表”,“ 文本审核 ”页查看调用详情和调用次数统计,如图5所示。 图5 识别统计 识别结果统计:显示一段时间范围,内容审核的调用总数,拒绝数,疑似数和通过数,帮助您更好了解服务的调用情况和审核情况。 总数:指的是审核调用总次数。 拒绝数:指的是block总数,即文本中包含敏感信息,审核不通过的次数。 疑似数:指的是review总数,即人工复查审核的次数。 通过数:指的是pass总数,即通过审核的次数。 数据趋势:显示您设置的这段时间范围内,总数,拒绝数,疑似数和通过数的变化趋势。 拒绝数据原因分布:显示您设置的这段时间范围内,审核不通过的检测场景占比数。 疑似数据原因分布:显示您设置的这段时间范围内,需要人工复查的检测场景占比数。 查看监控数据。您可以单击“查看监控指标”在 云监控 控制台查看服务调用成功和失败的次数等历史数据,如图6所示。 图6 监控数据
  • 开通服务步骤说明 本服务仅面向企业用户开放。 内容审核服务申请开通您可以按照如下步骤操作: 已 注册华为账号 ,并完成实名认证。 登录内容审核管理控制台,控制台左上角默认显示服务部署在“华北-北京四”区域,请您根据业务需要选择对应区域,服务部署的区域具体请参见终端节点。 在左侧导航栏选择“服务管理”,进入服务管理页面,进行以下步骤操作: 单击“申请开通服务”按钮,进入到新建工单页面。 图1 服务管理页面 在“我在Moderation遇到问题类型”分类中选择“服务开通”,进入到智能客服对话框中。 图2 服务开通 在对话框中输入“申请开通内容审核服务”,单击“发送”后对话框会出现“转人工”的按钮,选择转人工服务。 图3 转人工 在对话框中智能客服将为您创建工单,输入以下具体信息: 问题描述:需要填写1.使用场景(即:申请开通“文本/图像/音频”内容审核),2.企业名称(本服务暂只支持企业用户使用)。 区域:选择想要开通服务的区域。 联系方式:客服会通过手机或邮箱联系您告知服务开通进展。 输入完成后提交工单,等待客服审核完成后帮您开通本服务。 图4 创建工单 服务只需要开通一次即可,后面使用时无需再申请。 商用服务申请成功后,在“服务管理”页面,“我的服务”中显示已经申请开通成功的服务,此时,您可以通过调用API的方式使用内容审核服务。 开通服务后,单击右上角的“预付套餐包”按钮,进入到本服务套餐包购买页面,按需选择想要购买的功能类型和规格,选择完成后单击“立即购买”,确认购买信息无误后完成付款即可开始使用本服务。 图5 预付套餐包 目前内容审核服务提供两种计费模式供您选择:按需计费和预付套餐包计费。具体介绍请参见计费说明。如果您想使用按需计费的方式,详细费用价格请参见内容审核价格详情。
共100000条