华为云用户手册

  • 安全设置global级binlog_format=ROW的步骤 通过MySQL官方客户端或者其它工具登录源数据库。 在源数据库上执行全局参数设置命令。 set global binlog_format = ROW; 在源数据库上执行如下命令确认上面操作已执行成功。 select @@global.binlog_format; 您可以通过如下两种方式确保修改后的源库binlog_format格式立即生效。 方法一: 选择一个非业务的时间段,中断当前数据库上的所有业务连接。 通过如下命令查询当前数据库上的所有业务连接(所有的binlog Dump连接及当前连接除外)。 show processlist; 中断上面查出的所有业务连接。 在上述操作未结束之前,请不要创建或者启动迁移任务,否则会导致数据不一致。 为了避免源库binlog_format格式因为数据库重启失效,请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlog_format并保存。 binlog_format=ROW 方法二: 为了避免源库binlog_format格式因为数据库重启失效,请在源库的启动配置文件(my.ini或my.cnf等)中添加或修改配置参数binlog_format并保存。 binlog_format=ROW 确保上述配置参数binlog_format添加或修改成功后,选择一个非业务时间段,重启源数据库即可。
  • 扩大带宽是否会对DRS正在进行中的任务产生影响 扩大云连接带宽时需要重建带宽链路,则会导致网络断开,此时是否会对DRS任务产生影响取决于网络断开的时间以及源库IP有没有发生变化。例如针对MySQL引擎而言,如果网络断开1天,而在这1天时间内源库binlog被清理了(MySQL都有binlog清理策略,用户侧自己配置的),就无法进行任务续传,需要重置任务。如果网络中断的时间很短,并且带宽链路更换完成后源库的VPN内的IP地址没有变,则是可以继续续传任务,不会对DRS任务产生影响。 父主题: 通用操作
  • 如何批量导出、导入事件(event)和触发器(trigger) 在进行MySQL到MySQL的迁移时,若任务结束后发现迁移日志中提示迁移事件和触发器失败,可手动迁移。 本小节主要介绍批量导出导入事件和触发器的具体操作。 从源库批量导出触发器。 在源库执行以下语句,获取TRIGGER_SCHEMA和TRIGGER_NAME。 SELECT TRIGGER_SCHEMA,TRIGGER_NAME FROM INFORMATION_SCHEMA.TRIGGERS WHERE TRIGGER_SCHEMA in ('DB1','DB2','DB3') order by TRIGGER_NAME; 上述语句中,DB1,DB2,DB3分别表示从源库待迁移到目标库的数据库。 在源库执行如下语句,从字段SQL Original Statement中获取源库创建触发器的语句。 SHOW CREATE TRIGGER TRIGGER_SCHEMA.TRIGGER_NAME \G; 上述语句中,TRIGGER_SCHEMA.TRIGGER_NAME填写的为1.a中查询到的TRIGGER_SCHEMA和TRIGGER_NAME具体值。 从源库批量导出事件。 在源库执行以下语句,获取EVENT_SCHEMA和EVENT_NAME。 SELECT EVENT_SCHEMA,EVENT_NAME FROM INFORMATION_SCHEMA.EVENTS WHERE EVENT_SCHEMA in ('DB1','DB2','DB3') order by EVENT_NAME; 上述语句中,DB1,DB2,DB3分别表示从源库待迁移到目标库的数据库。 在源库执行如下语句,从字段SQL Original Statement中获取源库创建事件的语句。 SHOW CREATE EVENT EVENT_SCHEMA.EVENT_NAME \G; 上述语句中,EVENT_SCHEMA.EVENT_NAME填写的为2.a中查询到的EVENT_SCHEMA和EVENT_NAME具体值。 导入触发器和事件。 在目标库重新执行从源库导出的创建触发器和创建事件语句。 父主题: 实时迁移
  • 问题分析 出现上述内存溢出可能存在如下原因: 源数据库的mongod服务单独部署在一台机器上,如果这种情况下在迁移过程中出现内存溢出,一般就是因为在迁移过程中源库在执行会大量消耗内存的操作,比如:创建索引,排序查询等。 源数据库的mongod服务和其他服务同时部署在一台机器上,而且没有设置cacheSizeGB的大小,这种情况下,如果因为其他服务消耗掉内存导致不能给wiredTiger引擎保证的内存,则会出现内存溢出的情况。 一般默认情况下,mongod的wiredTiger引擎可以使用整个机器内存减一的50%(3.2的版本)或者60%(3.4以后的版本)。
  • 包年包月到期说明 “包年/包月”任务到期后,如果没有及时的进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内,无法在DRS管理控制台进行该任务的操作,相关接口也无法调用,自动化监控或告警等运维也会停止。如果在保留期结束时您没有续费,实例将终止服务,系统中的数据也将被永久删除。 关于宽限期和保留期的时长限制说明,可参考这里。若您购买的任务已到期,请参见费用中心用户指南中资源停止服务或逾期释放说明章节进行处理。 父主题: 计费相关
  • 什么是孤儿文档 MongoDB负载均衡器(Balancer)会根据集合的分片键(Shard key)均衡数据。Balancer的工作原理是:需要Balancer的数据块(Chunk)先复制到目标Shard,成功后再删除原Shard上的Chunk,来完成一次Chunk迁移,通过多次Chunk迁移来实现均衡。在Chunk迁移时,如果发生网络闪断等不可预知的场景,完成了复制但没有完成删除,那么对同一条文档会同时存在于两个Shard上。因为Chunk迁移在MongoDB上是感知的,config会更新这条文档应该在哪个Shard上,那么另一个Shard上的文档会存在但不会被感知,后续的update、delete操作都不会作用于这个错误的Shard上的文档,那么这条文档被称为孤儿文档(Orphaned Document)。
  • 操作步骤 下载用于清除孤儿文档的cleanupOrphaned.js脚本文件。 修改cleanupOrphaned.js脚本文件,将test替换为待清理孤儿文档的数据库名。 执行以下命令,清理Shard节点下指定的数据库中所有集合的孤儿文档。 mongo --host ShardIP --port Primaryport --authenticationDatabase database -u username -p password cleanupOrphaned.js ShardIP:Shard节点的IP地址。 Primaryport:Shard节点中的Primary节点的服务端口。 database:鉴权数据库名,即数据库帐号所属的数据库。 username:登录数据库的帐号。 password:登录数据库的密码。 如果您有多个数据库,您需要重复执行步骤2和步骤3,分别为每个数据库的每个Shard节点清理孤立文档。
  • 备份迁移场景的是否最后一个备份文件选择错误该如何处理 备份迁移过程中,根据选择“最后一个备份文件”来判断是否为最后一次备份,对于人工操作中不可控的误选择,有以下两种情况及处理方法: 选择“是”,但原本期望为否,即仍然希望继续做增量备份迁移。但由于SQL Server本身的设计,数据库一旦收到还原已完成的信号,便会做一系列的内部工作并把数据库置为可用,已无法继续增量备份迁移。此时,只能删除备份数据库重新进行全量+增量的备份还原。 选择“否”,但原本期望为是,即不希望继续恢复增量备份迁移。其实SQL Server没有严格意义上的的最后一个备份文件,此时可以再做一个增量备份(即使没有数据改变也可以备份),在该次增量备份时选择“是”即可完成迁移,相关数据库将会变为可用。 父主题: 备份迁移
  • 索引超长的处理方法 方法一 不迁移含有超长索引的表。 方法二 修改源库索引长度满足以上索引长度说明中的要求,改操作可能导致迁移后数据不完整,请谨慎使用。以目标库为MySQL 5.7.6及以下版本的UTF8MB4为例,可通过如下方式修改长度。 alter table tablename modify columnname varchar2 (768) ; 其中,tablename请用实际表名代替,columnname请用实际列名代替。 方法三 在源库删除该索引及其约束。以目标库为MySQL 5.7.6及以下版本的UTF8MB4为例,可通过如下方式删除索引及其约束。 drop index indexname;alter table tablename drop constraint constraintname; 其中,indexname请用实际索引名代替,tablename请用实际表名代替,constraintname请用实际约束名代替。
  • 索引长度说明 MySQL引擎对索引长度有一些限制,最主要的因素就是存储引擎和字符集。不同的字符集,单个字符包含的最大字节数有所不同。例如UTF8字符集,一个字符最多包含3个字节。而UTF8MB4一个字符最多包含 4 个字节。 如果是单字段索引,则字段长度不应超过表1中的“单字段最大字符数”。例如,MySQL 5.7.6版本的InnoDB引擎,单字段索引不应超过767个字节(字符数=767/最大字节数)。 如果是联合索引,则每个字段长度均不能超过表1中的“单字段索引最大字符数”,且所有字段长度合计不应超过“联合索引合计最大字符数”。例如,MySQL 5.7.6版本的InnoDB引擎,每个字段索引不应超过767个字节(字符数=767/最大字节数),且所有字段索引长度总和不超过3072个字节(字符数=3072/最大字节数)。 表1 索引长度说明 引擎 MySQL版本 字符集 最大字节数 单字段索引最大字符数 联合索引合计最大字符数 InnoDB MySQL 5.7.6及以下版本 UTF8MB4 4 191 768 MySQL 5.7.7及以上版本 UTF8MB4 4 768 768
  • DRS支持断点续传吗 针对数据库的迁移、同步场景,在迁移、同步过程中由于不可抗拒因素(例如网络波动)导致的任务失败,DRS通过记录当前解析和回放的位点(该位点同时也是数据库内部一致性的依据),下次从该位点开始回放的方式来实现断点续传,以确保数据的完整性。 增量阶段的迁移、同步,DRS会自动进行多次断点续传的重试,全量阶段的MySQL迁移,系统默认进行三次自动续传,无需人工干预。当自动重试失败累计一定次数后,任务会显示异常,需要人为根据日志来分析无法继续的原因,并尝试解决阻塞点(例如数据库修改了密码),如果环境无法修复,如所需日志已经淘汰,则使用重置功能可以完全重新开始任务。 父主题: 产品咨询
  • RDS for MySQL不支持MyISAM引擎表,迁移时MyISAM如何处理 基于以下原因,RDS for MySQL目前不支持MyISAM引擎。 MyISAM引擎表不支持事务,仅支持表级别锁,导致读写操作相互冲突。 MyISAM对数据完整性的保护存在缺陷,且这些缺陷会导致数据库数据的损坏甚至丢失。 MyISAM在出现数据损害情况下,很多都需要手动修复,无法通过产品服务提供的恢复功能进行数据恢复。 MyISAM向InnoDB的迁移透明,大多数情况不需要改动建表的代码,云数据库自动转换InnoDB即可完成迁移。 DRS在迁移过程中,会自动将MyISAM转换为InnoDB。针对MyISAM引擎表不支持事务这一特点,为了确保MyISAM表的数据一致性, DRS会借助主键来实现最终数据的一致。如果需要迁移没有主键的MyISAM表,建议选择无业务期启动迁移任务,以确保数据的一致性。 父主题: 实时迁移
  • DRS自定义策略样例 示例1:授权用户创建DRS实例 {"Version": "1.1","Statement": [{ "Action": ["drs:instance:create"],"Effect": "Allow"}]} 示例2:拒绝用户删除DRS实例 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予DRS FullAccess的系统策略,但不希望用户拥有DRS FullAccess中定义的删除DRS实例,您可以创建一条拒绝删除云服务的自定义策略,然后同时将DRS FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对DRS实例执行除了删除DRS实例外的所有操作。拒绝策略示例如下: {"Version": "1.1","Statement": [{"Action": ["drs:instance:delete"],"Effect": "Deny"}]}
  • 示例流程 图1 给用户授权DRS权限流程 创建用户组并授权 在 IAM 控制台创建用户组,并授予 数据复制服务 管理员权限“DRS Administrator”权限。 创建用户 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,切换至授权区域验证权限,操作如下: 在“服务列表”中选择数据复制服务,进入DRS主界面,单击右上角“创建迁移任务”,尝试创建迁移任务,如果可以创建迁移任务(假设当前权限仅包含“DRS Administrator”),就表示“DRS Administrator”权限已生效。
  • 准备工作概览 当您在使用DRS创建任务时,需要提前做一些准备工作,以满足DRS任务的环境要求。 表1 准备工作概览 准备项 说明 需要执行的准备工作 帐号准备 准备华为帐号,创建用户并赋权使用DRS。 参考注册华为帐号并开通华为云。 参考权限管理创建用户并授权使用DRS。 数据库准备 源和目标数据库以及对应连接帐号权限准备。 说明: 建议创建单独用于DRS任务连接的数据库帐号,避免因为帐号修改,导致的任务连接失败。 连接源和目标数据库的帐号密码修改后,请尽快修改DRS任务中的连接信息,避免任务连接失败后自动重试,导致数据库帐号被锁定影响使用。 不同链路,数据库和权限的要求也不同,可参考以下链接,选择对应链路查看使用须知: 支持的数据库版本 实时迁移方案概览 备份迁移方案概览 实时同步方案概览 数据订阅使用须知 实时灾备方案概览 网络准备 源数据库部署在本地 参考本地数据库到华为云进行网络准备。 源数据为其他云数据库 参考其他云数据库到华为云进行网络准备。 源数据为华为云上数据库 参考华为云数据库到华为云进行网络准备。 源数据库为华为云E CS 自建库 参考华为云ECS自建数据库到华为云进行网络准备。
  • 示例流程 图1 给用户授权服务权限流程 创建用户组并授权 在IAM控制台创建用户组,并授予安全治理云图服务系统管理员权限“Compass FullAccess”。 创建用户并加入用户组 在IAM控制台创建用户,并将其加入1中创建的用户组。 用户登录并验证权限 新创建的用户登录控制台,验证权限: 验证方式(参考):您可以尝试订阅安全合规包,此时如果订阅成功,则表示设置的“Compass FullAccess”安全治理云图服务系统管理员角色已生效。
  • 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。 权限:允许或拒绝某项操作。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 权限 授权项 授予Compass服务用户的操作权限 compass:agency:create 查看Compass服务的授权信息 compass:agency:get 获取发布的合规包的列表 compass:releasePackage:list 订阅合规包 compass:releasePackage:subscribe 取消订阅合规包 compass:package:delete 获取订阅合规包的列表 compass:package:list 获取合规包的检测路径 compass:packageDetectionPath:get 获取合规包的详情 compass:packageDetail:get 获取合规包扫描的统计情况 compass:packageStatistics:get 获取订阅合规包的检查项列表 compass:packageCheckitem:list 更新订阅合规包的检查项 compass:packageCheckitem:set 下载合规包检查项的文件 compass:packageCheckitemFile:get 获取合规包标准扫描的统计结果 compass:packageStandardStatistics:get 获取合规包标准的目录树信息 compass:packageStandardCatalog:get 上传合规包的检查项的证据文件 compass:packageCheckitemFile:upload 获取合规包检查项文件列表 compass:packageCheckitemFile:list 删除合规包的检查项的文件 compass:packageCheckitemFile:delete 获取合规包标准控制项的详情 compass:packageStandardItem:get 获取合规包检查项的详情 compass:packageCheckitem:get 获取合规包检查项的策略列表 compass:packageCheckitemPolicy:list 获取合规包检查项的控制项列表 compass:packageCheckitemItem:list 获取安全合规包策略扫描结果的统计信息 compass:packagePolicyStatistics:get 获取合规包服务扫描结果的统计信息 compass:packageServiceStatistics:get 获取合规包策略的扫描结果列表 compass:packagePolicy:list 获取策略扫描的详情 compass:packagePolicy:get 获取合规包的检查项的历史操作列表 compass:packageCheckitemUpdate:list 获取策略下资源的扫描结果列表 compass:packagePolicyResource:list 下载安全合规报表 compass:packageReport:get
  • Compass自定义策略样例 示例1:授权用户获取发布的合规包列表信息 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "compass:releasePackage:list" ] } ]} 示例2:拒绝用户订阅安全合规包信息 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先原则。 如果您给用户授予“Compass FullAccess”的系统策略,但不希望用户拥有“Compass FullAccess”中定义的订阅安全合规包的权限,您可以创建一条拒绝修改配置信息的自定义策略,然后同时将“Compass FullAccess”和拒绝策略授予用户,根据Deny优先原则,则用户可以对Compass执行除了修改配置信息外的所有操作。拒绝策略示例如下: { "Version": "1.1", "Statement": [ { "Action": [ "compass:releasePackage:subscribe" ], "Effect": "Deny" } ] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务或都是全局级服务。多个授权语句策略描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "compass:releasePackage:list", "compass:releasePackage:subscribe" ] }, { "Effect": "Allow", "Action": [ "hss:accountCracks:unblock", "hss:commonIPs:set" ] } ]}
  • 云审计 服务支持的Compass操作列表 安全治理云图服务Compass通过云审计服务(Cloud Trace Service, CTS )为用户提供云服务资源的操作记录,记录内容包括用户从管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供用户查询、审计和回溯使用。 云审计服务支持的Compass操作列表如表1所示。 表1 云审计服务支持的安全治理云图服务Compass操作列表 操作名称 资源类型 事件名称 订阅合规包 package subscribePackage 删除合规包 package deletePackage 上传检查项的证据 package uploadCheckitemFile 删除检查项的证据 package deleteCheckitemFile 更新检查项 package updatePackageCheckitem 父主题: 云审计服务支持的关键操作
  • Compass权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对Compass服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。 如表1所示,包括了Compass下所有的系统角色。 表1 Compass系统角色 角色名称 描述 类别 依赖关系 Compass FullAccess 安全治理云图服务所有权限。 系统策略 无 Compass ReadOnlyAccess 安全治理云图服务只读权限。 系统策略 无 用户在执行租户授权时必须拥有IAM的管理员权限(“Security Administrator”权限)。
  • 隐私保护遵从包 当前可选择的安全遵从包如表1所示,租户依据判定指引选择并订阅安全遵从包。 表2 遵从包名称 描述 适用区域 分类 领域 判定指引 马来西亚隐私保护遵从包 该遵从包依据《马来西亚个人数据保护法》2010年(Personal Data Protection Act,2010,简称“PDPA”),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并为您的企业处理个人数据的有关活动提供指引。 马来西亚 法律法规 隐私保护 您是否涉及在马来西亚境内设立组织处理或授权处理商业交易有关的任何个人数据? 您是否涉及使用马来西亚的设备收集处理商业交易有关的任何个人数据? 您是否期望对您在马来西亚PDPA下的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 印度尼西亚隐私保护遵从包 该遵从包依据2008年第11号《电子信息和交易法》(EIT)、2019年第71号政府条例(GR71/2019)、 2016年第20号关于《电子系统中个人数据保护》的条例(MOCI 20/2016),提供检查项和评测指引供云计算客户(在本遵从包中也称作“企业”)自评遵从情况,并为您的企业处理个人数据的有关活动提供指引。 印度尼西亚 法律法规 隐私保护 您是否涉及在印度尼西亚境内或境外从事与印尼国民个人数据有关的活动?包括使用电子设备或程序收集、处理、分析、储存、显示、发送或分发个人数据。 您是否期望对您在印度尼西亚的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 巴基斯坦隐私保护遵从包 该遵从包依据《巴基斯坦个人数据保护法案》2020年(Personal Data Protection Act, 2020.),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并为您的企业处理个人数据的有关活动提供指引。 巴基斯坦 法律法规 隐私保护 您是否涉及处理、控制或被授权处理个人数据?此类个人数据由在巴基斯坦境内的任何数据主体、数据控制者或处理者(本国或外国)提供。 您是否期望对您在巴基斯坦的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 阿根廷隐私保护遵从包 该遵从包依据《阿根廷第25,326号个人数据保护法》2000年(Argentina Personal Data Protection Act 25,326,2000,简称“PDPL”),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,指导您的企业对收集、存储的客户个人数据进行适当地保护。 阿根廷 法律法规 隐私保护 您是否涉及在阿根廷境内对个人或法律实体(位于阿根廷或在阿根廷设有办事处、分支机构)个人数据的处理行为,包括通过文件、录音录像、数据库或其他数据处理技术手段记录个人数据? 您是否期望对您在阿根廷PDPL下的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 智利隐私保护遵从包 该遵从包依据《智利个人数据保护法》2020年(Law No.19,628),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并为您的企业处理个人数据的有关活动提供指引。 智利 法律法规 隐私保护 您是否涉及公共机构或私人对登记册或数据库中的个人数据的处理? 说明: 智利个人数据保护法没有对适用的“地域范围”进行规定。是否适用智利个人数据保护法或者是否受智利法律的管辖,在上述场景涉及的情况,建议考虑以下两点: 数据处理活动是否在智利领土范围有关联,例如在智利境内进行的搜集、储存数据。 数据处理活动是否与智利居民(包括法人、自然人)有关联。 您是否期望对您在智利的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 菲律宾隐私保护遵从包 该遵从包依据《菲律宾数据隐私法案》2012年(Data privacy Act of 2012,简称“DPA”)、《菲律宾数据隐私法案实施细则》(Implementing Rules and Regulations of the Data privacy Act of 2012,简称“DPA实施细则”)、以及《关于个人数据泄露管理的通知》(NPC Circular 16-03-Personal Data Breach Management),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并为您的企业处理个人数据的有关活动提供指引。 菲律宾 法律法规 隐私保护 您是否涉及在菲律宾境内通过办公室、分支机构或代理进行的个人数据处理行为? 您是否涉及使用位于菲律宾境内的设备进行的个人数据处理行为? 您是否涉及发生在菲律宾境外但针对菲律宾居民或公民进行的个人数据处理行为? 您是否期望对您在菲律宾DPA、DPA实施细则下的个人数据保护相关风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 中国-澳门隐私保护遵从包 该遵从包依据《澳门个人资料保护法》2005年(Personal Data Protection Act,2005,简称“PDPA”),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并为您的企业处理个人数据的有关活动提供指引。 中国-澳门 法律法规 隐私保护 您或者您的企业是否涉及如下场景之一: 以全部或部分自动化方式进行个人资料(在本遵从包中也称作“个人数据”)处理活动; 以非自动化方式进行的,构成或拟构成人工存档系统的一部分的个人资料的处理活动; 使用监控录像或其它设备来捕捉、处理和传播可用以识别某一特定个人的声音和图像。 说明: 澳门个人资料保护法没有对适用的“地域范围”进行规定。是否适用澳门PDPA或者是否受澳门法律的管辖,在上述3个场景涉及的情况,建议考虑以下两点: 资料处理活动是否在澳门特区领土范围有关联,例如在澳门特区内进行的个人资料搜集、储存的行为; 资料处理活动是否与澳门居民(包括法人、自然人)有关联。 您是否期望对您在澳门的个人资料处理方面的风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 中国-大陆隐私保护遵从包 该遵从包依据《中国个人信息安全规范》2020年的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,为企业提供开展收集、存储、使用、共享、转让、公开披露、删除等个人信息处理活动应遵循的安全要求,并给出了隐私保护方面的改进建议,帮助您的企业提升个人信息保护水平。 中国大陆 法律法规 隐私保护 您是否涉及在中国大陆境内进行个人数据的收集、使用或披露等个人信息处理活动? 您是否期望对您在中国个人信息安全规范下的个人信息安全风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 中国-香港隐私保护遵从包 该遵从包依据《香港个人资料(私隐)条例》1995年(Personal Data (Privacy )Ordinance,1995,简称PDPO)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,指导您的企业如何收集、存储、传输、处理和使用收集到的个人数据,并给出了隐私保护方面的改进建议,帮助您的企业提升隐私保护及信息安全水平。 中国香港 法律法规 隐私保护 您是否涉及对一名在世人士有关及可确定个人身份的资料,以可供查阅及处理的方式记录下来? 说明: 香港PDPO没有对适用的“地域范围”进行规定,是否适用中国香港PDPO,建议结合以下条件考虑:您是否涉及作为香港境内的资料使用者(在本遵从包中也称作“数据控制者”)收集、使用、或处理个人资料(在本遵从包中也称作“个人数据”)? 您是否期望对您在香港PDPO下的个人资料处理相关风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 新加坡隐私保护遵从包 该遵从包依据《新加坡个人数据保护法》2012年(Personal Data Protection Act,2012,简称PDPA)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,帮助您的企业规范个人数据的收集、使用或披露,以及提升个人保护其个人信息数据各项权利的意识。 新加坡 法律法规 隐私保护 您是否涉及在新加坡境内进行个人数据的收集、使用或披露等个人信息处理活动? 您是否期望对您在新加坡个人数据保护法下的个人数据保护相关风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 泰国隐私保护遵从包 该遵从包依据《泰国个人数据保护法 B.E.2562》 2019年(Personal Data Protection Act B.E.2562 2019, 简称PDPA)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,帮助企业全面管理数据保护以及个人数据的收集、保护、使用、存储、披露、传输。 泰国 法律法规 隐私保护 您是否涉及在泰国境内收集、保护、使用、披露、传输和其他处理个人数据的情形? 您是否涉及对位于泰国境内的个人数据主体从事以下活动: 您向泰国境内的数据主体提供服务,无论是否由该数据主体支付费用 监控数据主体的行为,且该监控发生在泰国境内 您是否期望对您在泰国个人数据保护法下的个人数据保护风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 南非隐私保护遵从包 该遵从包依据《南非个人信息保护法》2013年(Protection of Personal Information Act,2013,简称POPIA)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,保护企业处理的个人信息。 南非 法律法规 隐私保护 您的企业是否设立在南非境内,并涉及处理个人信息? 若您的企业不设立在南非境内,是否涉及在南非境内通过自动或非自动手段处理个人信息? 您是否期望对您在南非个人信息保护法下的个人数据保护相关风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 墨西哥隐私保护遵从包 该遵从包根据《墨西哥保护私人实体持有的个人数据联邦法》2010年(The Federal Law on the Protection of Personal Data held by Private Parties,2010,简称PPDPP)、《墨西哥保护私人实体持有的个人数据联邦法实施细则》2011年(Regulations to the Federal Law on the Protection of Personal Data held by Private Parties,2011)、《墨西哥联邦消费者保护法》2004年(Federal Consumer Protection Law,2004)、《墨西哥保护义务主体持有的个人数据联邦法》2017年(The General Law for the Protection of Personal Data in Possession of Obligated Subjects,2017)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,为您的企业提供了处理个人数据时可参照的安全保护要求。 墨西哥 法律法规 隐私保护 您或者您的企业是否涉及在物理或电子媒体中的个人数据的处理? 说明: 墨西哥PPDPP没有对适用的“地域范围”进行规定,根据该法的相关条例中对于该条例的处理所发生的“领土范围”的补充,是否适用墨西哥PPDPP,在上述场景涉及的情况下,建议考虑以下几点: 该处理是在您作为数据控制者的位于墨西哥的机构中进行的。 该处理是由您作为数据处理者代表在墨西哥设立的数据控制者进行的,无论其位置。 您的企业未在墨西哥设立机构,但由于提供服务/产品签订了合同或根据国际条约而受墨西哥法律的约束。 您的企业未在墨西哥设立机构,但使用位于墨西哥的媒介,除非这些媒介仅用于不涉及处理的过境目的。 您是否期望对您在墨西哥的个人数据保护相关风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 巴西隐私保护遵从包 该遵从包根据《巴西2020年通用数据保护法》(in Portuguese,LGPD, Lei Geral de Proteção de Dados,2020,简称LGPD)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,帮助您在进行个人数据的收集、使用、处理和存储时提供安全遵从要求。 巴西 法律法规 隐私保护 您是否在巴西境内进行个人信息处理的操作? 若您的企业不设立在巴西境内,但以提供货物或服务为目的处理位于巴西境内的个人数据? 若您的企业不设立在巴西境内,但所处理的个人数据在巴西境内收集? 您是否期望对您在巴西通用数据保护法下的个人数据保护风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 秘鲁隐私保护遵从包 该遵从包根据《秘鲁个人数据保护法》2011年(Personal Data Protection Law,2011,简称PDPL)的法规要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)进行自评估,并给出了隐私保护方面的改进建议,帮助您在进行个人数据的收集、使用、处理和存储时提供安全遵从要求。 秘鲁 法律法规 隐私保护 您是否涉及在秘鲁国家领土内进行的个人数据处理活动? 若您的企业不设立在秘鲁境内,但是根据合同规定、秘鲁的特定法律或者国际法相关规定,个人数据处理活动仍受秘鲁个人数据保护法的适用? 若您的企业不设立在秘鲁境内,但是数据处理活动使用的工具或手段位于秘鲁境内,除非使用该工具仅出于传输数据的目的? 您是否期望对您在秘鲁个人数据保护法下的个人数据保护相关风险进行识别,并获取如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。
  • 安全标准遵从包 当前可选择的安全遵从包如表1所示,租户依据判定指引选择并订阅安全遵从包。 表1 安全遵从包一览 遵从包名称 描述 适用区域 分类 领域 判定指引 PCI DSS安全遵从包 该遵从包依据广受国际认可的数据安全标准-支付卡行业数据安全标准 (PCI DSS 3.2.1版,2018 年 5 月),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)自评数据安全管理情况,并结合PCI DSS给出了数据安全方面的改进建议,帮助企业提升数据安全水平。 全球 行业标准 数据安全 您是否作为参与支付卡处理的实体,包括商户、处理商、收单机构、发卡机构和服务提供商? 您是否存储、处理或传输持卡人数据(主账户信息(PAN,一般为银行卡号)、持卡人姓名、银行卡有效期、业务码)或敏感验证数据(全磁道数据、信用卡安全码、PIN)? 您是否期望对您在数据安全方面的风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 ISO 27001安全遵从包 该遵从包依据国际上公认的ISO 27001信息安全管理体系要求(2013版),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)自评信息安全管理情况,并给出了信息安全方面的改进建议,帮助企业提升信息安全水平。 全球 国际标准 信息安全 ISO 27001为组织建立、实施、运行、保持和持续改进信息安全管理体系规定了要求,是一项具有普适性的信息安全标准。 如您期望对您在信息安全方面的风险进行识别,并获知如何采取措施降低风险,建议您订阅该遵从包。 ISO 27701安全遵从包 该遵从包依据国际上公认的ISO 27701隐私信息管理要求和指南(2019版),提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)自评隐私信息管理情况,并给出了隐私保护方面的改进建议,帮助企业贯彻隐私保护的责任,提升隐私保护及信息安全水平。 全球 国际标准 隐私保护 您是否涉及处理(包括收集、使用、传输、存储、删除等)个人可识别信息(简称“PII”,如姓名、电话号码、电子邮箱、身份证件信息等,在本遵从包中也称作“个人数据”)? 您是否作为PII控制者(决定PII处理目的和方法的隐私利益相关方,在本遵从包中也称作“数据控制者”)和/或PII处理者(代表PII控制者,并按照PII控制者的指示对PII进行处理的隐私利益相关方,在本遵从包中也称作“数据处理者”)的角色? 您是否期望对您在隐私保护方面的风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 等保2.0标准四级安全遵从包 该遵从包依据国家标准GB/T 22239-2019《信息安全技术网络安全等级保护基本要求》中四级的安全要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)自评网络安全管理情况,并给出了网络安全等级保护的改进建议,帮助企业建设网络安全体系,提升网络安全水平。 中国 国家标准 网络安全 您是否涉及网络安全等级保护工作的作用对象,主要包括基础信息网络(为信息流通、信息系统运行等起基础支撑作用的信息网络,包括电信网、广播电视传输网、互联网、业务专网等网络设备设施)、信息系统(例如工业控制系统、 云计算平台 、物联网、使用移动互联技术的信息系统以及其他信息系统)和大数据等? 您是否期望对网络实施分级保护措施,在网络安全保护方面的风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。 等保2.0标准三级安全遵从包 该遵从包依据国家标准GB/T 22239-2019《信息安全技术网络安全等级保护基本要求》中三级的安全要求,提供检查项和评测指引供云计算客户(在本遵从包中也称作“您”或者“您的企业”)自评网络安全管理情况,并给出了网络安全等级保护的改进建议,帮助企业建设网络安全体系,提升网络安全水平。 中国 国家标准 网络安全 您是否涉及网络安全等级保护工作的作用对象,主要包括基础信息网络(为信息流通、信息系统运行等起基础支撑作用的信息网络,包括电信网、广播电视传输网、互联网、业务专网等网络设备设施)、信息系统(例如工业控制系统、云计算平台、物联网、使用移动互联技术的信息系统以及其他信息系统)和大数据等? 您是否期望对网络实施分级保护措施,在网络安全保护方面的风险进行识别,并获知如何采取措施降低风险? 如以上回答任一回答为是,建议您订阅该遵从包。
  • 功能特性 安全治理云图为您提供安全治理模板与合规策略扫描服务,将安全遵从包内的法规标准条款转化成检查项。 提供安全遵从包 华为开放的安全治理模板,包含法规标准条款原文、扫描策略、自评估检查项以及华为专家的改进建议,覆盖PCI DSS、ISO27701、ISO27001、隐私等法规标准。租户可以订阅、取消订阅安全遵从包,查看合规评估与治理结果。 合规策略扫描 Policy as Code,将安全遵从包内的法规标准条款代码化,周期性、自动化扫描云上资产的合规情况,可视化看板呈现风险,提供华为专家改进建议。 自评估检查项 将安全遵从包内的法规标准条款转化成检查项,租户可根据检查项完成自身业务的合规评估,查看历史评估结果,进行证据上传和下载,根据华为专家改进建议进行治理。 合规结果可视 可视化呈现合规评估结果与安全治理情况,包括租户订阅的法规、标准条款遵从概况,各安全遵从包状态,各策略扫描概况。
  • 什么是安全治理云图? 安全治理云图(Compliance Compass)是一个自动化合规评估和安全治理的平台,以华为内部“云服务网络 安全与合规 标准”(Cloud Service Cybersecurity & Compliance Standard,3CS)为基座,将华为积累的全球安全合规经验服务化,开放PCI DSS、ISO27701、ISO27001等安全治理模板,将合规语言IT化实现自动化扫描,可视化呈现合规状态,一键生成合规遵从性报告,帮助租户快速实现云上业务的安全遵从,提升租户获得法规及行业标准认证的效率。
  • 与云审计服务的关系 云审计服务(Cloud Trace Service,CTS)记录Compass服务相关的操作事件,方便用户日后的查询、审计和回溯,具体请参见《云审计服务用户指南》。 表1 云审计服务支持的安全治理云图服务操作列表 操作名称 资源类型 事件名称 订阅安全遵从包 package subscribePackage 删除安全遵从包 package deletePackage 上传检查项的证据 package uploadCheckitemFile 删除检查项的证据 package deleteCheckitemFile 更新检查项 package updatePackageCheckitem
  • 功能描述 透明 数据加密 (TDE)是指加密DWS的数据文件。 通常在数据库的安全防护措施里面,可以采取一些消减措施来帮助保护数据安全。例如,设计一个安全系统、加密机密资产以及在数据库服务器的周围构建防火墙。 但是,如果遇到物理介质(如硬盘)被黑客或者内部人员盗取的情况,恶意破坏方只需还原或附加数据库即可浏览用户数据。 有一种解决方案是加密数据库中的敏感数据,并保护加密数据的密钥,该方案可以防止任何没有密钥的人使用这些数据,但这种保护必须事先计划。DWS提供了完整的解决方案TDE。 TDE可对数据实时I/O加密和解密,只要打开透明加密开关,对正常使用的用户是无感知的。 这种加密使用数据库加密密钥 (DEK),该密钥不会直接存储在数据库系统中。 DEK是使用存储在KMS服务器的集群密钥(CEK)保护的对称密钥,数据库服务器仅仅保存其密文。在数据库启动阶段,数据库的每个CN/DN使用身份认证(例如Kerberos)来连接KMS服务器,并且解密DEK密文,从而获取到密钥明文,缓存在内存中。一旦机器下电或者集群关闭,密钥将会被清理。因此,需要保护好集群中的密钥文件,因为一旦丢失,则会造成不可恢复的危害。
  • 产品定位 数据仓库 服务( GaussDB (DWS),以下简称DWS)是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。DWS是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PostgreSQL/Oracle数据库生态,为各行业PB级海量大数据分析提供有竞争力的解决方案。 DWS提供标准数仓、IoT数仓和实时数仓三种产品形态,围绕企业级内核、实时分析、协同计算、融合分析、云原生五大方向构筑业界第一数据仓库。 标准数仓面向数据分析场景,为用户提供高性能、高扩展、高可靠、高安全、易运维的企业级数仓服务,支持2048节点、20PB级超大规模数据分析能力。支持冷热数据分析,存储、计算弹性伸缩,并按需、按量计价,为用户提供弹性灵活、极致性价比的体验。适用于“库、仓、市、湖”一体化的融合分析业务。 IoT数仓在标准数仓基础上,通过融合流、时序引擎,为用户提供实时数据接入和高并发实时分析能力。适用于物联网、IoT等实时分析场景。 实时数仓在大规模数据查询和分析能力基础上,提供高并发、高性能、低时延的事务处理能力。适用于HTAP混合负载场景,“一库两用,生产即分析”。支持集群和单机两种部署模式。 DWS可广泛应用于金融、政企、IoT、互联网、电商、能源、电信等各个行业,已连续三年入选Gartner发布的数据管理解决方案魔力象限,相比传统数据仓库,性价比提升数倍,具备大规模扩展能力和企业级可靠性。 父主题: DWS产品简介
  • 技术原理 图1展示了DWS的全并行分布式查询技术。 图1 分布式查询示意图 运行在CN上的分布式执行引擎实现了分布式执行调度的功能。 节点内引入新的执行算子来支撑数据在计算节点之间的流动,这些新的执行算子称其为数据流操作符,根据数据流的输入、输出关系,可以细分为聚合流(Gather)、广播流(Broadcast)和重分布流(Redistribution)。聚合流将数据从多个查询片段聚合到一个。广播流将数据从一个查询片段的数据向多个传输。重分布流则将多个查询片段的数据,按照一定规则重组后向多个传输。 跨计算节点的数据传输依赖于查询分析阶段根据数据分布以及代价模型构建的数据流动拓扑结构,并根据此结构来建立节点之间的网络连接,驱动数据流动于此拓扑结构之上。
  • 技术原理 负载管理分为静态负载管理和动态负载管理,使用参数enable_dynamic_workload控制,同时GaussDB提供优先级控制用于对租户作业优先级进行控制。 静态负载管理 以CN为单位实现租户的并发控制和资源管控,各CN分别进行内存管控和并发控制,集群实际并发数为各CN并发之和,集群实际使用内存为各CN运行作业所占内存之和。因为各CN分别进行内存管控,因此DN上租户实际使用内存有可能超过租户内存限制。 动态负载管理 增加CCN用于复杂作业并发控制和内存管控,各CN向CCN请求排队信息,CCN将租户运行作业估算内存累加得到各租户已用内存,租户可用内存不足时触发排队,租户作业运行结束后尝试唤醒本租户正在排队的作业;各租户已用内存之和累加得到集群已用内存,同时CCN定期收集DN上内存使用信息用于更新集群可用内存,可用内存不足以运行作业时触发排队,作业运行需同时满足租户内存限制和集群内存限制。 优先级控制 基于query_band可以实现多维度的负载识别和队列内优先级控制,一方面提供了更为灵活的负载识别手段,可根据作业类型、应用名称、脚本名称等识别负载队列,使用户根据业务场景可灵活配置query_band识别队列;另一方面实现了队列内作业下发优先级控制,后续将逐步实现队列内资源优先级控制。
  • 功能描述 数据分区是数据库产品普遍具备的功能。在DWS分布式系统中,数据分区是在一个节点内部按照用户指定的策略对数据做进一步的水平分表,将表按照指定范围划分为多个数据互不重叠的部分(Partition)。 DWS支持范围分区(Range Partitioning)和List分区功能,即根据表的一列或者多列,将要插入表的记录分为若干个范围(这些范围在不同的分区里没有重叠),然后为每个范围创建一个分区,用来存储相应的数据。用户在CREATE TABLE时增加PARTITION参数,即表示针对此表应用数据分区功能。
共100000条