华为云用户手册

响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 描述 count Integer 云服务器规格销售策略数量。 sell_policies Array of objects 云服务器规格销售策略，请参考表4。 表4 sell_policies字段数据结构说明 参数 参数类型 描述 id Integer 云服务器规格的索引。 flavor_id String 云服务器规格的ID。 sell_status String 云服务器规格的售卖状态。 sellout：售罄 available：可用 availability_zone_id String 云服务器规格的可用区。 sell_mode String 云服务器规格的付费模式。 postPaid：按需计费 prePaid：包年/包月计费 spot：竞价实例 ri：预留实例 spot_options object 云服务器规格竞价实例的销售策略详情。请参考表5。 表5 spot_options字段数据结构说明 参数 参数类型 描述 longest_spot_duration_hours Integer 购买的竞价实例时长。 largest_spot_duration_count Integer 购买的“竞价实例时长”的个数。 interruption_policy String 竞价实例中断策略。 immediate：立即释放 delay：延迟释放

响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 status String Job的状态。 SUC CES S：成功。 RUNNING：运行中。 FAIL：失败。 INIT：正在初始化。 PENDING_PAYMENT : 包年/包月订单待支付。 说明： PENDING_PAYMENT状态为创建或者变更包年/包月的弹性云服务器提交订单完成后待支付状态。如果订单取消，该状态不会自动刷新，待14天后job会自动清理。 entities Object Job操作的对象。 根据不同Job类型，显示不同的内容，云服务器相关操作显示server_id，网卡相关操作显示nic_id。有子Job时为子job的详情。 详情请参见表3 job_id String 异步请求的任务ID。 job_type String 异步请求的任务类型。 begin_time String 开始时间。 end_time String 结束时间。 error_code String Job执行失败时的错误码。 Job执行成功后，该值为null。 fail_reason String Job执行失败时的错误原因。 Job执行成功后，该值为null。 message String 查询Job的API请求出现错误时，返回的错误消息。 code String 查询Job的API请求出现错误时，返回的错误码。 错误码和其对应的含义请参考通用请求返回值。 表3 entities字段数据结构说明 参数 参数类型 描述 server_id String 云服务器相关操作显示server_id。 nic_id String 网卡相关操作显示nic_id。 sub_jobs_total Integer 子任务数量。 sub_jobs Array of objects 每个子任务的执行信息。 详情请参见表4 表4 sub_jobs字段数据结构说明 参数 参数类型 描述 status String Job的状态。 SUCCESS：成功。 RUNNING：运行中。 FAIL：失败。 INIT：正在初始化。 entities Object Job操作的对象。根据不同Job类型，显示不同的内容，云服务器相关操作显示server_id，网卡相关操作显示nic_id。更多字段描述请参见表5。 job_id String 子任务的ID。 job_type String 子任务的类型。 begin_time String 开始时间。 end_time String 结束时间。 error_code String Job执行失败时的错误码。 Job执行成功后，该值为null。 fail_reason String Job执行失败时的错误原因。 Job执行成功后，该值为null。 表5 sub_jobs.entities字段数据结构说明 参数 参数类型 描述 server_id String 云服务器相关操作显示server_id。 nic_id String 网卡相关操作显示nic_id。 errorcode_message String 子任务执行失败的具体原因。

响应示例 { "status": "SUCCESS", "entities": { "sub_jobs_total": 1, "sub_jobs": [ { "status": "SUCCESS", "entities": { "server_id": "bae51750-0089-41a1-9b18-5c777978ff6d" }, "job_id": "2c9eb2c5544cbf6101544f0635672b60", "job_type": "createSingleServer", "begin_time": "2016-04-25T20:04:47.591Z", "end_time": "2016-04-25T20:08:21.328Z", "error_code": null, "fail_reason": null } ] }, "job_id": "2c9eb2c5544cbf6101544f0602af2b4f", "job_type": "createServer", "begin_time": "2016-04-25T20:04:34.604Z", "end_time": "2016-04-25T20:08:41.593Z", "error_code": null, "fail_reason": null}

请求消息 请求参数如表2所示。 表2 请求参数 参数 是否必选 参数类型 描述 server_group 是 Object 弹性云服务器组信息，参考表3。 表3 server_group参数信息 参数 是否必选 参数类型 描述 name 是 String 弹性云服务器组名称，长度大于0小于256字节。 policies 是 Array of strings 与云服务器组关联的策略名称列表。包括： anti-affinity：此组中的弹性云服务器必须安排到不同的主机。

响应示例 { "server_group": { "id": "5bbcc3c4-1da2-4437-a48a-66f15b1b13f9", "name": "test", "policies": [ "anti-affinity" ], "members": [], "metadata": {} }}

标签类型介绍 标签管理接口包括两类：“一维标签管理接口”和“二维标签管理接口”，其中： 一维标签：指标签的格式是字符串。一维标签全部是OpenStack原生接口，详情请参见标签管理（OpenStack Nova API）。 二维标签：标签由Key和Value组成。二维标签全部是E CS 接口，具体使用请参见本节内容。 在执行增、删、改、查等操作时，建议使用同类标签管理接口进行操作，不要混用。 建议使用二维标签。 父主题： 标签管理

响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 volumeAttachments Array of objects 云服务器挂载信息列表，详情请参见表3。 表3 volumeAttachments字段数据结构说明 参数 参数类型 描述 device String 云硬盘挂载盘符，即控制台显示的磁盘挂载点。 如需查询云服务器内部的磁盘挂载点，请参见控制台与弹性云服务器内部之间磁盘挂载点的对应关系。 id String 挂载ID，与云硬盘ID相同。 UUID格式。 serverId String 弹性云服务器ID，UUID格式。 volumeId String 云硬盘ID，UUID格式。

响应示例 { "volumeAttachments": [ { "device": "/dev/sdd", "id": "a26887c6-c47b-4654-abb5-dfadf7d3f803", "serverId": "4d8c3732-a248-40ed-bebc-539a6ffd25c0", "volumeId": "a26887c6-c47b-4654-abb5-dfadf7d3f803" }, { "device": "/dev/sdc", "id": "a26887c6-c47b-4654-abb5-dfadf7d3f804", "serverId": "4d8c3732-a248-40ed-bebc-539a6ffd25c0", "volumeId": "a26887c6-c47b-4654-abb5-dfadf7d3f804" } ]}

响应示例 { "attachableQuantity": { "free_scsi": 23, "free_blk": 15, "free_disk": 23 }, "volumeAttachments": [ { "pciAddress": "0000:02:01.0", "volumeId": "a26887c6-c47b-4654-abb5-dfadf7d3f803", "device": "/dev/vda", "serverId": "4d8c3732-a248-40ed-bebc-539a6ffd25c0", "id": "a26887c6-c47b-4654-abb5-dfadf7d3f803", "size": 40, "bootIndex": 0, "bus":"virtio" }, { "pciAddress": "0000:02:02.0", "volumeId": "a26887c6-c47b-4654-abb5-asdf234r234r", "device": "/dev/vdb", "serverId": "4d8c3732-a248-40ed-bebc-539a6ffd25c0", "id": "a26887c6-c47b-4654-abb5-asdf234r234r", "size": 10, "bootIndex": 1, "bus":"virtio" } ]}

响应消息 响应参数如表2所示。 表2 响应参数 参数 参数类型 描述 volumeAttachments Array of objects 云服务器挂载信息列表，更多信息请参见表3。 attachableQuantity Object 云服务器可挂载磁盘数量，更多信息请参见表4。 表3 volumeAttachments参数 参数 参数类型 描述 serverId String 弹性云服务器ID，UUID格式。 volumeId String 云硬盘ID，UUID格式。 id String 挂载ID，与云硬盘ID相同。 UUID格式。 size Integer 云磁盘大小，单位GB。 device String 云硬盘挂载盘符，即控制台显示的磁盘挂载点。 如需查询云服务器内部的磁盘挂载点，请参见控制台与弹性云服务器内部之间磁盘挂载点的对应关系。 pciAddress String pci地址。 bootIndex Integer 云硬盘启动顺序。 0为系统盘 非0为数据盘 bus String 磁盘总线类型 。 取值范围：virtio、scsi 表4 attachableQuantity参数 参数 参数类型 描述 free_scsi Integer 云服务器可挂载scsi类型磁盘数量。 free_blk Integer 云服务器可挂载virtio_blk类型磁盘数量。 free_disk Integer 云服务器可挂载磁盘总数。

审计与日志 云审计 服务（Cloud Trace Service， CTS ），是华为 云安全 解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的 CDM 操作列表详见支持云审计的关键操作。用户开通开通云审计服务并创建和配置追踪器后，CTS开始记录操作事件用于审计，用户可查看CTS保存最近7天的审计日志。 CTS支持配置关键操作通知。用户可将与 IAM 相关的高危敏感操作，作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用CDM服务时，如果触发了监控列表中的关键操作，那么CTS会在记录操作日志的同时，向相关订阅者实时发送通知。 父主题： 安全

责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全

访问控制 您可以使用 统一身份认证 服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。关于IAM的详细介绍，请参见IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：不允许某用户组删除集群，仅允许CDM基本操作（如创建、查询作业等）。CDM支持的授权项请参见权限策略及授权项。 如表1所示，包括了CDM的所有系统权限。 表1 CDM系统权限 系统角色/策略名称 描述 策略类别 CDM Administrator 操作权限： CDM管理员权限，可以对CDM资源执行任意操作，拥有该权限的用户必须同时拥有Tenant Guest和Server Administrator权限。 拥有VPC Administrator权限的CDM用户可以创建VPC或子网。 拥有 云监控 Administrator权限的CDM用户，可以查看CDM集群的监控指标信息。 系统角色 CDM FullAccess CDM管理员权限，拥有CDM服务所有权限。 系统策略 CDM FullAccessExceptEIPUpdating 拥有除绑定/解绑EIP外的所有CDM服务权限。 系统策略 CDM CommonOperations 拥有CDM作业和连接的操作权限。 系统策略 CDM ReadOnlyAccess CDM服务只读权限，拥有该权限的用户仅能查看CDM集群、连接、作业。 系统策略

安全边界和风险规避 图2 风险规避 如图2所示，CDM可能存在以下威胁： 互联网威胁：恶意用户可能通过CDM控制台攻击CDM。 数据中心威胁：恶意CDM管理员获取用户的数据源访问信息（用户名和密码）。 恶意用户威胁：恶意用户窃取其他用户的数据。 数据暴露公网：从公网迁移数据时暴露数据的威胁。 对于这些潜在的威胁，CDM提供以下机制来规避终端用户的风险： 针对互联网威胁：用户不能直接通过公网登录CDM控制台。CDM提供双层安全保障机制。 云控制台框架要求用户访问任何控制台页面都要进行用户认证。 Web应用防火墙 （Web Application Firewall，简称WAF）过滤所有控制台的请求内容并停止请求攻击代码/内容。 针对数据中心威胁：用户必须向CDM系统提供迁移源端和目的端的访问用户名和密码信息，才能完成数据迁移。避免CDM管理员获取此类信息并攻击用户的重要数据源对于CDM非常重要，CDM为此类信息提供三级保护机制。 CDM在本地数据库中存储经过AES-256加密的密码，确保用户隔离。本地数据库使用用户Ruby运行，数据库仅侦听127.0.0.1，用户没有远程访问数据库的权限。 用户实例发放完毕后，CDM将虚拟机的root和Ruby用户密码更改为随机密码且不会保存在任何地方，以阻止CDM管理员访问用户实例和含有密码信息的数据库。 CDM实例迁移以推拉模式进行，因此CDM实例在VPC上没有侦听端口，用户无法从VPC访问本地数据库或操作系统。 针对恶意用户的威胁：CDM对每个用户，使用单独的虚拟机来运行各自的CDM实例，用户之间的实例是完全隔离和安全的。恶意用户无法访问其他用户的实例。 针对数据暴露公网的威胁：CDM的抽取-写入模型下，即使CDM绑定了弹性IP，也不会开放端口到弹性IP，攻击者无法通过弹性IP来访问和攻击CDM。不过从公网迁移数据的方式下，由于用户数据源也会暴露在公网，存在被第三方攻击的威胁，推荐用户在数据源服务器上通过ACL或防火墙对源端进行防护，例如仅放通来自CDM绑定的弹性IP的访问请求。

CDM迁移原理 用户使用CDM服务时，CDM管理系统在用户VPC中发放全托管的CDM实例。此实例仅提供控制台和Rest API访问权限，用户无法通过其他接口（如SSH）访问实例。这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。CDM首先从源端抽取数据然后将数据写入到目的端，数据访问操作均由CDM主动发起，对于数据源（如RDS数据源）支持SSL时，会使用SSL加密传输。迁移过程要求用户提供源端和目的端数据源的用户名和密码，这些信息将存储在CDM实例的数据库中。保护这些信息对于CDM安全至关重要。 图1 CDM迁移原理

项目 云服务所属的区域默认对应一个项目，这个项目由系统预置，用来隔离物理区域间的资源（计算资源、存储资源和网络资源）。 以默认项目为单位进行授权时，IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制，可以在区域默认的项目中创建子项目，并在子项目中创建资源，然后以子项目为单位进行授权，这样IAM用户仅能访问特定子项目中资源，使得资源的权限控制更加精确。 图2 项目隔离模型

身份凭证 身份凭证是识别用户身份的依据，您通过控制台或者API访问云服务时，需要使用身份凭证来通过系统的鉴权认证。身份凭证包括密码和访问密钥，您可以在IAM中管理账号以及IAM用户的身份凭证。 密码：常见的身份凭证，密码可以用来登录控制台，还可以调用云服务的API。 访问密钥：即AK/SK（Access Key ID/Secret Access Key），调用API的身份凭证，不能用来登录控制台。访问密钥中具有验证身份的签名，通过加密签名验证可以确保机密性、完整性和请求双方身份的正确性。

策略与授权 策略是以JSON格式描述一组权限集的语言，它可以精确地描述被授权的资源集和操作集。包括系统策略和自定义策略两种： 系统策略是IAM预置的策略，您可以使用但不能修改。 若系统策略不满足授权要求，您可以创建自定义策略，自由搭配需要授予的权限集。 通过给用户组授予策略（包括系统策略和自定义策略），用户组中的IAM用户就能获得策略中定义的权限，这一过程称为授权。 例如拥有CDM所有权限的策略（CDM Administrator）内容如下： { "Version": "1.1", "Statement": [ { "Action": [ "cdm:*:*", "ecs:*:*", "vpc:*:*", "evs:*:*", "bss:*:*", "CTS:*:*", "eps:*:*", "obs:*:*", "CES:*:*" ], "Effect": "Allow" } ]}

CDM权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 CDM部署时通过物理区域划分，为项目级服务，需要在各区域（如华北-北京1）对应的项目（cn-north-1）中设置相关权限，并且该权限仅对此项目生效。如果需要所有区域都生效，则需要在所有项目都设置权限。访问CDM时，需要先切换至授权区域。 权限根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：不允许某用户组删除集群，仅允许CDM基本操作（如创建、查询作业等）。CDM支持的授权项请参见权限策略及授权项。 如表1所示，包括了CDM的所有系统权限。 表1 CDM系统权限 系统角色/策略名称 描述 策略类别 CDM Administrator 操作权限： CDM管理员权限，可以对CDM资源执行任意操作，拥有该权限的用户必须同时拥有Tenant Guest和Server Administrator权限。 拥有VPC Administrator权限的CDM用户可以创建VPC或子网。 拥有云监控Administrator权限的CDM用户，可以查看CDM集群的监控指标信息。 系统角色 CDM FullAccess CDM管理员权限，拥有CDM服务所有权限。 系统策略 CDM FullAccessExceptEIPUpdating 拥有除绑定/解绑EIP外的所有CDM服务权限。 系统策略 CDM CommonOperations 拥有CDM作业和连接的操作权限。 系统策略 CDM ReadOnlyAccess CDM服务只读权限，拥有该权限的用户仅能查看CDM集群、连接、作业。 系统策略 表2列出了CDM常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 CDM FullAccess CDM FullAccessExceptEIPUpdating CDM CommonOperations CDM ReadOnlyAccess 创建集群 √ √ × × 集群绑定/解绑EIP √ × × × 查询集群列表 √ √ √ √ 查询集群详情 √ √ √ √ 重启集群 √ √ × × 修改集群配置 √ √ × × 删除集群 √ √ × × 创建连接 √ √ √ × 查询连接 √ √ √ √ 修改连接 √ √ √ × 删除连接 √ √ √ × 创建作业 √ √ √ × 查询作业 √ √ √ √ 修改作业 √ √ √ × 启动作业 √ √ √ × 停止作业 √ √ √ × 查询作业状态 √ √ √ √ 查询作业执行历史 √ √ √ √ 删除作业 √ √ √ ×

云审计服务 CDM使用云审计服务（Cloud Trace Service，以下简称CTS）记录CDM相关的操作事件，便于日后的查询、审计和回溯，具体如表2所示。 表2 支持云审计的关键操作列表 操作名称 资源类型 事件名称 创建集群 cluster createCluster 删除集群 cluster deleteCluster 修改集群配置 cluster modifyCluster 开机 cluster startCluster 重启 cluster restartCluster 导入作业 cluster clusterImportJob 绑定弹性IP cluster bindEip 解绑弹性IP cluster unbindEip 创建连接 link createLink 修改连接 link modifyLink 测试连接 link verifyLink 删除连接 link deleteLink 创建任务 job createJob 修改任务 job modifyJob 删除任务 job deleteJob 启动任务 job startJob 停止任务 job stopJob

产品优势 用户在云上进行数据集成、数据备份、新应用开发时，经常会涉及到数据迁移。通常情况下用户要进行数据迁移，会开发一些数据迁移脚本，从源端读取数据再写入目的端，相对这样传统的做法，CDM的优势如表1所示。 表1 CDM优势 优势项 用户自行开发 CDM 易使用 自行准备服务器资源，安装配置必要的软件并进行配置，等待时间长。 程序在读写两端会根据数据源类型，使用不同的访问接口。一般是数据源提供的对外接口，例如JDBC、原生API等，因此在开发脚本时需要依赖大量的库、SDK等，开发管理成本较高。 CDM提供了Web化的管理控制台，通过Web页实时开通服务。 用户只需要通过可视化界面对数据源和迁移任务进行配置，服务会对数据源和任务进行全面的管理和维护。用户只需关注数据迁移的具体逻辑，而不用关心环境等问题，极大降低了开发维护成本。 CDM还提供了REST API，支持第三方系统调用和集成。 实时监控 需要自行选型开发。 您可以使用 云监控服务 监控您的CDM集群，执行自动实时监控、告警和通知操作，帮助您更好地了解CDM集群的各项性能指标。 免运维 需要自行开发完善运维功能，自行保证系统可用性，尤其是告警及通知功能，否则只能人工值守。 使用CDM服务，用户不需要维护服务器、虚拟机等资源。CDM的日志，监控和告警功能，有异常可以及时通知相关人员，避免7X24小时人工值守。 高效率 在迁移过程中，数据读写过程都是由一个单一任务完成的，受限于资源，整体性能较低，对于海量数据场景通常不能满足要求。 CDM任务基于分布式计算框架，自动将任务切分为独立的子任务并行执行，能够极大提高数据迁移的效率。针对Hive、HBase、MySQL、DWS（ 数据仓库 服务）数据源，使用高效的数据导入接口导入数据。 多种数据源支持 数据源类型繁杂，针对不同数据源开发不同的任务，脚本数量成千上万。 支持数据库、Hadoop、NoSQL、数据仓库、文件等多种类型的数据源，具体数据类型请参见支持的数据源。 多种网络环境支持 随着云计算技术的发展，用户数据可能存在于各种环境中，例如公有云、自建/托管IDC（Internet Data Center，互联网数据中心）、混合场景等。在异构环境中进行数据迁移需要考虑网络连通性等因素，给开发和维护都带来较大难度。 无论数据是在用户本地自建的IDC中、云服务中、第三方云中，或者使用弹性云服务器（Elastic Cloud Server，ECS）自建的数据库或文件系统中，CDM均可帮助用户轻松应对各种数据迁移场景，包括数据上云，云上数据交换，以及云上数据回流本地业务系统。

云监控 CDM服务使用云监控（Cloud Eye）监控CDM服务集群中的多项性能指标，从而集中高效地呈现状态信息，具体如表1所示。 表1 CDM的监控指标 指标名称 指标含义 取值范围 测量对象 网络流入速率 该指标用于统计每秒流入测量对象的网络流量。 单位：字节/秒。 ≥ 0 bytes/s CDM集群实例 网络流出速率 该指标用于统计每秒流出测量对象的网络流量。 单位：字节/秒。 ≥ 0 bytes/s CDM集群实例 CPU使用率 该指标用于统计测量对象的CPU使用率。 单位：%。 0%～100% CDM集群实例 内存使用率 该指标用于统计测量对象的内存使用率。 单位：%。 0%～100% CDM集群实例

关系数据库迁移权限配置 常见关系数据库迁移需要的最小权限级： MySQL：INFORMATION_SCHEMA库的读权限，以及对数据表的读权限。 Oracle：需要该用户有resource角色，并在tablespace下有数据表的select权限。 达梦：具有该schema下select any table的权限。 DWS：需要表的schema usage权限和数据表的查询权限。 SQL Server：用户需要有sysadmin权限。 PostgreSQL：角色拥有数据库下schema下表的select权限。

数据仓库服务(DWS)数据源约束 DWS主键或表只有一个字段时，要求字段类型必须是如下常用的字符串、数值、日期类型。从其他数据库迁移到DWS时，如果选择自动建表，主键必须为以下类型，未设置主键的情况下至少要有一个字段是以下类型，否则会无法创建表导致CDM作业失败。 INTEGER TYPES：TINYINT，SMALLINT，INT，BIGINT，NUMERIC/DECIMAL CHARACTER TYPES：CHAR，BPCHAR，VARCHAR，VARCHAR2，NVARCHAR2，TEXT DATA/TIME TYPES：DATE，TIME，TIMETZ，TIMESTAMP，TIMESTAMPTZ，INTERVAL，SMALLDATETIME 2.9.1.200及之前版本的集群，DWS源端暂不支持NVARCHAR2数据类型。 DWS字符类型字段认为空字符串（''）是空值，有非空约束的字段无法插入空字符串（''），这点与MySQL行为不一致，MySQL不认为空字符串（''）是空值。从MySQL迁移到DWS时，可能会因为上述原因导致迁移失败。 使用GDS模式快速导入数据到DWS时，需要配置相关安全组或防火墙策略，允许DWS/LibrA的数据节点访问CDM IP地址的25000端口。 使用GDS模式导入数据到DWS时，CDM会自动创建外表（foreign table）用于数据导入，表名以UUID结尾（例如：cdmtest_aecf3f8n0z73dsl72d0d1dk4lcir8cd），作业失败正常会自动删除，极端情况下可能需要用户手工清理。

对象存储服务 （OBS）数据源约束 迁移文件时系统会自动并发，任务配置中的“抽取并发数”无效。 不支持断点续传。CDM传文件失败会产生OBS碎片，需要用户到OBS控制台清理碎片文件避免空间占用。 不支持对象多版本的迁移。 增量迁移时，单个作业的源端目录下的文件数量或对象数量，根据CDM集群规格分别有如下限制：大规格集群30万、中规格集群20万、小规格集群10万。 如果单目录下文件或对象数量超过限制，需要按照子目录来拆分成多个迁移作业。

Hive数据源约束 Hive中使用Parquet格式存储时间戳数据时，时间戳的精度为纳秒级别（即精确到毫微秒），即2023-03-27 00:00:00.000。当源端数据精度大于纳秒级别时，字段映射时会对数据进行截取。例如源端数据为2023-03-27 00:00:00.12345，目的端数据会被截取为2023-03-27 00:00:00.123。 Hive作为迁移的目的时，如果存储格式为Textfile，在Hive创建表的语句中需要显式指定分隔符。例如： CREATE TABLE csv_tbl(smallint_value smallint,tinyint_value tinyint,int_value int,bigint_value bigint,float_value float,double_value double,decimal_value decimal(9, 7),timestmamp_value timestamp,date_value date,varchar_value varchar(100),string_value string,char_value char(20),boolean_value boolean,binary_value binary,varchar_null varchar(100),string_null string,char_null char(20),int_null int)ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'WITH SERDEPROPERTIES ("separatorChar" = "\t","quoteChar" = "'","escapeChar" = "\\")STORED AS TEXTFILE;

数据库迁移通用限制和约束 CDM以批量迁移为主，仅支持有限的数据库增量迁移，不支持数据库实时增量迁移，推荐使用 数据复制服务 （DRS）来实现数据库增量迁移到RDS。 CDM支持的数据库整库迁移，仅支持数据表迁移，不支持存储过程、触发器、函数、视图等数据库对象迁移。 CDM仅适用于一次性将数据库迁移到云上的场景，包括同构数据库迁移和异构数据库迁移，不适合数据同步场景，比如容灾、实时同步。 CDM迁移数据库整库或数据表失败时，已经导入到目标表中的数据不会自动回滚，对于需要事务模式迁移的用户，可以配置“先导入到阶段表”参数，实现迁移失败时数据回滚。 极端情况下，可能存在创建的阶段表或临时表无法自动删除，也需要用户手工清理（阶段表的表名以“_cdm_stage”结尾，例如：cdmtet_cdm_stage）。 CDM访问用户本地数据中心数据源时（例如本地自建的MySQL数据库），需要用户的数据源可支持Internet公网访问，并为CDM集群实例绑定弹性IP。这种方式下安全实践是：本地数据源通过防火墙或安全策略仅允许CDM弹性IP访问。 仅支持常用的数据类型，字符串、数字、日期，对象类型有限支持，如果对象过大会出现无法迁移的问题。 仅支持数据库字符集为GBK和UTF-8。 字段名不可包含&和%。 jdbc2hive，hive2jdbc整库迁移的实现机制就是按字段名称映射的，不支持字段名称不一致的迁移场景。

CDM系统级限制和约束 DataArts Studio 实例赠送的数据集成集群，由于规格限制，仅用于测试业务、数据连接代理场景。 用于运行数据迁移作业的其他规格CDM集群可以在DataArts Studio控制台以增量包的形式购买，也可以在 云数据迁移 CDM服务控制台直接购买。二者差异体现在如下方面： 套餐计费：在DataArts Studio控制台购买的CDM集群，套餐计费时仅支持在DataArts Studio控制台购买的套餐包；在CDM控制台购买的CDM集群，套餐计费仅支持在云数据迁移CDM服务控制台购买的折扣套餐。 权限控制：在DataArts Studio控制台购买的CDM集群，按照DataArts Studio的权限体系进行权限管理；在CDM控制台购买的CDM集群，按照云数据迁移CDM服务的权限体系进行权限管理。 使用场景：在DataArts Studio控制台购买的CDM集群按工作空间隔离，需要在关联的工作空间使用；在CDM控制台购买的CDM集群，不支持DataArts Studio工作空间级别的资源隔离，所有DataArts Studio工作空间均可使用。 集群创建好以后不支持修改规格，如果需要使用更高规格的，需要重新创建一个集群。 CDM集群为ARM或X86版本，依赖于底层资源的架构。 CDM暂不支持控制迁移数据的速度，请避免在业务高峰期执行迁移数据的任务。 在迁移数据时CDM会对数据源端产生压力。建议创建新的数据库账号用于数据迁移，并配置账号策略用于以限制迁移对数据源端的资源消耗。例如可配置当CPU使用率超30%就清理该账号下的连接，从而避免影响业务。 当前CDM集群cdm.large实例规格网卡的基准/最大带宽为0.8/3 Gbps，单个实例一天传输数据量的理论极限值在8TB左右。同理，cdm.xlarge实例规格网卡的基准/最大带宽为4/10 Gbps，理论极限值在40TB左右；cdm.4xlarge实例规格网卡的基准/最大带宽为36/40 Gbps，理论极限值在360TB左右。对传输速度有要求的情况下可以使用多个数据集成实例实现。 上述数据量为理论极限值，实际传输数据量受数据源类型、源和目的数据源读写性能、带宽等多方面因素制约，实测cdm.large规格最大可达到约8TB每天（大文件迁移到OBS场景）。推荐用户在正式迁移前先用小数据量实测进行速度摸底。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。 文件迁移时，单个任务支持千万数量的文件，如果待迁移目录下文件过多，建议拆分到不同目录并创建多个任务。 用户在CDM上配置的连接和作业支持导出到本地保存，考虑到密码的安全性，CDM不会将对应数据源的连接密码导出。因此在将作业配置重新导入到CDM前，需要手工编辑导出的JSON文件补充密码或在导入窗口配置密码。 不支持集群自动升级到新版本，需要用户通过作业的导出和导入功能，实现升级到新版本。 在无OBS的场景下，CDM系统不会自动备份用户的作业配置，需要用户通过作业的导出功能进行备份。 如果配置了VPC对等连接，可能会出现对端VPC子网与CDM管理网重叠，从而无法访问对端VPC中数据源的情况。推荐使用公网做跨VPC数据迁移，或联系管理员在CDM后台为VPC对等连接添加特定路由。 CDM迁移，当目的端为DWS和NewSQL的时候，不支持将源端的主键和唯一索引等约束一起迁移过去。 CDM迁移作业时，需确保两个集群版本的JSON文件格式保持一致，才可以从将源集群的作业导入到目标集群。 作业运行过程中，任务异常中断，目标端已写入的部分数据不会清理，需手动清理。 单文件传输大小不超过1TB。

云搜索服务和Elasticsearch数据源约束 CDM支持自动创建索引和类型，索引和类型名称只能全部小写，不能有大写。 索引下的字段类型创建后不能修改，只能创建新字段。 如果一定要修改字段类型，需要创建新索引或到Kibana上用Elasticsearch命令删除当前索引重新创建（数据也会删除）。 CDM自动创建的索引，字段类型为date时，要求数据格式为“yyyy-MM-dd HH:mm:ss.SSS Z”，即“2018-08-08 08:08:08.888 +08:00”。 迁移数据到云搜索服务时如果date字段的原始数据不满足格式要求，可以通过CDM的字段转换功能转换为上述格式。

达梦数据库迁移时支持的数据类型 源端为达梦数据库，目的端为Hive、DWS时，支持的数据类型如下： 表12 达梦数据库作为源端时支持的数据类型 类别 类型 简要释义 存储格式示例 Hive DWS 字符 CHAR 用于存储指定定长字符串。 ‘a’或‘aaaaa’ CHAR CHAR CHARACTER 与 CHAR 相同。 ‘a’或‘aaaaa’ CHAR CHAR VARCHAR 用于存储指定变长字符串. ‘a’或‘aaaaa’ VARCHAR VARCHAR VARCHAR2 与 VARCHAR 相同。 ‘a’或‘aaaaa’ VARCHAR VARCHAR 数值 NUMERIC 用于存储零、正负定点数。 52.36 DECIMAL NUMERIC DECIMAL 与 NUMERIC 相似。 52.36 DECIMAL NUMERIC DEC 与 DECIMAL 相同。 52.36 DECIMAL NUMERIC INTEGER 用于存储有符号整数，精度为10，标度为0。 5236 INT INTEGER INT 与 INTEGER 相同。 5236 INT INTEGER BIGINT 用于存储有符号整数，精度为19，标度为0。 5236 BIGINT BIGINT TINYINT 用于存储有符号整数，精度为3，标度为0。 100 TINYINT SMALLINT SMALLINT 用于存储有符号整数，精度为5，标度为0。 9999 SMALLINT SMALLINT BYTE 与 TINYINT 相似，精度为3，标度为0。 100 TINYINT SMALLINT BINARY 用于存储定长二进制数据。 0x2A3B4058 BINARY（NULL） BYTEA（NULL） VARBINARY 用于存储可变长二进制数据。 0x2A3B4058 BINARY（NULL） BYTEA（NULL） FLOAT 用于存储带二进制精度的浮点数。 52.36 FLOAT FLOAT8 DOUBLE 与FLOAT类似。 52.36 DOUBLE FLOAT8 REAL 用于存储带二进制精度的浮点数，但它不能由用户指定使用的精度。 52.3 FLOAT FLOAT4 DOUBLE PRECISION 用于存储指明双精度的浮点数。 52.3 DOUBLE FLOAT8 位串 BIT 用于存储整数数据 1、0 或 NULL。 1、0 或 NULL TINYINT（1 0 NULL） BOOLEAN（true false NULL） 日期时间 DATE 用于存储年、月、日信息。 1999-10-01'、'1999/10/01'或'1999.10.01' DATE TIMESTAMP TIME 用于存储时、分、秒信息。 '09:10:21'或'9:10:21' 不支持（String） TIME TIMESTAMP 用于存储年、月、日、时、分、秒信息。 2002-12-12 09:10:21'，'2002-12-12 9:10:21' '2002/12/12 09:10:21' 或'2002.12.12 09:10:21' TIMESTAMP TIMESTAMP TIME WITH TIME ZONE 用于存储一个带时区的 TIME 值，其定义是在 TIME 类型的后面加上时区信息。 '09:10:21 +8:00'， '09:10:21+8:00'或'9:10:21+8:00' 不支持（String） TIME WITH TIME ZONE TIMESTAMP WITH TIME ZONE 用于存储一个带时区的 TIMESTAMP 值，其定义是TIMESTAMP类型的后面加上时区信息。 2002-12-12 09:10:21 +8:00'，'2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或'2002.12.12 09:10:21 +8:00' TIMESTAMP TIMESTAMP WITH TIME ZONE TIMESTAMP WITH LOCAL TIME ZONE 用于存储一个本地时区的 TIMESTAMP 值，能够将标准时区类型 TIMESTAMP WITH TIME ZONE 类型转化为本地时区类型。 2002-12-12 09:10:21 +8:00'，'2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或'2002.12.12 09:10:21 +8:00' 不支持（String） 不支持（TEXT） DATETIME WITH TIME ZONE 同TIMESTAMP WITH TIME ZONE。 2002-12-12 09:10:21 +8:00'，'2002-12-12 9:10:21 +8:00' '2002/12/12 09:10:21 +8:00'或'2002.12.12 09:10:21 +8:00' TIMESTAMP TIMESTAMP WITH TIME ZONE INTERVAL YEAR 描述一个若干年的间隔，引导精度规定了年的取值范围。 INTERVAL '0015' YEAR 不支持（String） 不支持（VARCHAR） INTERVAL YEAR TO MONTH 描述一个若干年若干月的间隔，引导精度规定了年的取值范围。 INTERVAL '0015-08' YEAR TO MONTH 不支持（String） 不支持（VARCHAR） INTERVAL MONTH 描述一个若干月的间隔，引导精度规定了月的取值范围。 INTERVAL '0015' MONTH 不支持（String） 不支持（VARCHAR） INTERVAL DAY 描述一个若干日的间隔，引导精度规定了日的取值范围。 INTERVAL '150' DAY 不支持（String） 不支持（VARCHAR） INTERVAL DAY TO HOUR 描述一个若干日若干小时的间隔，引导精度规定了日的取值范围。 INTERVAL '9 23' DAY TO HOUR 不支持（String） 不支持（VARCHAR） INTERVAL DAY TO MINUTE 描述一个若干日若干小时若干分钟的间隔，引导精度规定了日的取值范围。 INTERVAL '09 23:12' DAY TO MINUTE 不支持（String） 不支持（VARCHAR） INTERVAL DAY TO SECOND 描述一个若干日若干小时若干分钟若干秒的间隔，引导精度规定了日的取值范围。 INTERVAL '09 23:12:01.1' DAY TO SECOND 不支持（String） 不支持（VARCHAR） INTERVAL HOUR 描述一个若干小时的间隔，引导精度规定了小时的取值范围。 INTERVAL '150' HOUR 不支持（String） 不支持（VARCHAR） INTERVAL HOUR TO MINUTE 描述一个若干小时若干分钟的间隔，引导精度规定了小时的取值范围。 INTERVAL '23:12' HOUR TO MINUTE 不支持（String） 不支持（VARCHAR） INTERVAL HOUR TO SECOND 描述一个若干小时若干分钟若干秒的间隔，引导精度规定了小时的取值范围。 INTERVAL '23:12:01.1' HOUR TO SECOND 不支持（String） 不支持（VARCHAR） INTERVAL MINUTE 描述一个若干分钟的间隔，引导精度规定了分钟的取值范围。 INTERVAL '150' MINUTE 不支持（String） 不支持（VARCHAR） INTERVAL MINUTE TO SECOND 描述一个若干分钟若干秒的间隔，引导精度规定了分钟的取值范围。 INTERVAL '12:01.1' MINUTE TO SECOND 不支持（String） 不支持（VARCHAR） INTERVAL SECOND 描述一个若干秒的间隔，引导精度规定了秒整数部分的取值范围。 INTERVAL '51.1' SECOND 不支持（String） 不支持（VARCHAR） 多媒体 IMAGE IMAGE 用于指明多媒体信息中的图像类型。 图像由不定长的像素点阵组成，长度最大为 2G-1 字节。该类型除了存储图像数据之外，还可用于存储任何其它二进制数据。 0x2A3B4058 （二进制数据） 不支持 不支持 LONGVARBINARY 与IMAGE相同。 0x2A3B4059 （二进制数据） 不支持 不支持 TEXT 用于存储长字符串类型，其字符串的长度 最大为 2G-1，存储长的文本串。 0x5236（二进制数据） 不支持 不支持 LONGVARCHAR 与 TEXT 相似。 0x5236（二进制数据） 不支持 不支持 BLOB 用于存储变长的二进制大对象，长度最大为2G-1字节。 0x5236（二进制数据） 不支持 不支持 CLOB 用于存储变长的二进制大对象，长度最大为2G-1字节。 0x5236（二进制数据） 不支持 不支持 BFILE 用于指明存储在操作系统中的二进制文件， 文件存储在操作系统而非数 据库中，仅能进行只读访问。 - 不支持 不支持