检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
功能总览 功能总览 全部 云数据迁移服务 集群管理 创建连接 作业管理 API 云数据迁移服务 云数据迁移（Cloud Data Migration, 简称CDM），是一种高效、易用的数据集成服务。
这里以CDM迁移MySQL数据库的表city1的数据到DWS的表city2为例，介绍如何使用Java调用CDM服务的REST API创建、启动、查询、删除该CDM作业。 需要提前准备以下数据： 云账号的用户名、账号名和项目ID。 创建一个CDM集群，并获取集群ID。
- OBS支持 需服务端支持OBS存储。在创建Hive表时，您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
图3 源字段新增自定义字段 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
图3 源字段新增自定义字段 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。
高级参数 使用配置文件 “数据格式”选择为“CDC场景”时配置，用于配置OBS文件。 否 OBS链接 选择OBS连接器信息。 obs_link OBS桶 选择OBS桶。 obs_test 配置文件 选择OBS的配置文件。
无论数据是在用户本地自建的IDC中、云服务中、第三方云中，或者使用弹性云服务器（Elastic Cloud Server，ECS）自建的数据库或文件系统中，CDM均可帮助用户轻松应对各种数据迁移场景，包括数据上云，云上数据交换，以及云上数据回流本地业务系统。
throttlingConfig.obsBucket 否 String 写入脏数据的OBS桶的名称，只有当脏数据要写入OBS连接的时候，此参数才生效。例如：“dirtyData”。
{ "name":"throttlingConfig.concurrentSubJobs", "value":"10" }, 解决方案 将导出的作业json文件中 "name":"throttlingConfig.concurrentSubJobs" 配置项删除后重新导入作业json
如果CDM集群与其它云服务所属不同VPC，则CDM集群需要通过EIP连接云服务。 当CDM集群与其他云服务所在的区域、VPC、子网、安全组一致时，可保证CDM集群与其他云服务内网互通，无需专门打通网络。
配额说明 CDM服务应用的基础设施如下： 弹性云服务器 虚拟私有云 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，此处的“文件格式”只能选择与源端的文件格式一致。 CSV格式 重复文件处理方式 当源端为文件类数据源（HTTP/FTP/SFTP/HDFS/OBS）时配置。 只有文件名和文件大小都相同才会判定为重复文件。
客户CDM界面配置脏数据功能，作业重跑成功，OBS桶排查脏数据类型存在问题，格式不匹配。 父主题： 故障处理类
单击监控指标页面左上角的返回按钮，进入云监控服务的界面，选择“云数据迁移服务”服务监控项对应操作列的“创建告警规则”。 图1 “云数据迁移服务”服务监控项 根据界面提示设置CDM集群的告警规则。 设置完成后，单击“确定”。当符合规则的告警产生时，系统会自动进行通知。
目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。
目前CDM支持以下文件增量迁移方式： 增量导出指定目录的文件 适用场景：源端数据源为文件类型（OBS/HDFS/FTP/SFTP）。这种增量迁移方式，只追加写入文件，不会更新或删除已存在的记录。 关键配置：文件/路径过滤器+定时执行作业。
DLI连接 介绍 通过DLI连接，可以导入数据到数据湖探索（DLI）服务，CDM暂不支持从DLI服务导出数据。
这种方式保证了CDM用户间的隔离，避免数据泄漏，同时保证VPC内不同云服务间数据迁移时的传输安全。用户还可以使用VPN网络将本地数据中心的数据迁移到云服务，具有高度的安全性。 CDM数据迁移以抽取-写入模式进行。
