连接器 连接器是CDM内置的连接某种数据源所需的对象模板,目前CDM支持连接OBS、MRS、数据库等多种连接器,并可扩展增加新的连接器。 连接 连接是用户基于连接器创建的用于连接某个具体数据源的对象。
Cdm.0801 400 OBS桶[%s]不存在。 OBS桶不存在。 指定的OBS桶可能不存在或不在当前区域,请指定正确的OBS桶后再重试。 Cdm.0831 400 无法连接到KODO服务器。原因:%s。 无法连接到KODO服务器。 请联系客服或技术支持人员协助解决。
对象存储 对象存储服务(OBS) 支持按文件分片。 文件系统 FTP 支持按文件分片。 SFTP 支持按文件分片。 HTTP 支持按文件分片。 关系型数据库 云数据库 MySQL 支持按表字段分片。 仅当配置“按表分区抽取”时,按表分区分片。
商用 无 2 文件迁移 批量数据迁移支持OBS->HDFS文件列表迁移功能。 商用 文件迁移 历史变更 关于云数据迁移(CDM)更多历史版本变更内容,请单击“查看PDF”详细了解。
商用 无 2 文件迁移 批量数据迁移支持OBS->HDFS文件列表迁移功能。 商用 文件迁移 历史变更 关于云数据迁移(CDM)更多历史版本变更内容,请单击“查看PDF”详细了解。
- OBS支持 需服务端支持OBS存储。在创建Hive表时,您可以指定将表存储在OBS中。 否 运行模式 “HIVE_3_X”版本支持该参数。支持以下模式: EMBEDDED:连接实例与CDM运行在一起,该模式性能较好。 STANDALONE:连接实例运行在独立进程。
"value": "cdm-est" }, { "name": "fromJobConfig.inputDirectory", "value": "/obsfrom
cdc_last_update_date Hudi建表参数 Location 存储在OBS或HDFS上数据库表的文件路径。 - Hudi表类型 Hudi表存储类型。 MOR表:数据先写入avro格式的日志文件,读取时合并到parquet文件。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。
说明: 当目的端为OBS数据源时,仅支持配置二进制格式。 CSV格式 JSON类型 当“文件格式”选择为“JSON格式”时,才有该参数。JSON文件中存储的JSON对象的类型,可以选择“JSON对象”或“JSON数组”。
iam_endpoint CDM的Endpoint 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。本服务的Endpoint您可以从终端节点Endpoint获取。
-成长地图 | 华为云
概述 欢迎使用云数据迁移(Cloud Data Migration,以下简称CDM),该服务提供同构/异构数据源之间批量数据迁移服务,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
云服务间数据交换:用户可以在华为云的大数据服务、数据库服务、对象存储服务之间相互迁移数据。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
/云搜索服务 父主题: 公共数据结构
服务韧性 CDM通过流量限制、备份恢复等技术方案,保障数据的持久性和可靠性。 关于CDM备份,用户可以先通过CDM的批量导出功能,把所有作业脚本保存到本地,在需要的时候再重新创建集群、重新导入作业,实现作业备份。 父主题: 安全