字段的格式转换为云搜索服务的目的端格式。 解决方案 编辑作业，进入作业的字段映射步骤，在源端的时间格式字段后面，选择新建转换器，如图3所示。 图3 新建转换器 转换器类型选择“表达式转换”，目前表达式转换支持字符串和日期类型的函数，语法和Java的字符串和时间格式函数非常相似，可以查看表达式转换了解如何编写表达式。
配置前需在集群配置管理中配置此参数。 linkConfig.hiveVersion 是 枚举 Hive版本： HIVE_1_X HIVE_3_X linkConfig.user 否 String 登录Manager平台的用户名，使用集群配置时不用配置 linkConfig.password
创建Elasticsearch连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图3所示。 图3 选择连接器类型 连接器类型选择“Elasticsearch”后单击“下一步”，配置Elasticsearch连接参数，Elastic
创建Elasticsearch连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，进入连接器类型的选择界面，如图3所示。 图3 选择连接器类型 连接器类型选择“Elasticsearch”后单击“下一步”，配置Elasticsearch连接参数，Elastic
解决。 根据作业找到对应的MySQL连接名称，查找连接信息。 图2 连接信息 单击“连接管理”，在“操作”列中，单击“连接”进行编辑。 图3 连接 打开高级属性，在“连接属性”中建议新增“connectTimeout”与“socketTimeout”参数及参数值，单击“保存”。 图4
以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。
任何大于1024的端口到FTP服务器的21端口（客户端初始化的连接）。 2. FTP服务器的21端口到大于1024的端口（服务器响应客户端的控制端口）。 3. FTP服务器的20端口到大于1024的端口（服务器端初始化数据连接到客户端的数据端口）。 4. 大于1024端口到FTP服务器的20端口
以自定义文件分隔符，从而实现文件列表迁移。 迁移文件或对象时支持文件级增量迁移（通过配置跳过重复文件实现），但不支持断点续传。 例如要迁移3个文件，第2个文件迁移到一半时由于网络原因失败，再次启动迁移任务时，会跳过第1个文件，从第2个文件开始重新传，但不能从第2个文件失败的位置重新传。
splitNestedField 否 Boolean 选择是否将nested字段的json内容拆分，例如：将“a:{ b:{ c:1, d:{ e:2, f:3 } } }” 拆成三个字段“a.b.c”、“a.b.d.e”、“a.b.d.f”。 fromJobConfig.queryString 否
可单击属性后的“删除”按钮进行删除。 Apache HBase 连接Apache Hadoop上的HBase数据源时，相关参数如表3所示。 表3 Apache HBase连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。
BIGINT TINYINT 用于存储有符号整数，精度为3，标度为0。 100 SMALLINT INT BINARY 用于存储定长二进制数据。 0x2A3B4058 不支持 FLOAT VARBINARY 用于存储可变长二进制数据。 0x2A3B4058 不支持 BINARY FLOAT 用于存储带二进制精度的浮点数。
BIGINT TINYINT 用于存储有符号整数，精度为3，标度为0。 100 SMALLINT INT BINARY 用于存储定长二进制数据。 0x2A3B4058 不支持 FLOAT VARBINARY 用于存储可变长二进制数据。 0x2A3B4058 不支持 BINARY FLOAT 用于存储带二进制精度的浮点数。
的时间。 结束时间：该参数是可选参数，表示停止自动执行的时间。如果不配置，则表示一直自动执行。 图3 重复周期为天 例如上图表示：从2023年1月1日0时0分开始第一次自动执行，每3天自动执行一次，配置一直有效。 周 CDM支持配置每几周执行一次作业。 重复周期（周）：表示从开始时间起，每多少周执行一次定时任务。
Keytab文件获取方式 MRS集群 MRS HDFS MRS HBase MRS Hive MRS Hudi MRS ClickHouse 针对MRS 3.x版本集群： 登录FusionInsight Manager。 选择“集群 > > 待操作的集群名称 > 概览 > 更多 > 下载客户端”，界面显示“下载集群客户端”对话框。
将目标端表字段类型biginit改为 string，重新跑作业还是失败，报错内容跟之前一样。 配置开启脏数据，重跑作业后作业依旧失败，但是有3条数据已迁移到目标表。 通过对比迁移失败的数据记录和成功的距离，怀疑是类型为boolean的字段导致的。 解决方案 将目标端boolean类型字段修改成string
规格如表1所示。 表1 CDM集群规格 实例类型 核数/内存 最大带宽/基准带宽 并发作业数 适用场景 cdm.large 8核/16G 3/0.8 Gbps 16 单表规模≥1000万条。 cdm.xlarge 16核/32G 10/4 Gbps 32 适合10GE高速带宽进行TB以上的数据量迁移。
Studio服务进入数据集成界面可以看到。 单击集群名称后，选择“标签”页签。 图2 修改集群配置 单击“添加/编辑标签”，通过添加、修改标签为CDM集群设置资源标识。 图3 添加标签 一个集群最多可添加10个标签。 标签键（key）的最大长度为36个字符，标签值（value）的最大长度为43个字符。 （可选）在
IP访问数据源。 单击“新建连接”来创建OBS连接，连接类型选择“对象存储服务（OBS）”后单击“下一步”，配置OBS连接参数，如图3所示。 图3 创建OBS连接 名称：用户自定义连接名称，例如“obslink”。 OBS终端节点：配置为OBS的域名或IP地址，例如“obs.myhuaweicloud
间的前N天的0点。 N为3时： 2017-10-13 00:00:00 ${dateformat(yyyy-MM-dd, -N, DAY)} 12:00:00 以yyyy-MM-dd HH:mm:ss格式返回时间，时间为当前时间的前N天的12点。 N为3时： 2017-10-13
单击“保存”回到连接管理界面。 创建DWS连接 单击CDM集群后的“作业管理”，进入作业管理界面，再选择“连接管理 > 新建连接”，进入选择连接器类型的界面，如图3所示。 图3 选择连接器类型 连接器类型选择“数据仓库服务（DWS）”后单击“下一步”配置DWS连接参数，必填参数如表2所示，可选参数保持默认即可。
