新建转换器 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下： “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格 自动去字符串前后的空值，不需要配置参数。 字符串反转 自动反转字符串，例如将“ABC”转换为“CBA”，不需要配置参数。 字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。 去换行 将字段中的换行符（\n、\r、\r\n）删除。 表达式转换 数据进行转换过程中，替换内容包含特殊字符时，需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量： value：当前字段值。 row：当前行，数组类型。 表达式支持的工具类用法罗列如下，未列出即表示不支持： 如果当前字段为字符串类型，将字符串全部转换为小写，例如将“aBC”转换为“abc”。 表达式：StringUtils.lowerCase(value) 将当前字段的字符串全部转为大写。 表达式：StringUtils.upperCase(value) 如果想将第1个日期字段格式从“2018-01-05 15:15:05”转换为“20180105”。 表达式：DateUtils.format(DateUtils.parseDate(row[0],"yyyy-MM-dd HH:mm:ss"),"yyyyMMdd") 如果想将时间戳转换成“yyyy-MM-dd hh:mm:ss”格式的日期字符串的类型，例如字段值为“1701312046588”，转换后为“2023-11-30 10:40:46”。 表达式：DateUtils.format(NumberUtils.toLong(value),"yyyy-MM-dd HH:mm:ss") 如果想将“yyyy-MM-dd hh:mm:ss”格式的日期字符串转换成时间戳的类型。 表达式：DateUtils.getTime(DateUtils.parseDate(value,"yyyy-MM-dd hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串，需要截取年，例如字段值为“2017-12-01”，转换后为“2017”。 表达式：StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型，转换后值为当前值的两倍。 表达式：value*2 如果当前字段值为“true”，转换后为“Y”，其它值则转换后为“N”。 表达式：value=="true"?"Y":"N" 如果当前字段值为字符串类型，当为空时，转换为“Default”，否则不转换。 表达式：empty value? "Default":value 如果想将日期字段格式从“2018/01/05 15:15:05”转换为“2018-01-05 15:15:05”。 表达式：DateUtils.format(DateUtils.parseDate(value,"yyyy/MM/dd HH:mm:ss"),"yyyy-MM-dd HH:mm:ss") 获取一个36位的UUID（Universally Unique Identifier，通用唯一识别码）。 表达式：CommonUtils.randomUUID() 如果当前字段值为字符串类型，将首字母转换为大写，例如将“cat”转换为“Cat”。 表达式：StringUtils.capitalize(value) 如果当前字段值为字符串类型，将首字母转换为小写，例如将“Cat”转换为“cat”。 表达式：StringUtils.uncapitalize(value) 如果当前字段值为字符串类型，使用空格填充为指定长度，并且将字符串居中，当字符串长度不小于指定长度时不转换，例如将“ab”转换为长度为4的“ab”。 表达式：StringUtils.center(value,4) 删除字符串末尾的一个换行符（包括“\n”、“\r”或者“\r\n”），例如将“abc\r\n\r\n”转换为“abc\r\n”。 表达式：StringUtils.chomp(value) 如果字符串中包含指定的字符串，则返回布尔值true，否则返回false。例如“abc”中包含“a”，则返回true。 表达式：StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符，则返回布尔值true，否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个，则返回true。 表达式：StringUtils.containsAny(value,"za") 如果字符串中不包含指定的所有字符，则返回布尔值true，包含任意一个字符则返回false。例如“abz”中包含“xyz”里的任意一个字符，则返回false。 表达式：StringUtils.containsNone(value,"xyz") 如果当前字符串只包含指定字符串中的字符，则返回布尔值true，包含任意一个其它字符则返回false。例如“abab”只包含“abc”中的字符，则返回true。 表达式：StringUtils.containsOnly(value,"abc") 如果字符串为空或null，则转换为指定的字符串，否则不转换。例如将空字符转换为null。 表达式：StringUtils.defaultIfEmpty(value,null) 如果字符串以指定的后缀结尾（包括大小写），则返回布尔值true，否则返回false。例如“abcdef”后缀不为null，则返回false。 表达式：StringUtils.endsWith(value,null) 如果字符串和指定的字符串完全一样（包括大小写），则返回布尔值true，否则返回false。例如比较字符串“abc”和“ABC”，则返回false。 表达式：StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引，没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式：StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引，没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式：StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找，获取指定字符串的第一个索引，没有则转换为“-1”。例如“aabaabaa”中索引3的后面，第一个“b”的索引是5。 表达式：StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引，没有则返回整数-1。例如从“zzabyycdxx”中获取“z”或“a”的第一个索引0。 表达式：StringUtils.indexOfAny(value,"za") 如果字符串仅包含Unicode字符，返回布尔值true，否则返回false。例如“ab2c”中包含非Unicode字符，返回false。 表达式：StringUtils.isAlpha(value) 如果字符串仅包含Unicode字符或数字，返回布尔值true，否则返回false。例如“ab2c”中仅包含Unicode字符和数字，返回true。 表达式：StringUtils.isAlphanumeric(value) 如果字符串仅包含Unicode字符、数字或空格，返回布尔值true，否则返回false。例如“ab2c”中仅包含Unicode字符和数字，返回true。 表达式：StringUtils.isAlphanumericSpace(value) 如果字符串仅包含Unicode字符或空格，返回布尔值true，否则返回false。例如“ab2c”中包含Unicode字符和数字，返回false。 表达式：StringUtils.isAlphaSpace(value) 如果字符串仅包含ASCII可打印字符，返回布尔值true，否则返回false。例如“!ab-c~”返回true。 表达式：StringUtils.isAsciiPrintable(value) 如果字符串为空或null，返回布尔值true，否则返回false。 表达式：StringUtils.isEmpty(value) 如果字符串中仅包含Unicode数字，返回布尔值true，否则返回false。 表达式：StringUtils.isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils.right(value,2) 将指定字符串拼接至当前字符串的左侧，需同时指定拼接后的字符串长度，如果当前字符串长度不小于指定长度，则不转换。例如将“yz”拼接到“bat”左侧，拼接后长度为8，则转换后为“yzyzybat”。 表达式：StringUtils.leftPad(value,8,"yz") 将指定字符串拼接至当前字符串的右侧，需同时指定拼接后的字符串长度，如果当前字符串长度不小于指定长度，则不转换。例如将“yz”拼接到“bat”右侧，拼接后长度为8，则转换后为“batyzyzy”。 表达式：StringUtils.rightPad(value,8,"yz") 如果当前字段为字符串类型，获取当前字符串的长度，如果该字符串为null，则返回0。 表达式：StringUtils.length(value) 如果当前字段为字符串类型，删除其中所有的指定字符串，例如从“queued”中删除“ue”，转换后为“qd”。 表达式：StringUtils.remove(value,"ue") 如果当前字段为字符串类型，移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾，则不转换，例如移除当前字段“www.domain.com”后的“.com”。 表达式：StringUtils.removeEnd(value,".com") 如果当前字段为字符串类型，移除当前字段开头指定的子字符串。指定的子字符串若不在当前字段的开头，则不转换，例如移除当前字段“www.domain.com”前的“www.”。 表达式：StringUtils.removeStart(value,"www.") 如果当前字段为字符串类型，替换当前字段中所有的指定字符串，例如将“aba”中的“a”用“z”替换，转换后为“zbz”。 表达式：StringUtils.replace(value,"a","z") 替换内容包含特殊字符时，需要先把该字符转义成普通字符，例如，客户想通过该表达式把字符串中 \t 去掉时，需要配置为： StringUtils.replace(value,"\\t","")（即把 \ 再次转义）。 如果当前字段为字符串类型，一次替换字符串中的多个字符，例如将字符串“hello”中的“h”用“j”替换，“o”用“y”替换，转换后为“jelly”。 表达式：StringUtils.replaceChars(value,"ho","jy") 如果字符串以指定的前缀开头（区分大小写），则返回布尔值true，否则返回false，例如当前字符串“abcdef”以“abc”开头，则返回true。 表达式：StringUtils.startsWith(value,"abc") 如果当前字段为字符串类型，去除字段中首、尾处所有指定的字符，例如去除“abcyx”中首尾所有的“x”、“y”、“z”和“b”，转换后为“abc”。 表达式：StringUtils.strip(value,"xyzb") 如果当前字段为字符串类型，去除字段末尾所有指定的字符，例如去除当前字段末尾的“abc”字符串。 表达式：StringUtils.stripEnd(value,"abc") 如果当前字段为字符串类型，去除字段开头所有指定的字符，例如去除当前字段开头的所有空格。 表达式：StringUtils.stripStart(value,null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils.substring(value,2) 如果当前字段为字符串类型，获取字符串指定区间（索引从0开始，区间起点包括指定位置的字符，区间终点不包含指定位置的字符）的子字符串，区间位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”第2个字符（即c）及之后、第4个字符（即e）之前的字符串，则转换后为“cd”。 表达式：StringUtils.substring(value,2,4) 如果当前字段为字符串类型，获取当前字段里第一个指定字符后的子字符串。例如获取“abcba”中第一个“b”之后的子字符串，转换后为“cba”。 表达式：StringUtils.substringAfter(value,"b") 如果当前字段为字符串类型，获取当前字段里最后一个指定字符后的子字符串。例如获取“abcba”中最后一个“b”之后的子字符串，转换后为“a”。 表达式：StringUtils.substringAfterLast(value,"b") 如果当前字段为字符串类型，获取当前字段里第一个指定字符前的子字符串。例如获取“abcba”中第一个“b”之前的子字符串，转换后为“a”。 表达式：StringUtils.substringBefore(value,"b") 如果当前字段为字符串类型，获取当前字段里最后一个指定字符前的子字符串。例如获取“abcba”中最后一个“b”之前的子字符串，转换后为“abc”。 表达式：StringUtils.substringBeforeLast(value,"b") 如果当前字段为字符串类型，获取嵌套在指定字符串之间的子字符串，没有匹配的则返回null。例如获取“tagabctag”中“tag”之间的子字符串，转换后为“abc”。 表达式：StringUtils.substringBetween(value,"tag") 如果当前字段为字符串类型，删除当前字符串两端的控制字符（char≤32），例如删除字符串前后的空格。 表达式：StringUtils.trim(value) 将当前字符串转换为字节，如果转换失败，则返回0。 表达式：NumberUtils.toByte(value) 将当前字符串转换为字节，如果转换失败，则返回指定值，例如指定值配置为1。 表达式：NumberUtils.toByte(value,1) 将当前字符串转换为Double数值，如果转换失败，则返回0.0d。 表达式：NumberUtils.toDouble(value) 将当前字符串转换为Double数值，如果转换失败，则返回指定值，例如指定值配置为1.1d。 表达式：NumberUtils.toDouble(value,1.1d) 将当前字符串转换为Float数值，如果转换失败，则返回0.0f。 表达式：NumberUtils.toFloat(value) 将当前字符串转换为Float数值，如果转换失败，则返回指定值，例如配置指定值为1.1f。 表达式：NumberUtils.toFloat(value,1.1f) 将当前字符串转换为Int数值，如果转换失败，则返回0。 表达式：NumberUtils.toInt(value) 将当前字符串转换为Int数值，如果转换失败，则返回指定值，例如配置指定值为1。 表达式：NumberUtils.toInt(value,1) 将字符串转换为Long数值，如果转换失败，则返回0。 表达式：NumberUtils.toLong(value) 将当前字符串转换为Long数值，如果转换失败，则返回指定值，例如配置指定值为1L。 表达式：NumberUtils.toLong(value,1L) 将字符串转换为Short数值，如果转换失败，则返回0。 表达式：NumberUtils.toShort(value) 将当前字符串转换为Short数值，如果转换失败，则返回指定值，例如配置指定值为1。 表达式：NumberUtils.toShort(value,1) 将当前IP字符串转换为Long数值，例如将“10.78.124.0”转换为Long数值是“172915712”。 表达式：CommonUtils.ipToLong(value) 从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起来并指定一个key值用于检索，例如“ipList”。 表达式：CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式：CommonUtils.getCache("ipList") 判断是否有IP与地址映射缓存。 表达式：CommonUtils.cacheExists("ipList") 根据IP取出对应的详细地址：国家_省份_城市_运营商，例如“1xx.78.124.0”对应的地址为“中国_广东_深圳_电信”，取不到对应地址则默认“**_**_**_**”。如果需要，可通过StringUtil类表达式对地址进行进一步拆分。 表达式：CommonUtils.getMapValue(CommonUtils.ipToLong(value),CommonUtils.cacheExists("ipLis")?CommonUtils.getCache("ipLis"):CommonUtils.setCache("ipLis",HttpsUtils.downloadMap("url"))) 根据指定的偏移类型（month/day/hour/minute/second）及偏移量（正数表示增加，负数表示减少），将指定格式的时间转换为一个新时间，例如将“2019-05-21 12:00:00”增加8个小时。 表达式：DateUtils.getCurrentTimeByZone("yyyy-MM-dd HH:mm:ss",value, "hour", 8) 如果value值为空或者null时，则返回字符串“aaa”，否则返回value。 表达式：StringUtils.defaultIfEmpty(value,"aaa")

新增字段 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。

操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。

约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。

新建转换器 CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。 图2 新建转换器 CDM可以在迁移过程中对字段进行转换，目前支持以下字段转换器： 脱敏 隐藏字符串中的关键信息，例如要将“12345678910”转换为“123****8910”，则配置如下： “起始保留长度”为“3”。 “结尾保留长度”为“4”。 “替换字符”为“*”。 去前后空格 自动去字符串前后的空值，不需要配置参数。 字符串反转 自动反转字符串，例如将“ABC”转换为“CBA”，不需要配置参数。 字符串替换 替换字符串，需要用户配置被替换的对象，以及替换后的值。 去换行 将字段中的换行符（\n、\r、\r\n）删除。 表达式转换 数据进行转换过程中，替换内容包含特殊字符时，需要先使用\将该字符转义成普通字符。 表达式支持以下两个环境变量： value：当前字段值。 row：当前行，数组类型。 表达式支持的工具类用法罗列如下，未列出即表示不支持： 如果当前字段为字符串类型，将字符串全部转换为小写，例如将“aBC”转换为“abc”。 表达式：StringUtils.lowerCase(value) 将当前字段的字符串全部转为大写。 表达式：StringUtils.upperCase(value) 如果想将第1个日期字段格式从“2018-01-05 15:15:05”转换为“20180105”。 表达式：DateUtils.format(DateUtils.parseDate(row[0],"yyyy-MM-dd HH:mm:ss"),"yyyyMMdd") 如果想将时间戳转换成“yyyy-MM-dd hh:mm:ss”格式的日期字符串的类型，例如字段值为“1701312046588”，转换后为“2023-11-30 10:40:46”。 表达式：DateUtils.format(NumberUtils.toLong(value),"yyyy-MM-dd HH:mm:ss") 如果想将“yyyy-MM-dd hh:mm:ss”格式的日期字符串转换成时间戳的类型。 表达式：DateUtils.getTime(DateUtils.parseDate(value,"yyyy-MM-dd hh:mm:ss")) 如果当前字段值为“yyyy-MM-dd”格式的日期字符串，需要截取年，例如字段值为“2017-12-01”，转换后为“2017”。 表达式：StringUtils.substringBefore(value,"-") 如果当前字段值为数值类型，转换后值为当前值的两倍。 表达式：value*2 如果当前字段值为“true”，转换后为“Y”，其它值则转换后为“N”。 表达式：value=="true"?"Y":"N" 如果当前字段值为字符串类型，当为空时，转换为“Default”，否则不转换。 表达式：empty value? "Default":value 如果想将日期字段格式从“2018/01/05 15:15:05”转换为“2018-01-05 15:15:05”。 表达式：DateUtils.format(DateUtils.parseDate(value,"yyyy/MM/dd HH:mm:ss"),"yyyy-MM-dd HH:mm:ss") 获取一个36位的UUID（Universally Unique Identifier，通用唯一识别码）。 表达式：CommonUtils.randomUUID() 如果当前字段值为字符串类型，将首字母转换为大写，例如将“cat”转换为“Cat”。 表达式：StringUtils.capitalize(value) 如果当前字段值为字符串类型，将首字母转换为小写，例如将“Cat”转换为“cat”。 表达式：StringUtils.uncapitalize(value) 如果当前字段值为字符串类型，使用空格填充为指定长度，并且将字符串居中，当字符串长度不小于指定长度时不转换，例如将“ab”转换为长度为4的“ab”。 表达式：StringUtils.center(value,4) 删除字符串末尾的一个换行符（包括“\n”、“\r”或者“\r\n”），例如将“abc\r\n\r\n”转换为“abc\r\n”。 表达式：StringUtils.chomp(value) 如果字符串中包含指定的字符串，则返回布尔值true，否则返回false。例如“abc”中包含“a”，则返回true。 表达式：StringUtils.contains(value,"a") 如果字符串中包含指定字符串的任一字符，则返回布尔值true，否则返回false。例如“zzabyycdxx”中包含“z”或“a”任意一个，则返回true。 表达式：StringUtils.containsAny(value,"za") 如果字符串中不包含指定的所有字符，则返回布尔值true，包含任意一个字符则返回false。例如“abz”中包含“xyz”里的任意一个字符，则返回false。 表达式：StringUtils.containsNone(value,"xyz") 如果当前字符串只包含指定字符串中的字符，则返回布尔值true，包含任意一个其它字符则返回false。例如“abab”只包含“abc”中的字符，则返回true。 表达式：StringUtils.containsOnly(value,"abc") 如果字符串为空或null，则转换为指定的字符串，否则不转换。例如将空字符转换为null。 表达式：StringUtils.defaultIfEmpty(value,null) 如果字符串以指定的后缀结尾（包括大小写），则返回布尔值true，否则返回false。例如“abcdef”后缀不为null，则返回false。 表达式：StringUtils.endsWith(value,null) 如果字符串和指定的字符串完全一样（包括大小写），则返回布尔值true，否则返回false。例如比较字符串“abc”和“ABC”，则返回false。 表达式：StringUtils.equals(value,"ABC") 从字符串中获取指定字符串的第一个索引，没有则返回整数-1。例如从“aabaabaa”中获取“ab”的第一个索引1。 表达式：StringUtils.indexOf(value,"ab") 从字符串中获取指定字符串的最后一个索引，没有则返回整数-1。例如从“aFkyk”中获取“k”的最后一个索引4。 表达式：StringUtils.lastIndexOf(value,"k") 从字符串中指定的位置往后查找，获取指定字符串的第一个索引，没有则转换为“-1”。例如“aabaabaa”中索引3的后面，第一个“b”的索引是5。 表达式：StringUtils.indexOf(value,"b",3) 从字符串获取指定字符串中任一字符的第一个索引，没有则返回整数-1。例如从“zzabyycdxx”中获取“z”或“a”的第一个索引0。 表达式：StringUtils.indexOfAny(value,"za") 如果字符串仅包含Unicode字符，返回布尔值true，否则返回false。例如“ab2c”中包含非Unicode字符，返回false。 表达式：StringUtils.isAlpha(value) 如果字符串仅包含Unicode字符或数字，返回布尔值true，否则返回false。例如“ab2c”中仅包含Unicode字符和数字，返回true。 表达式：StringUtils.isAlphanumeric(value) 如果字符串仅包含Unicode字符、数字或空格，返回布尔值true，否则返回false。例如“ab2c”中仅包含Unicode字符和数字，返回true。 表达式：StringUtils.isAlphanumericSpace(value) 如果字符串仅包含Unicode字符或空格，返回布尔值true，否则返回false。例如“ab2c”中包含Unicode字符和数字，返回false。 表达式：StringUtils.isAlphaSpace(value) 如果字符串仅包含ASCII可打印字符，返回布尔值true，否则返回false。例如“!ab-c~”返回true。 表达式：StringUtils.isAsciiPrintable(value) 如果字符串为空或null，返回布尔值true，否则返回false。 表达式：StringUtils.isEmpty(value) 如果字符串中仅包含Unicode数字，返回布尔值true，否则返回false。 表达式：StringUtils.isNumeric(value) 获取字符串最左端的指定长度的字符，例如获取“abc”最左端的2位字符“ab”。 表达式：StringUtils.left(value,2) 获取字符串最右端的指定长度的字符，例如获取“abc”最右端的2位字符“bc”。 表达式：StringUtils.right(value,2) 将指定字符串拼接至当前字符串的左侧，需同时指定拼接后的字符串长度，如果当前字符串长度不小于指定长度，则不转换。例如将“yz”拼接到“bat”左侧，拼接后长度为8，则转换后为“yzyzybat”。 表达式：StringUtils.leftPad(value,8,"yz") 将指定字符串拼接至当前字符串的右侧，需同时指定拼接后的字符串长度，如果当前字符串长度不小于指定长度，则不转换。例如将“yz”拼接到“bat”右侧，拼接后长度为8，则转换后为“batyzyzy”。 表达式：StringUtils.rightPad(value,8,"yz") 如果当前字段为字符串类型，获取当前字符串的长度，如果该字符串为null，则返回0。 表达式：StringUtils.length(value) 如果当前字段为字符串类型，删除其中所有的指定字符串，例如从“queued”中删除“ue”，转换后为“qd”。 表达式：StringUtils.remove(value,"ue") 如果当前字段为字符串类型，移除当前字段末尾指定的子字符串。指定的子字符串若不在当前字段的末尾，则不转换，例如移除当前字段“www.domain.com”后的“.com”。 表达式：StringUtils.removeEnd(value,".com") 如果当前字段为字符串类型，移除当前字段开头指定的子字符串。指定的子字符串若不在当前字段的开头，则不转换，例如移除当前字段“www.domain.com”前的“www.”。 表达式：StringUtils.removeStart(value,"www.") 如果当前字段为字符串类型，替换当前字段中所有的指定字符串，例如将“aba”中的“a”用“z”替换，转换后为“zbz”。 表达式：StringUtils.replace(value,"a","z") 替换内容包含特殊字符时，需要先把该字符转义成普通字符，例如，客户想通过该表达式把字符串中 \t 去掉时，需要配置为： StringUtils.replace(value,"\\t","")（即把 \ 再次转义）。 如果当前字段为字符串类型，一次替换字符串中的多个字符，例如将字符串“hello”中的“h”用“j”替换，“o”用“y”替换，转换后为“jelly”。 表达式：StringUtils.replaceChars(value,"ho","jy") 如果字符串以指定的前缀开头（区分大小写），则返回布尔值true，否则返回false，例如当前字符串“abcdef”以“abc”开头，则返回true。 表达式：StringUtils.startsWith(value,"abc") 如果当前字段为字符串类型，去除字段中首、尾处所有指定的字符，例如去除“abcyx”中首尾所有的“x”、“y”、“z”和“b”，转换后为“abc”。 表达式：StringUtils.strip(value,"xyzb") 如果当前字段为字符串类型，去除字段末尾所有指定的字符，例如去除当前字段末尾的“abc”字符串。 表达式：StringUtils.stripEnd(value,"abc") 如果当前字段为字符串类型，去除字段开头所有指定的字符，例如去除当前字段开头的所有空格。 表达式：StringUtils.stripStart(value,null) 如果当前字段为字符串类型，获取字符串指定位置后（索引从0开始，包括指定位置的字符）的子字符串，指定位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”索引为2的字符（即c）及之后的字符串，则转换后为“cde”。 表达式：StringUtils.substring(value,2) 如果当前字段为字符串类型，获取字符串指定区间（索引从0开始，区间起点包括指定位置的字符，区间终点不包含指定位置的字符）的子字符串，区间位置如果为负数，则从末尾往前计算位置，末尾第一位为-1。例如获取“abcde”第2个字符（即c）及之后、第4个字符（即e）之前的字符串，则转换后为“cd”。 表达式：StringUtils.substring(value,2,4) 如果当前字段为字符串类型，获取当前字段里第一个指定字符后的子字符串。例如获取“abcba”中第一个“b”之后的子字符串，转换后为“cba”。 表达式：StringUtils.substringAfter(value,"b") 如果当前字段为字符串类型，获取当前字段里最后一个指定字符后的子字符串。例如获取“abcba”中最后一个“b”之后的子字符串，转换后为“a”。 表达式：StringUtils.substringAfterLast(value,"b") 如果当前字段为字符串类型，获取当前字段里第一个指定字符前的子字符串。例如获取“abcba”中第一个“b”之前的子字符串，转换后为“a”。 表达式：StringUtils.substringBefore(value,"b") 如果当前字段为字符串类型，获取当前字段里最后一个指定字符前的子字符串。例如获取“abcba”中最后一个“b”之前的子字符串，转换后为“abc”。 表达式：StringUtils.substringBeforeLast(value,"b") 如果当前字段为字符串类型，获取嵌套在指定字符串之间的子字符串，没有匹配的则返回null。例如获取“tagabctag”中“tag”之间的子字符串，转换后为“abc”。 表达式：StringUtils.substringBetween(value,"tag") 如果当前字段为字符串类型，删除当前字符串两端的控制字符（char≤32），例如删除字符串前后的空格。 表达式：StringUtils.trim(value) 将当前字符串转换为字节，如果转换失败，则返回0。 表达式：NumberUtils.toByte(value) 将当前字符串转换为字节，如果转换失败，则返回指定值，例如指定值配置为1。 表达式：NumberUtils.toByte(value,1) 将当前字符串转换为Double数值，如果转换失败，则返回0.0d。 表达式：NumberUtils.toDouble(value) 将当前字符串转换为Double数值，如果转换失败，则返回指定值，例如指定值配置为1.1d。 表达式：NumberUtils.toDouble(value,1.1d) 将当前字符串转换为Float数值，如果转换失败，则返回0.0f。 表达式：NumberUtils.toFloat(value) 将当前字符串转换为Float数值，如果转换失败，则返回指定值，例如配置指定值为1.1f。 表达式：NumberUtils.toFloat(value,1.1f) 将当前字符串转换为Int数值，如果转换失败，则返回0。 表达式：NumberUtils.toInt(value) 将当前字符串转换为Int数值，如果转换失败，则返回指定值，例如配置指定值为1。 表达式：NumberUtils.toInt(value,1) 将字符串转换为Long数值，如果转换失败，则返回0。 表达式：NumberUtils.toLong(value) 将当前字符串转换为Long数值，如果转换失败，则返回指定值，例如配置指定值为1L。 表达式：NumberUtils.toLong(value,1L) 将字符串转换为Short数值，如果转换失败，则返回0。 表达式：NumberUtils.toShort(value) 将当前字符串转换为Short数值，如果转换失败，则返回指定值，例如配置指定值为1。 表达式：NumberUtils.toShort(value,1) 将当前IP字符串转换为Long数值，例如将“10.78.124.0”转换为Long数值是“172915712”。 表达式：CommonUtils.ipToLong(value) 从网络读取一个IP与物理地址映射文件，并存放到Map集合，这里的URL是IP与地址映射文件存放地址，例如“http://10.114.205.45:21203/sqoop/IpList.csv”。 表达式：HttpsUtils.downloadMap("url") 将IP与地址映射对象缓存起来并指定一个key值用于检索，例如“ipList”。 表达式：CommonUtils.setCache("ipList",HttpsUtils.downloadMap("url")) 取出缓存的IP与地址映射对象。 表达式：CommonUtils.getCache("ipList") 判断是否有IP与地址映射缓存。 表达式：CommonUtils.cacheExists("ipList") 根据IP取出对应的详细地址：国家_省份_城市_运营商，例如“1xx.78.124.0”对应的地址为“中国_广东_深圳_电信”，取不到对应地址则默认“**_**_**_**”。如果需要，可通过StringUtil类表达式对地址进行进一步拆分。 表达式：CommonUtils.getMapValue(CommonUtils.ipToLong(value),CommonUtils.cacheExists("ipLis")?CommonUtils.getCache("ipLis"):CommonUtils.setCache("ipLis",HttpsUtils.downloadMap("url"))) 根据指定的偏移类型（month/day/hour/minute/second）及偏移量（正数表示增加，负数表示减少），将指定格式的时间转换为一个新时间，例如将“2019-05-21 12:00:00”增加8个小时。 表达式：DateUtils.getCurrentTimeByZone("yyyy-MM-dd HH:mm:ss",value, "hour", 8) 如果value值为空或者null时，则返回字符串“aaa”，否则返回value。 表达式：StringUtils.defaultIfEmpty(value,"aaa")

约束限制 作业源端开启“使用SQL语句”参数时不支持配置转换器。 如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。 关系数据库、Hive、MRS Hudi及DLI做源端时，不支持获取样值功能。 SQLServer作为目的端数据源时，不支持timestamp类型字段的写入，需修改为其他时间类型字段写入（如datetime）。 当作业源端为OBS、迁移CSV文件时，并且配置“解析首行为列名”参数的场景下显示列名。 当使用二进制格式进行文件到文件的迁移时，没有字段映射这一步。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。 添加完字段后，新增的字段在界面不显示样值，不会影响字段值的传输，CDM会将字段值直接写入目的端。 如果字段映射关系不正确，您可以通过拖拽字段、单击对字段批量映射两种方式来调整字段映射关系。 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列： 有主键可以使用主键作为分布列。 多个数据段联合做主键的场景，建议设置所有主键作为分布列。 在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。 如CDM不支持源端迁移字段类型，请参见不支持数据类型转换规避指导将字段类型转换为CDM支持的类型。

新增字段 您可以单击字段映射界面的选择“添加新字段”自定义新增字段，通常用于标记数据库来源，以确保导入到目的端数据的完整性。 图1 字段映射 目前支持以下类型自定义字段： 常量 常量参数即参数值是固定的参数，不需要重新配置值。例如“lable”=“friends”用来标识常量值。 变量 您可以使用时间宏、表名宏、版本宏等变量来标记数据库来源信息。变量的语法：${variable}，其中“variable”指的是变量。例如“input_time”=“${timestamp()}”用来标识当前时间的时间戳。 表达式 您可以使用表达式语言根据运行环境动态生成参数值。表达式的语法：#{expr}，其中“expr”指的是表达式。例如“time”=“#{DateUtil.now()}”用来标识当前日期字符串。

操作场景 作业参数配置完成后，将进行字段映射的配置，您可以通过字段映射界面的可自定义新增字段，也可单击操作列下创建字段转换器。 如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。 其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。 自动创表场景下，需在目的端表中提前手动新增字段，再在字段映射里新增字段。

作业参数的环境变量 CDM在创建迁移作业时，可以手动输入的参数（例如OBS桶名、文件路径等）、参数中的某个字段、或者字段中的某个字符，都支持配置为一个全局变量，方便您批量更改作业中的参数值，以及作业导出/导入后进行批量替换。 这里以批量替换作业中OBS桶名为例进行介绍。 在CDM作业管理界面，单击“配置管理”页签，配置环境变量。 bucket_1=A bucket_2=B 这里以变量“bucket_1”表示桶A，变量“bucket_2”表示桶B。 在创建CDM迁移作业的界面，迁移桶A的数据到桶B。 源端桶名配置为${bucket_1}，目的端桶名配置为${bucket_2}。 图1 桶名配置为环境变量 如果下次要迁移桶C数据到桶D，则无需更改作业参数，只需要在“配置管理”界面将环境变量改为如下即可： bucket_1=C bucket_2=D

最大抽取并发数 最大抽取并发数即集群最大抽取并发数。 此处的“最大抽取并发数”参数与集群配置处的“最大抽取并发数”参数同步，在任意一处修改即可生效。 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。 不同源端数据源的作业分片维度有所不同，因此某些作业可能出现未严格按作业“抽取并发数”参数分片的情况。 CDM依次将Task提交给运行池运行。根据集群配置管理中的“最大抽取并发数”参数，超出规格的Task排队等待运行。 因此作业抽取并发数和集群最大抽取并发数参数设置为适当的值可以有效提升迁移速度，您可参考下文有效配置抽取并发数。 集群最大抽取并发数的上限建议为vCPU核数*2，如表1所示。 表1 集群最大抽取并发数配置建议 规格名称 vCPUs/内存 集群并发数上限参考 cdm.large 8核 16GB 16 cdm.xlarge 16核 32GB 32 cdm.4xlarge 64核 128GB 128 作业抽取并发数的配置原则如下： 迁移的目的端为文件时，CDM不支持多并发，此时应配置为单进程抽取数据。 表中每行数据大小为1MB以下的可以设置多并发抽取，超过1MB的建议单线程抽取数据。 作业抽取并发数可参考集群最大抽取并发数配置，但不建议超过集群最大抽取并发数上限。 目的端为DLI数据源时，抽取并发数建议配置为1，否则可能会导致写入失败。

定时备份/恢复 该功能依赖于OBS服务。 前提条件 已创建OBS连接，详情请参见配置OBS连接。 定时备份 在CDM作业管理界面，单击“配置管理”页签，配置定时备份的参数。 表2 定时备份参数 参数 说明 配置样例 定时备份 自动备份功能的开关，该功能只备份作业，不会备份连接。 开 备份策略 所有作业：不管作业处于什么状态，CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。 分组作业：选择备份某一个或多个分组下的作业。 所有作业 备份周期 选择备份周期： 日：每天零点执行一次。 周：每周一零点执行一次。 月：每月1号零点执行一次。 日 备份写入OBS连接 CDM通过该连接，将作业备份到OBS，需要用户提前在“连接管理”界面创建好OBS连接。 obslink OBS桶 存储备份文件的OBS桶。 cdm 备份数据目录 存储备份文件的目录。 /cdm-bk/ 恢复作业 如果之前执行过自动备份，“配置管理”页签下会显示备份列表：显示备份文件所在的OBS桶、路径、备份时间。 您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。

操作步骤 进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。 单击“表/文件迁移”显示作业列表，提供以下批量操作： 作业分组 CDM支持对分组进行新增、修改、查找、删除。删除分组时，会将组内的所有作业都删除。 创建作业的任务配置中，如果已经将作业分配到了不同的分组中，则这里可以按分组显示作业、按分组批量启动作业、按分组导出作业等操作。 批量运行作业 勾选一个或多个作业后，单击“运行”可批量启动作业。 批量删除作业 勾选一个或多个作业后，单击“删除”可批量删除作业。 批量导出作业 单击“导出”，弹出批量导出页面，如图1。 图1 批量导出页面 全部作业和连接：勾选此项表示一次性导出所有作业和连接。 全部作业：勾选此项表示一次性导出所有作业。 全部连接：勾选此项表示一次性导出所有连接。 按作业名导出：勾选此项并选择需要导出的作业，单击确认即可导出所选作业。 按分组导出：勾选此项并下拉选择需要导出的分组，单击确认即可导出所选分组。 批量导出可将需要导出的作业导出保存为JSON文件，用于备份或导入到别的集群中。 由于安全原因，CDM导出作业时没有导出连接密码，连接密码全部使用“Add password here”替换。 批量导入作业 单击“导入”，选择JSON格式的文件导入或文本导入。 文件导入：待导入的作业文件必须为JSON格式（大小不超过1M）。如果待导入的作业文件是之前从CDM中导出的，则导入前必须先编辑JSON文件，将“Add password here”替换为对应连接的正确密码，再执行导入操作。 文本导入：无法正确上传本地JSON文件时可选择该方式。将作业的JSON文本直接粘贴到输入框即可。 当前导入时不支持覆盖已有作业。

查看作业状态 您可以在“作业”页面查看所有作业的状态、数据源、对应的视觉服务和创建时间。您也可以通过作业的创建时间、状态、名称和ID查找指定作业。 图1 作业列表 您还可以单击作业名称，查看作业的详细信息，包括作业结果的输出路径。 当作业状态处于运行中或运行成功时，表示作业运行状态正常。当创建的作业处理运行成功后，按照创建作业时选择的输出类型和路径查看作业结果。 算法服务创建的作业运行状态，如表1所示。 表1 作业运行状态 状态类型 说明 运行中 作业正常运行过程中。 调度中 资源调度进行中。 启动中 等待资源调度过程。 运行成功 作业运行成功。 运行失败 作业运行失败。 创建失败 作业创建失败。 删除中 作业正常删除过程中。 删除失败 作业删除失败。 等待中 作业没有申请到资源，排队等待过程。 更新中 作业处于自动升级状态。 冻结中 用户欠费时，会冻结正在运行的作业，作业处于冻结过程中。 已冻结 作业已经在边缘节点删除成功，在保留期内用户充值补交欠费后会重新启动。 父主题： 管理作业