GDS-Kafka入库模式 GDS-Kafka的数据入库都是先将数据copy至临时表，然后再根据客户的使用场景以及目标表有无主键进行merge或者insert，详见下表： 表3 GDS-Kafka入库模式 入库操作 app.insert.directly 是否主键表 入库模式 insert true（仅支持无主键表） 否 使用insert select从临时表写入到目标表。 false 是 根据主键从临时表merge到目标表。 否 使用insert select从临时表写入到目标表。 delete true（仅支持无主键表） 否 使用insert select从临时表写入到目标表。 false 说明： delete操作支持标记删除，通过配置app.del.flag参数可以指定删除标记字段，如果配置了标记删除字段，则会通过将删除字段设置为1来标记删除的记录。 是 如果设置了delflag字段，则会根据主键进行匹配merge，如果匹配到主键并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段置为1，否则将插入一条新的记录。 如果没有设置delflag字段，则会根据主键进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。 否 如果设置了delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配merge，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将delflag字段值置为1，否则将插入一条新的记录。 如果没有设置delflag字段，则会使用临时表中记录的所有字段与目标表进行匹配，如果匹配到记录并且目标表中记录的pos小于临时表记录的pos，则会将目标表中匹配到的记录删除。 update true（仅支持无主键表） 否 使用insert select从临时表写入到目标表。 false 说明： update操作会被拆分，将before或者beforeImage中的消息拆分为delete操作，将after或者afterImage中的消息拆分为insert操作，然后再按照insert和delete的行为进行入库处理。 是 相当于有主键表的insert+delete操作。 否 相当于无主键表的insert+delete操作。

实例管理概述 数据迁移功能采用独立集群的方式为用户提供安全可靠的数据迁移服务，各集群之间相互隔离，不可互相访问。其中实例管理通过购买GDS-Kafka实例帮助用户创建、管理集群。GDS-Kafka的工作方式是从Kafka中消费数据并缓存，当达到设置好的时间或数据量之后，通过COPY写入GaussDB(DWS)临时表，再从临时表进行插入或更新操作。 Kafka的消息生产端必须按照一定的格式要求进行数据生产，其中消息格式由“kafka.source.event.type”配置参数指定。当前支持的消息格式详见 GDS-Kafka支持的消息格式 。 GDS-Kafka支持直接insert（仅限无主键表）和merge覆盖更新两种入库模式，您可以根据DWS目标表的类型进行灵活配置，直接insert模式由于不涉及更新在性能上要更优一些。其中入库模式由“app.insert.directly”配置参数和有无主键共同决定，详见GDS-Kafka入库模式 。 GDS-kafka只支持目标表表名和字段全小写。 GDS-Kafka的删除是根据扩展字段中的pos进行历史删除，如果入库数据中有delete操作，则必须使用扩展字段。

错误码说明 表1 错误码说明 错误码 错误信息 处理建议 Cdm.0000 系统错误。 请联系客服或技术支持人员协助解决。 Cdm.0003 Kerberos登录失败。 检查keytab与principal配置文件是否正确。 Cdm.0009 %s不是整型数字或超出整型数的取值范围[0～2147483647]。 请根据错误提示将参数修改正确后请重试。 Cdm.0010 整数必须在区间[%s]。 请根据返回的详细错误信息，确认参数值是否合法，修改正确后请重试。 Cdm.0011 输入超过取值范围。 请根据返回的详细错误信息，确认参数值是否合法，修改正确后请重试。 Cdm.0012 没有匹配的数据库JDBC驱动。 请联系客服或技术支持人员协助解决。 Cdm.0013 Agent连接失败。 可能是由于网络不通、安全组或防火墙规则未放行等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0014 非法参数。 请确认参数值是否合法，修改正确后请重试。 Cdm.0015 解析文件内容出错。 请确认上传的文件内容或格式是否正确，修改正确后请重试。 Cdm.0016 上传文件不能为空。 请确认上传的文件是否为空，修改正确后请重试。 Cdm.0017 与MRS集群kerberos认证失败。 请确认kerberos认证用户和密码是否很强，修改正确后，请重试。 Cdm.0018 作业和连接内容不合法。 请联系客服或技术支持人员协助解决。 Cdm.0019 IP 和端口无效。 请稍后重试，或联系客服或技术支持人员协助解决。 Cdm.0020 必须包含子字符串：%s。 请根据错误提示将参数修改正确后，再重试。 Cdm.0021 不能连接服务器：%s。 请联系客服或技术支持人员协助解决。 Cdm.0023 写入数据失败.原因 :%s。 请联系客服或技术支持人员协助解决。 Cdm.0024 [%s]必须在区间[%s]。 请根据错误提示将参数修改正确后，再重试。 Cdm.0025 写入数据的长度超出表字段定义的长度，请参考数据库返回的错误消息: %s 请根据错误提示修改写入数据的长度，再重试。 Cdm.0026 主键重复，请参考数据库返回的错误消息: %s 请根据错误提示检查数据，解决主键冲突。 Cdm.0027 写入字符串的编码可能与表定义的编码不一致，请参考数据库返回的错误消息: %s 请根据错误提示修改字符串编码。 Cdm.0028 用户名或密码错误，请参考数据库返回的错误消息: %s 请修改用户名或者密码，再重试。 Cdm.0029 数据库名称不存在，请参考数据库返回的错误消息: %s 请选择正确的数据库， 再重试。 Cdm.0030 用户名或密码或数据库名称错误，请参考数据库返回的错误消息: %s 请根据错误提示修改为正确的用户名，密码、数据库名称后重试。 Cdm.0031 连接超时。 请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确。 Cdm.0032 用户名或密码错误，请参考服务端返回的错误消息: %s 请根据错误提示修改为正确的用户名和密码后重试。 Cdm.0033 不支持SIMPLE认证类型。 请尝试选择KERBEROS认证类型，再重试。 Cdm.0034 请重启CDM，重新加载MRS或者FusionInsight配置信息。 请重启CDM，重新加载MRS或者FusionInsight配置信息。 Cdm.0035 没有权限写文件，请参考详细消息: %s 请根据错误提示配置权限，再重试。 Cdm.0036 非法Datestamp或Date格式，请参考详细消息: %s 请根据错误提示配置Datestamp或Date格式，再重试。 Cdm.0037 非法参数。%s。 请根据错误提示修改为正确的参数，再重试。 Cdm.0038 连接超时。 请检查VPC和安全组规则。 Cdm.0039 连接名不允许修改。 不可修改连接名。 Cdm.0040 日志因为定期清理被删除。 请联系客服或技术支持人员协助解决。 Cdm.0041 不能更新或者删除已被使用的分组 请勿修改分组。 Cdm.0042 操作分组失败，请参考详细信息: %s 请根据错误提示选择正确的分组，再重试。 Cdm.0043 触发销毁抽取或加载失败. 原因 : %s" 请联系客服或技术支持人员协助解决。 Cdm.0051 无效的提交引擎：%s。 请指定正确的作业引擎后再重试。 Cdm.0052 作业%s正在运行。 作业正在运行，无法执行当前操作，请等待作业运行结束后再重试。 Cdm.0053 作业%s未运行。 请运行作业后再重试。 Cdm.0054 作业%s不存在。 请确认作业是否存在。 Cdm.0055 作业类型不支持。 请指定正确的作业类型后再重试。 Cdm.0056 不能提交作业。原因：%s。 请根据返回的详细错误信息，定位原因，修改正确后请重试。 Cdm.0057 无效的作业执行引擎：%s。 请指定正确的作业引擎后再重试。 Cdm.0058 提交和执行引擎组合不合法。 请指定正确的作业引擎后再重试。 Cdm.0059 作业%s已被禁用。不能提交作业。 当前作业无法提交，建议重新创建一个作业后再重试。或者，请联系客服或技术支持人员协助解决。 Cdm.0060 作业使用的连接%s已被禁用。不能提交作业。 请改为其他连接后，再重新提交作业。 Cdm.0061 连接器%s不支持此方向。不能提交作业。 该连接器不能作为作业的源端或目的端，请改为其他连接后，再重新提交作业。 Cdm.0062 二进制文件仅适合SFTP/FTP/HDFS/OBS连接器。 请指定正确的连接器后再重试。 Cdm.0063 创建表格错误。原因：%s。 请根据返回的详细错误信息定位原因，修改正确后请重试。 Cdm.0064 数据格式不匹配。 请根据返回的详细错误信息，确认数据格式是否正确，修改正确后请重试。 Cdm.0065 定时器启动失败，原因%s。 请联系客服或技术支持人员协助解决。 Cdm.0066 获取样值失败，原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0067 获取Schema失败，原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0068 清空表数据失败, 原因 : %s。 请确认当前账户是否有该表的操作权限。 请确认表是否被锁定。 若以上两种方案均不可行，请联系客服或技术支持人员协助解决。 Cdm.0070 运行任务%s失败, 原因 : 运行任务数目达到上限。 请联系客服或技术支持人员协助解决。 Cdm.0071 获取表数据失败，原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0074 修复表格失败。 原因 : %s。 请联系客服或技术支持人员协助解决。 Cdm.0075 删除表失败，原因 : %s。 请确认当前账户是否有该表的操作权限。 请确认表是否被锁定。 若以上两种方案均不可行，请联系客服或技术支持人员协助解决。 Cdm.0080 无效的用户名 。 请根据错误提示修改为正确的用户名，再重试。 Cdm.0081 无效的证书。 请联系客服或技术支持人员协助解决。 Cdm.0082 证书不可读。 请联系客服或技术支持人员协助解决。 Cdm.0083 同一个进程不能配置多个证书，需要重启以使用新的证书。 请根据错误提示修改证书，再重启重试。 Cdm.0085 超过最大值。 请联系客服或技术支持人员协助解决。 Cdm.0088 XX配置项有误。 请根据错误提示修改配置项，再重试。 Cdm.0089 配置项XX不存在。 请根据错误提示修改配置项，再重试。 低版本CDM集群切换至高版本CDM集群时，创建数据连接或保存作业时会偶现配置项不存在情况，请手动清理缓存，再重试。 Cdm.0091 打补丁失败。 请联系客服或技术支持人员协助解决。 Cdm.0092 备份文件不存在。 请联系客服或技术支持人员协助解决。 Cdm.0093 无法加载krb5.conf。 请联系客服或技术支持人员协助解决。 Cdm.0094 名称为XX连接不存在。 请根据错误提示，确认XX连接是否存在，再重试。 Cdm.0095 名称为XX作业不存在。 请根据错误提示，确认XX作业是否存在，再重试。 Cdm.0100 作业[%s]不存在。 请指定正确的作业后再重试。 Cdm.0101 连接[%s]不存在。 请指定正确的连接后再重试。 Cdm.0102 连接器[%s]不存在。 请指定正确的连接器后再重试。 Cdm.0104 作业名已存在。 作业名已存在，请重新命名后，再重试。 Cdm.0105 表达式为空。 请参考帮助文档确认表达式是否有效。 若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0106 XX表达式运算失败。 请参考帮助文档确认表达式是否有效。 若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0107 任务执行中，请稍后再修改作业配置。 待任务执行完成后，再修改作业配置。 Cdm.0108 查询表记录失败。 自定义SQL，请首先确认正确性。 请确认查询未超时（小于60s）. 若以上错误均无法规避，请联系客服或技术支持人员协助解决。 Cdm.0109 作业或连接名长度不能超过%s。 请根据错误提示修改作业或连接名称。 Cdm.0110 命名错误,只能以字符或数字开头，并且名字只能包含字符、数字、下划线、中划线、点符号。 请根据错误提示修改命名。 Cdm.0201 获取实例失败。 请联系客服或技术支持人员协助解决。 Cdm.0202 作业状态未知。 请稍后重试，或请联系客服或技术支持人员协助解决。 Cdm.0204 没有已创建的MRS连接。 当前没有MRS连接，您需要先前往集群的“连接管理”页面创建一个MRS连接，然后再重新执行当前的操作。 Cdm.0230 不能加载该类：%s。 请联系客服或技术支持人员协助解决。 Cdm.0231 不能初始化该类：%s。 请联系客服或技术支持人员协助解决。 Cdm.0232 数据写入失败。原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0233 提取数据过程异常。原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0234 载入数据过程异常。原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0235 数据已全部消费完毕。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0236 从分区程序中检索到无效分区数。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0237 找不到连接器Jar包。 请联系客服或技术支持人员协助解决。 Cdm.0238 %s不能为空。 请根据错误提示将参数修改正确后再重试。 Cdm.0239 获取HDFS文件系统失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0240 获取文件%s状态失败。 请联系客服或技术支持人员协助解决。 Cdm.0241 获取文件%s类型失败。 请联系客服或技术支持人员协助解决。 Cdm.0242 文件检查异常：%s。 请联系客服或技术支持人员协助解决。 Cdm.0243 重命名%s为%s失败。 可能是名称已存在，请重新命名后再重试。 Cdm.0244 创建文件%s失败。 请确认是否具有创建权限，或稍后重试。若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0245 删除文件%s失败。 请确认是否具有删除权限，或稍后重试。若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0246 创建目录%s失败。 请确认是否具有创建权限，或稍后重试。若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0247 操作HBase失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0248 清空%s数据失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0249 文件名%s无效。 请将文件名修改正确后，再重试。 Cdm.0250 不能操作该路径：%s。 请确认是否具有该路径的操作权限，或稍后重试。若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0251 向HBase加载数据失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0307 无法释放连接，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0315 连接名%s已存在。 请指定其他连接名后再重试。 Cdm.0316 无法更新不存在的连接。 请指定正确的连接后再重试。 Cdm.0317 连接%s无效。 请指定正确的连接后再重试。 Cdm.0318 作业已存在，无法重复创建。 请指定其他作业名再重试。 Cdm.0319 无法更新不存在的作业。 请确认待更新的作业是否存在，作业名修改正确后再重试。 Cdm.0320 作业%s无效。 请联系客服或技术支持人员协助解决。 Cdm.0321 连接%s已被使用。 连接已被使用，无法执行当前的操作，请将连接释放后再重试。 Cdm.0322 作业%s已被使用。 请联系客服或技术支持人员协助解决。 Cdm.0323 该提交已存在，无法重复创建。 您已提交过相同操作的请求，请稍后再重试。 Cdm.0327 无效的连接或作业：%s。 请指定正确的连接或作业再重试。 Cdm.0411 连接到文件服务器时出错。 请联系客服或技术支持人员协助解决。 Cdm.0412 与文件服务器断开连接时出错。 请联系客服或技术支持人员协助解决。 Cdm.0413 向文件服务器传输数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0415 从文件服务器下载文件出错。 请联系客服或技术支持人员协助解决。 Cdm.0416 抽取数据时出错。 请联系客服或技术支持人员协助解决。 Cdm.0420 源文件或源目录不存在。 请确认源文件或源目录是否存在，修改正确后再重试。 Cdm.0423 目的路径存在重复文件。 请在目的路径中删除重复文件后再重试。 Cdm.0500 源目录或文件[%s]不存在。 请指定正确的源文件或目录后再重试。 Cdm.0501 无效的URI[%s]。 请指定正确的URI后，再重试。 Cdm.0518 连接HDFS失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0523 用户权限不足导致连接超时。 新建一个业务用户，给对应的权限后，再重试。 Cdm.0600 无法连接FTP服务器。原因：%s。 可能是由于网络不通、安全组或防火墙规则未放行、FTP主机名无法解析、FTP用户名密码错误等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0700 无法连接SFTP服务器。原因：%s。 可能是由于网络不通、安全组或防火墙规则未放行、SFTP主机名无法解析、SFTP用户名密码错误等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0800 无法连接OBS服务器。原因：%s。 可能是由于OBS终端节点与当前区域不一致、AK/SK错误、AK/SK不是当前用户的AK/SK、安全组或防火墙规则未放行等原因。若排除上述原因后仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0801 OBS桶[%s]不存在。 指定的OBS桶可能不存在或不在当前区域，请指定正确的OBS桶后再重试。 Cdm.0900 表[%s]不存在。 请指定正确的表名后再重试。 Cdm.0901 无法连接数据库服务器。原因：%s。 请联系客服或技术支持人员协助解决。 Cdm.0902 SQL语句无法执行。原因%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0903 元数据获取失败。原因：%s。 请确认在集群的“连接管理”页面创建连接时引用符号是否正确或查看数据库表是否存在。若仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0904 从结果中检索数据时发生错误。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0905 未设置分区列。 请指定分区列后再重试。 Cdm.0906 分区列没有找到边界。 请联系客服或技术支持人员协助解决。 Cdm.0911 表名或SQL需要指定。 请指定表名或SQL后再重试。 Cdm.0912 表名和SQL不可以同时指定。 请确认表名和SQL是否同时指定，仅指定其中一项后，再重试。 Cdm.0913 Schema和SQL不可以同时指定。 请确认Schema和SQL是否同时指定，仅指定其中一项后，再重试。 Cdm.0914 基于查询的导入方式时必须提供分区字段。 请指定分区字段后，再重试。 Cdm.0915 基于SQL的导入方式和ColumnList不能同时使用。 请确认两种是否同时使用，仅使用其中一项后，再重试。 Cdm.0916 增量读取情况下必须指定上次的值。 请指定上次的值后再重试。 Cdm.0917 缺少字段检查将无法获得上次的值。 请联系客服或技术支持人员协助解决。 Cdm.0918 没有指定中转表的情况下不可以指定“shouldClearStageTable”。 请指定中转表后再重试。 Cdm.0921 不支持类型%s。 请指定正确的类型后再重试。 Cdm.0925 分区字段含有不支持的值。 请确认分区字段是否含有不支持的值，修改正确后再重试。 Cdm.0926 取不到Schema。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.0927 中转表不为空。 请指定一个空的中转表后再重试。 Cdm.0928 中转表到目的表进行数据迁移时发生错误。 请联系客服或技术支持人员协助解决。 Cdm.0931 Schema字段大小[%s]与结果集的字段大小[%s]不匹配。 请将Schema字段大小和结果集中的字段大小改为一致后再重试。 Cdm.0932 找不到字段最大值。 请联系客服或技术支持人员协助解决。 Cdm.0934 不同Schema/Catalog下有重名表。 请联系客服或技术支持人员协助解决。 Cdm.0935 缺少主键。请指定分区字段。 请指定主键字段后再重试。 Cdm.0936 错误脏数据条数达到上限。 您可以编辑作业，在作业的任务配置中将错误脏数据条数增大。 Cdm.0940 表名准确匹配失败。 匹配不到表名，请指定正确的表名后再重试。 Cdm.0941 无法连接服务器。原因： [%s] 请检查IP、主机名、端口填写是否正确，检查网络安全组和防火墙配置是否正确，参考数据库返回消息进行定位。若仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.0950 当前认证信息无法连接到数据库。 认证信息错误，请修改正确后再重试。 Cdm.0960 必须指定服务器列表。 请指定服务器列表后再重试。 Cdm.0961 服务器列表格式非法。 请修改正确的格式后再重试。 Cdm.0962 必须指定主机IP。 未指定主机IP，请指定主机IP后，再重试。 Cdm.0963 必须指定主机端口。 未指定主机端口，请指定主机端口后，再重试。 Cdm.0964 必须指定数据库。 未指定数据库，请指定数据库后，再重试。 Cdm.1000 Hive表[%s]不存在。 请输入正确的Hive表名后，再重试。 Cdm.1010 无效的URI %s。URI必须为null或有效的URI。 请输入正确的URI后，再重试。下面是一些URI示例： hdfs://example.com:8020/ hdfs://example.com/ file:/// file:///tmp file://localhost/tmp Cdm.1011 连接Hive失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1012 初始化hive客户端失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1100 表[%s]不存在。 请确认表是否存在，输入正确的表名后再重试。 Cdm.1101 获取连接失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1102 创表失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1103 未设置Rowkey。 请设置Rowkey后再重试。 Cdm.1104 打开表格失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1105 作业初始化失败。原因%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1111 表名不能为空。 请输入正确的表名后，再重试。 Cdm.1112 导入方式不能为空。 请设置导入方式后再重试。 Cdm.1113 导入前是否清空数据未设置。 请设置“导入前是否清空数据”参数后再重试。 Cdm.1114 Rowkey为空，请在字段映射步骤重新设置。 请按照错误提示进行处理。 Cdm.1115 Columns为空，请在字段映射步骤重新设置。 请按照错误提示进行处理。 Cdm.1116 列名重复，请在字段映射步骤重新设置。 请按照错误提示进行处理。 Cdm.1117 判断表格是否存在失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1118 表%s不包含列族%s。 请指定列族后再重试。 Cdm.1119 列族数%s和列数%s不等。 请将列族数和列数改为一致后再重试。 Cdm.1120 表中有数据，请清空表数据或重新设置导入前是否清空表数据配置项。 请按照错误提示进行处理。 Cdm.1121 关闭连接已失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1201 不能连接到Redis服务器，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1202 不能用单机模式去连接Redis集群。 请改为其他模式连接Redis集群。 Cdm.1203 从Redis服务器抽取数据失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1205 Redis值前缀不能为空白符。 请去除Redis前缀前的空白符，然后再重试。 Cdm.1206 Redis值存储类型必须指定为“string”或“hash”。 请按照错误提示进行处理。 Cdm.1207 当值存储类型为“string”时，必须指定值分隔符。 请指定分隔符后再重试。 Cdm.1208 Redis存储字段列表必须指定。 请指定Redis存储字段列表后再重试。 Cdm.1209 Redis键分隔符不能为空白符。 请输入正确的分隔符后，再重试。 Cdm.1210 必须指定Redis主键字段列表。 请指定Redis主键字段列表后再重试。 Cdm.1211 Redis主键字段列表必须在字段列表中存在。 请指定Redis主键字段列表后再重试。 Cdm.1212 Redis数据库类型必须指定为“Original”或“DCS”。 请按照错误提示进行处理。 Cdm.1213 必须指定Redis服务器列表。 请指定Redis服务器列表后再重试。 Cdm.1301 不能连接到MongoDB服务器，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1302 从MongoDB服务器抽取数据失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1304 必须指定MongoDB服务器的集合。 未指定MongoDB服务器的集合，请指定后，再重试。 Cdm.1305 必须指定MongoDB服务列表。 未指定MongoDB服务列表，请指定后，再重试。 Cdm.1306 必须指定MongoDB服务的数据库名称。 未指定MongoDB服务的数据库名称，请指定数据库后，再重试。 Cdm.1307 必须指定MongoDB服务的字段列表。 未指定MongoDB服务的字段列表，请指定字段列表后，再重试。 Cdm.1400 无法连接NAS服务器。 请联系客服或技术支持人员协助解决。 Cdm.1401 无NAS服务器权限。 请申请NAS服务器权限后再重试。 Cdm.1501 不能连接到Elasticsearch服务器，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1502 向Elasticsearch服务器写入数据失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1503 关闭Elasticsearch连接失败，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1504 获取Elasticsearch索引错误，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1505 获取Elasticsearch类型错误，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1506 获取Elasticsearch文档字段错误，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1507 获取Elasticsearch采样数据错误，原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1508 必须指定Elasticsearch服务器主机名或IP地址。 未指定Elasticsearch服务器主机名或IP地址，请指定后，再重试。 Cdm.1509 必须指定Elasticsearch服务器端口。 未指定Elasticsearch服务器端口，请指定端口后，再重试。 Cdm.1510 必须指定Elasticsearch索引。 当前未指定Elasticsearch索引，请指定后再重试。 Cdm.1511 必须指定Elasticsearch类型。 当前未指定Elasticsearch类型，请指定后再重试。 Cdm.1512 必须指定Elasticsearch文档字段列表。 当前未指定Elasticsearch文档字段列表，请指定后再重试。 Cdm.1513 字段列表中必须包含字段类型定义。 请确认字段列表中是否包含字段类型定义，修改正确后再重试。 Cdm.1514 字段列表中必须包含主键字段。 当前未设置主键字段，请设置主键字段后再重试。 Cdm.1515 解析JSON字符串时错误，原因：%s。 请根据返回的详细错误信息，定位原因，修改正确后请重试。如仍无法解决，请联系客服或技术支持人员协助解决。 Cdm.1516 非法列名%s。 请确认列名是否合法，输入正确的列名后再重试。 Cdm.1517 获取文档数量产生错误。 请联系客服或技术支持人员协助解决。 Cdm.1518 分区失败。 请联系客服或技术支持人员协助解决。 Cdm.1519 抽取数据错误。 请联系客服或技术支持人员协助解决。 Cdm.1520 获取类型失败。原因：%s。 请根据错误提示进行定位，若无法解决，请联系客服或技术支持人员协助解决。 Cdm.1601 连接服务器失败。 请联系客服或技术支持人员协助解决。 Cdm.1603 获取topic %s的样值失败。 请联系客服或技术支持人员协助解决。 Cdm.1604 topic %s没有数据。 该topic中无数据，请排查无数据的原因。或者，请改为其他topic后再重试。 Cdm.1605 无效的brokerList。 请指定正确的brokerList后再重试。

支持接入的日志 安全云脑支持集成WAF、HSS、OBS等多种华为云云产品的日志数据。集成后，可以检索并分析所有收集到的日志，且默认存储7天。 表1 支持接入的日志 云服务 日志描述 日志 日志生命周期范围 Web应用防火墙（Web Application Firewall，WAF） 攻击日志 waf-attack 7~10 天 访问日志 waf-access 安全云脑（SecMaster） 合规基线日志 secmaster-baseline 7~10 天 对象存储服务（Object Storage Service，OBS） 访问日志 obs-access 7~10 天 入侵防御系统（Intrusion Prevention System，IPS） 攻击日志 nip-attack 7~10 天 统一身份认证（Identity and Access Management，IAM） 审计日志 iam-audit 7~10 天 主机安全服务（Host Security Service，HSS） 主机安全告警 hss-alarm 7~10 天 主机漏洞扫描结果 hss-vul 主机安全日志 hss-log Anti-DDoS流量清洗（Anti-DDoS） 攻击日志 ddos-attack 7~10 天 数据库安全服务（Database Security Service，DBSS） 告警日志 dbss-alarm 7~10 天 云审计服务（Cloud Trace Service，CTS） 云审计服务日志 cts-audit 7~10 天 云防火墙（Cloud Firewall，CFW） 访问控制日志 cfw-block 7~10 天 流量日志 cfw-flow 攻击事件日志 cfw-risk API网关（API Gateway） 访问日志 apig-access 7~30 天 父主题： 数据集成

步骤4：服务退订（可选） 本开发场景中，DataArts Studio、OBS和DWS服务均会产生相关费用。在使用过程中，如果您额外进行了通知配置，可能还会产生以下相关服务的费用： SMN服务：如果您在使用DataArts Studio各组件过程中开启了消息通知功能，则会产生消息通知服务费用，收费标准请参见SMN价格详情。 EIP服务：如果您为数据集成集群开通了公网IP，则会产生弹性公网IP服务费用，收费标准请参见EIP价格详情。 DEW服务：在数据集成或创建管理中心连接时，如果启用了KMS，则会产生密钥管理费用，收费标准请参见DEW价格详情。 在场景开发完成后，如果您不再使用DataArts Studio及相关服务，请及时进行退订和资源删除，避免持续产生费用。 表1 相关服务退订方式 服务 计费说明 退订方式 DataArts Studio DataArts Studio计费说明 DataArts Studio实例仅支持包周期计费。您可以根据需要参考云服务退订退订DataArts Studio包年包月套餐。 OBS OBS计费说明 OBS服务支持按需和包周期计费，套餐包暂不支持退订。本例中使用按需计费，完成后删除新建的存储桶即可；另外，DataArts Studio作业日志和DLI脏数据默认存储在以dlf-log-{Project id}命名的OBS桶中，在退订DataArts Studio后可以一并删除。 DWS DWS计费说明 DWS服务支持按需和包周期计费。本例中使用按需计费，完成后删除DWS集群即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除DWS集群。 SMN SMN计费说明 SMN服务按实际用量付费，退订DataArts Studio服务后不会再产生通知，您也可以直接删除SMN服务已产生的主题和订阅。 EIP EIP计费说明 EIP服务支持按需和包周期计费，本例中使用按需计费，完成后删除EIP即可。如果使用包周期计费，您需要参考云服务退订退订包年包月套餐，并删除EIP。 DEW DEW计费说明 KMS密钥管理按密钥实例进行按需计费，您可以直接删除DEW服务已产生的KMS密钥。 父主题： 初级使用者：基于电影评分的数据集成与开发流程

开发并调度作业 假设OBS中“movie”和“rating”表是每日更新的，我们希望每天更新Top10电影，那么这里可以使用DLF作业编排和作业调度功能。 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。 创建一个DLF批处理作业，作业名称为“topmovie”。 图7 新建作业 图8 配置作业 在作业开发页面，拖动2个CDM Job节点、3个Dummy节点和2个DWS SQL节点到画布中，选中连线图标并拖动，编排图9所示的作业。 图9 连接和配置节点属性 关键节点说明： Begin（Dummy节点）：不执行任何操作，只作为起始点的标识。 movies_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“movies_obs2dws”。 ratings_obs2dws（CDM Job节点）：在节点属性中，选择步骤2：数据集成中的CDM集群，并关联CDM作业“ratings_obs2dws”。 Waiting（Dummy节点）：不执行任何操作，作为等待前侧节点执行结束的标识。 top_rating_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_rating_movie中开发完成的DWS SQL脚本“top_rating_movie”。 top_active_movie（DWS SQL节点）：在节点属性中，关联创建DWS SQL脚本top_active_movie中开发完成的DWS SQL脚本“top_active_movie”。 Finish（Dummy节点）：不执行任何操作，只作为结束点的标识。 作业编排完成后，单击，测试运行作业。 如果作业运行正常，单击“调度配置”，配置作业的调度策略。 图10 调度配置 说明： 2022/02/09至2022/02/28，每天1点00分执行一次作业。 依赖属性：可以配置为依赖其他作业运行，本例不涉及，无需配置。 跨周期依赖：可以选择配置为依赖上一周期或者不依赖，此处配置为不依赖即可。 最后保存并提交版本（单击），执行调度作业（单击）。实现作业每天自动运行，Top10电影的结果自动保存到“top_active_movie”和“top_rating_movie”表。 您如果需要及时了解作业的执行结果是成功还是失败，可以通过数据开发的运维调度界面进行查看，如图11所示。 图11 查看作业执行情况

解决方法 如果是作为DataArts Studio服务CDM组件使用： 检查用户是否添加DAYU Administrator或DAYU User角色，参考DataArts Studio权限管理。 是否有对应工作空间的权限，如开发者、访客等，参考DataArts Studio权限列表。 如果是独立CDM服务使用： 检查是否开启IAM细粒度鉴权。 如果未开启，检查用户组是否添加CDM Administrator角色。 如果已开启，请继续执行步骤2继续检查。 检查用户是否添加CDM访问策略，包含自定义策略或预设策略，如CDM FullAccess、CDM ReadOnlyAccess等，参考CDM权限管理。 检查对应企业项目是否添加拒绝访问策略。

目的端-数据格式为CSV样例 是否跳过标题：CSV文件的表头，数值 true/false：输出数据是/否含有表头。 分隔符：文件中每列数据通过单元格进行分隔，单元格可以为“制表符”、“空格”、“逗号”、“分号”。 场景1：目的端数据源选择数据格式“CSV”，是否跳过标题：true，字段分隔符：逗号 。 导入文件时，当是否跳过标题选择“true”，默认解析csv第一行为字段名。 源端MySQL数据库表 demo.statistics 中的数据： id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为： ManufacturerId, ProductName uuid1, suzhou uuid2, shanghai 场景2：目的端数据源选择数据格式“CSV”，是否跳过标题：false，字段分隔符：逗号。 导入文件时，当是否跳过标题选择“false”，不使用导入文件的头字段，系统默认设置字段filedN。 源端MySQL数据库表 demo.statistics 中的数据： id city uuid1 suzhou uuid2 shanghai 数据映射输出数据为： uuid1, suzhou uuid2, shanghai

配置参数 参数 说明 源端数据源 设置源端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。 目的端数据源 设置目的端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形式来添加字段。导入的文件目前主要支持json，xml和csv格式导入。 如果后续节点想要引用“数据映射”处理器的输出数据，可通过${节点id|payload.xxx}的形式来引用。节点id可通过单击“数据映射”处理器获取到。

创建人脸识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“华为云服务”类别下的“人脸识别”。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 Access Key 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。

创建函数工作流连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“函数工作流”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。

配置参数 参数 说明 区域 FunctionGraph服务所在的区域。 项目 FunctionGraph服务所在的项目。 函数 选择要调用的函数。 调用方式 选择函数的调用方式，当前仅支持“同步”方式。 请求数据 执行函数的请求体，必须为JSON格式。可以通过引用变量的方式引用前序节点中的数据。 函数工作流服务具有强大的数据处理能力，可应用于多种场景。其中一个使用场景为，当使用“数据源类型组件”从数据库（如MySQL）中查询数据时，对于BLOB等类型的数据（如图片），最终查询到的结果为byte数组形式。此时可以使用函数工作流服务，对从数据库查询到的数据作进一步处理，如进行Base64编码等。

配置参数 表1 发布模板消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题，指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 模板 在消息通知服务创建的消息模板，指消息的固定格式，发布消息时可以使用已创建的消息模板向订阅者发送消息，可以在模板参数中填写模板中的参数。 表2 发布文本消息 参数 说明 区域 消息通知服务所在的区域。 项目 消息通知服务所在的项目。 主题 在消息通知服务创建的主题，指消息发布或客户端订阅通知的特定事件类型。 消息标题 给邮箱订阅者发送邮件时作为邮件主题。 消息内容 发送给订阅者的消息正文。

创建消息通知连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“消息通知服务”连接器。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。

创建图像识别连接 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“华为云服务”类别下的“图像识别”。 在弹窗中配置连接器信息，完成后单击“确定”。 参数 说明 连接名称 填写连接器实例名称。 鉴权方式 选择连接器的鉴权方式。 云服务委托，即委托其他云服务管理资源。 AK/SK Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的AK（Access Key ID）。请参考访问密钥获取AK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为：credentials.csv。 Secret Access Key 仅当“鉴权方式”选择“AK/SK”时需要配置。 当前账号的SK（Secret Access Key）。请参考访问密钥获取SK，如果已生成过AK/SK，找到原来已下载的AK/SK文件，文件名一般为credentials.csv。 描述 填写连接器的描述信息，用于识别不同的连接器。