华为云用户手册

Elasticsearch数据连接参数说明（内测） 表1 Elasticsearch连接 参数 是否必选 说明 数据连接类型 是 Elasticsearch连接固定选择为Elasticsearch。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 Elasticsearch服务器列表 是 一个或多个通过分号分割的服务器列表（服务器 域名 或IP地址:服务器端口）。 例如：192.168.0.1:9200;192.168.0.2:9200。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过 DataArts Studio 或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。 CDM 集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 安全模式认证 是 是否安全模式认证。 https访问 是 开启https访问。 Https协议提升了集群安全性，同时集群性能会下降。 连接超时时间 否 连接超时时间，单位ms。默认10000。 超时时间 否 超时时间，单位ms。默认60000。 开启GZIP压缩 否 开启gzip 压缩，使用的时候需要在es 节点上将配置http.compression设置为true。 数据源认证及其他功能配置 用户名 是 连接Elasticsearch的用户名。 密码 是 连接Elasticsearch的密码。 父主题： 配置DataArts Studio数据连接参数

Apache HDFS数据连接参数说明（内测） 表1 Apache HDFS连接 参数 是否必选 说明 数据连接类型 是 Apache HDFS连接固定选择为Apache HDFS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 是否使用集群配置 是 此参数用于选择用户已经创建好的集群配置。 您可以通过使用集群配置，简化Hadoop连接参数配置。默认：关闭。 URI 是 是否使用集群配置开关打开时显示该参数。 表示NameNode URI地址。可以填写为：hdfs://namenode实例的ip:8020。 IP与主机名映射 否 是否使用集群配置开关打开时显示该参数。 运行模式选择“EMBEDDED”、“STANDALONE”时，该参数有效。 如果HDFS配置文件使用主机名，需要配置IP与主机的映射。格式：IP与主机名之间使用空格分隔，多对映射使用分号或回车换行分隔。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接，需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务，请选择一个CDM集群，如果没有可用的CDM集群，请参考创建CDM集群进行创建。 数据集成配置 配置文件路径 是 “是否使用集群配置”参数开启时，呈现此参数。集群配置文件的OBS存放路径。 keytab文件路径 是 认证类型为KERBEROS时显示该参数。 配置keytab文件的OBS存放路径。 Principal名称 是 认证类型为KERBEROS时显示该参数。 Kerberos认证用户名。kerberos集群时，需要上传相应的keytab文件。 属性配置 否 “数据集成”参数开启时，呈现此参数。可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 数据源认证及其他功能配置 认证类型 是 访问集群的认证类型： SIMPLE：非安全模式选择Simple鉴权。 KERBEROS：安全模式选择Kerberos鉴权。 运行模式 是 选择HDFS连接的运行模式： EMBEDDED：连接实例与CDM运行在一起，该模式性能较好。 STANDALONE：连接实例运行在独立进程。如果CDM需要对接多个Hadoop数据源（ MRS 、Hadoop或CloudTable），并且既有KERBEROS认证模式又有SIMPLE认证模式，只能使用STANDALONE模式或者配置不同的Agent。 说明： STANDALONE模式主要是用来解决版本冲突问题的运行模式。当同一种数据连接的源端或者目的端连接器的版本不一致时，存在jar包冲突的情况，这时需要将源端或目的端放在STANDALONE进程里，防止冲突导致迁移失败。 父主题： 配置DataArts Studio数据连接参数

RDS(PostgreSQL)数据连接参数说明 RDS(PostgreSQL)数据连接支持连接云数据库PostgreSQL、自建PostgreSQL等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS(PostgreSQL)连接固定选择为RDS(PostgreSQL)。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 表示通过内部网络访问关系型数据库的访问地址，可填写为IP或域名。 如果为RDS等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 如果为自建PostgreSQL等线下数据源，可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。请确保您已在安全组规则中开放此端口，以便DataArts Studio实例可以通过该端口连接此数据库。 如果为RDS等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 如果为自建PostgreSQL等线下数据源，可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 RDS类型数据源为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和RDS网络互通才可以成功创建RDS连接，为确保两者网络互通，CDM集群必须和RDS处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 SSL加密 否 支持对RDS服务启用SSL加密传输。 数据源驱动配置 驱动程序名称 是 org.postgresql.Driver：连接PostgreSQL数据源时，选择此驱动程序名称。 com.huawei.opengauss.jdbc.Driver：连接 GaussDB 数据源时，选择此驱动程序名称。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 PostgreSQL驱动：获取地址https://mvnrepository.com/artifact/org.postgresql/postgresql，建议42.3.4版本。 GaussDB驱动：请在GaussDB官方文档中搜索“JDBC包、驱动类和环境类”，然后选择实例对应版本的资料，参考文档获取驱动包。 说明： 驱动文件所在的OBS路径中不能包含中文。 出于安全考虑，当前系统会对所选择的驱动文件校验其SHA512值和字节大小。如不在允许清单中，则会提示报错，推荐您使用建议版本的驱动文件，或联系客服或技术支持人员。 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名，创建集群的时候，输入的用户名。 密码 是 数据库的访问密码，创建集群的时候，输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 单次请求行数 否 可选参数，指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认1000。 连接属性 否 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 PostgreSQL举例如下： connectTimeout=60与socketTimeout=300：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位s），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关。 trustServerCertificate=true：在创建安全连接的时候可能会报PKIX错误，建议设置为true。 sslmode=require：PostgreSQL在开启SSL认证时可能会连接失败，需要设置为require。 引用符号 否 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。默认为"。 私密属性 否 可选参数，JDBC私密属性，配置后将会进行加密存储，创建连接时会拼接到连接属性中。例如：key1=value1&key2=value2 父主题： 配置DataArts Studio数据连接参数

MRS Presto数据连接参数说明 表1 MRS Presto数据连接 参数 是否必选 说明 数据连接类型 是 MRS Presto连接固定选择为 MapReduce服务 （MRS Presto）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 MRS集群名 是 选择所属的MRS集群。仅支持连接MRS云服务，自建Hadoop集群必须在纳管到MRS云服务后才可以选择。系统会显示所有项目ID和企业项目相同的MRS集群。 说明： 当前DataArts Studio不支持对接“Kerberos加密类型”为“aes256-sha2,aes128-sha2”的MRS集群。如需对接MRS集群，请注意“Kerberos加密类型”应为“aes256-sha1,aes128-sha1”。 如果选择集群后连接失败，请检查MRS集群与作为Agent的CDM实例是否网络互通。网络互通需满足如下条件： DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群处于不同区域的情况下，需要通过公网或者专线打通网络。通过公网互通时，需确保CDM集群已绑定EIP，MRS集群可以访问公网且防火墙规则已开放连接端口。 DataArts Studio实例（指DataArts Studio实例中的CDM集群）与MRS集群同区域情况下，同虚拟私有云、同子网、同安全组的不同实例默认网络互通；如果同虚拟私有云但子网或安全组不同，还需配置路由规则及安全组规则，配置路由规则请参见如何配置路由规则章节，配置安全组规则请参见如何配置安全组规则章节。 此外，还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同，如果不同，您需要修改工作空间的企业项目。 数据源认证及其他功能配置 描述 否 可自定义填写相关连接的描述。 父主题： 配置DataArts Studio数据连接参数

主机连接参数说明 表1 主机连接 参数 是否必选 说明 数据连接类型 是 主机连接固定选择为主机连接。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 主机地址 是 Linux操作系统主机的IP地址。 请参考查看云服务器详细信息获取。 绑定Agent 是 选择CDM集群，CDM集群提供Agent。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 在调度Shell、Python脚本时，Agent会访问E CS 主机，如果Shell、Python脚本的调度频率很高，ECS主机会将Agent的内网IP加入黑名单。为了保障作业的正常调度，强烈建议您使用ECS主机的root用户将绑定Agent（即CDM集群）的内网IP加到/etc/hosts.allow文件里面。 CDM集群的内网IP获取方式请参见查看并修改CDM集群配置。 端口 是 主机的SSH端口号。 Linux操作系统主机的默认登录端口为22，如有修改可通过主机路径“/etc/ssh/sshd_config”文件中的port字段确认端口号。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 数据源认证及其他功能配置 用户名 是 主机的登录用户名。 登录方式 是 选择主机的登录方式： 密钥对 密码 密钥对 是 “登录方式”为“密钥对”时，显示该配置项。 主机的登录方式为密钥对时，您需要获取并上传其私钥文件至OBS，在此处选择对应的OBS路径（OBS路径中不能存在中文字符）。 说明： 此处上传的私钥文件应和主机上配置的公钥是一个密钥对，详情请参见密钥对使用场景介绍。 密钥对密码 是 如果密钥对未设置密码，则不需要填写该配置项。 密码 是 “登录方式”为“密码”时，显示该配置项。 主机的登录方式为密码时，填写主机的登录密码。 主机连接描述 否 主机连接的描述信息。 Shell或Python脚本可以在该ECS主机上运行的最大并发数由ECS主机的/etc/ssh/sshd_config文件中MaxSessions的配置值确定。请根据Shell或Python脚本的调度频率合理配置MaxSessions的值。 连接主机的用户需要具有主机/tmp目录下文件的创建与执行权限。 Shell和Python脚本都是发往ECS主机的/tmp目录下去运行的，需要确保/tmp目录磁盘不被占满。 父主题： 配置DataArts Studio数据连接参数

DIS数据连接参数说明 表1 DIS连接 参数 是否必选 说明 数据连接类型 是 DIS连接固定选择为DIS。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 基础与网络连通配置 目标项目ID 是 使用DIS Client节点发送消息至目标DIS通道时，目标通道所在的项目ID。 目标Region 是 使用DIS Client节点发送消息至目标DIS通道时，目标通道所在的Region。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 数据源认证及其他功能配置 访问标识(AK) 是 使用DIS Client节点发送消息至目标DIS通道时，创建目标通道的租户AK。 密钥(SK) 是 使用DIS Client节点发送消息至目标DIS通道时，创建目标通道的租户SK。 描述 否 支持添加该连接的相关描述。 父主题： 配置DataArts Studio数据连接参数

RDS(MySQL)数据连接参数说明 RDS(MySQL)数据连接支持连接 云数据库MySQL 、自建MySQL等数据库。 表1 RDS数据连接 参数 是否必选 说明 数据连接类型 是 RDS(MySQL)连接固定选择为RDS(MySQL)。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 表示通过内部网络访问关系型数据库的访问地址，可填写为IP或域名。 如果为RDS等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 如果为自建MySQL等线下数据源，可以通过数据库管理员获取相应的访问地址。 端口 是 关系型数据库数据源的访问端口。请确保您已在安全组规则中开放此端口，以便DataArts Studio实例可以通过该端口连接此数据库。 如果为RDS等云上数据源，可以通过管理控制台获取访问地址： 根据注册的账号登录对应云服务的管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 如果为自建MySQL等线下数据源，可以通过数据库管理员获取相应的访问地址。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 RDS类型数据源为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建RDS类型的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和RDS网络互通才可以成功创建RDS连接，为确保两者网络互通，CDM集群必须和RDS处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 SSL加密 否 支持对RDS服务启用SSL加密传输。 数据源驱动配置 驱动程序名称 是 com.mysql.jdbc.Driver：连接RDS for MySQL或MySQL数据源时，选择此驱动程序名称。 驱动文件路径 是 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 MySQL驱动获取地址https://downloads.mysql.com/archives/c-j/，建议5.1.48版本。 说明： 驱动文件所在的OBS路径中不能包含中文。 出于安全考虑，当前系统会对所选择的驱动文件校验其SHA512值和字节大小。如不在允许清单中，则会提示报错，推荐您使用建议版本的驱动文件，或联系客服或技术支持人员。 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 数据源认证及其他功能配置 用户名 是 数据库的用户名，创建集群的时候，输入的用户名。 密码 是 数据库的访问密码，创建集群的时候，输入的密码。 数据集成配置 数据库名称 是 配置为要连接的数据库名称。 使用本地API 否 可选参数，选择是否使用数据库本地API加速。 创建MySQL连接时，CDM会自动尝试启用MySQL数据库的local_infile系统变量，开启MySQL的LOAD DATA功能加快数据导入，提高导入数据到MySQL数据库的性能。注意，开启本参数后，日期类型将不符合格式的会存储为0000-00-00，更多详细信息可在MySQL官网文档查看。 如果CDM自动启用失败，请联系数据库管理员启用local_infile参数或选择不使用本地API加速。 如果是导入到RDS上的MySQL数据库，由于RDS上的MySQL默认没有开启LOAD DATA功能，所以同时需要修改MySQ L实例 的参数组，将“local_infile”设置为“ON”，开启该功能。 说明： 如果RDS上的“local_infile”参数组不可编辑，则说明是默认参数组，需要先创建一个新的参数组，再修改该参数值，并应用到RDS的MySQL实例上，具体操作请参见《关系型数据库用户指南》。 local_infile字符集 否 “使用本地API”为是时，呈现此参数。MySQL通过local_infile导入数据时，可配置编码格式。默认utf8。 单次请求行数 否 可选参数，指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认1000。 单次提交行数 否 指定每次批量提交的行数，根据数据目的端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认10000。 单次写入行数 否 可选参数，指定单次批量写入的行数，当写入行数累计到单次批量提交行数时提交一次，该值应当小于单次提交行数。默认100。 连接属性 否 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 MySQL举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 tinyInt1isBit=false或mysql.bool.type.transform=false：MySQL默认开启配置tinyInt1isBit=true，将TINYINT(1)当作BIT也就是Types.BOOLEAN来处理，会将1或0读取为true或false从而导致迁移失败，此时可关闭配置避免迁移报错。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 allowPublicKeyRetrieval=true：MySQL默认关闭允许公钥检索机制，因此连接MySQL数据源时，如果TLS不可用、使用RSA公钥加密时，可能导致连接报错。此时可打开公钥检索机制，避免连接报错。 引用符号 否 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。默认为"。 父主题： 配置DataArts Studio数据连接参数

Oracle数据连接参数说明 表1 Oracle数据连接 参数 是否必选 说明 数据连接类型 是 Oracle连接固定选择为ORACLE。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 IP或域名 是 待连接的数据库的访问地址，可填写为IP或域名，其中公网IP和内网IP地址均支持。 端口 是 待连接的数据库端口。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建Oracle的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和Oracle网络互通才可以成功创建Oracle连接。 数据源认证及其他功能配置 用户名 是 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 说明： CONNECT权限的用户(只读用户)创建连接时会出现“表或视图不存在”的提示，需要执行如下操作进行授权： 以root用户登录oracle节点。 执行如下命令，切换到oracle用户。 su oracle 执行如下命令，登录数据库。 sqlplus /nolog 执行如下命令，登录sys用户 connect sys as sysdba; 输入sys用户的密码。 执行如下SQL语句，进行授权。 GRANT SELECT ON GV_$INSTANCE to xxx; 其中，xxx为需要授权的用户名。 密码 是 用户密码。 数据库连接类型 是 选择所需的连接方式。 SID： SID即Oracle数据库实例ID。一个实例只能对应一个数据库，但是一个数据库可以由多个实例对应。 Service Name： Service Name参数是由oracle8i开始引进的，即Oracle数据库对外服务名，标识整个数据库。 SID 是 “Connection type”配置为“SID”时，为必选项。 SID即Oracle数据库实例ID。一个实例只能对应一个数据库，但是一个数据库可以由多个实例对应。 Service Name 是 “Connection type”配置为“Service Name”时，为必选项。 Service Name参数是由oracle8i开始引进的，即Oracle数据库对外服务名，标识整个数据库。 数据集成配置 驱动程序名称 是 连接Oracle数据源时，选择“oracle.jdbc.OracleDriver”驱动程序名称。 驱动文件来源 是 选择驱动文件的来源方式。 驱动文件路径 是 “驱动文件来源”选择“OBS路径”时配置。 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。 驱动包下载地址：https://www.oracle.com/database/technologies/appdev/jdbc-downloads.html，推荐使用ojdbc8的12.2.0.1版本。 说明： 如果需要更新驱动文件，则需要先在数据集成页面重启CDM集群，然后通过编辑数据连接的方式重新选择新版本驱动，更新驱动才能生效。 驱动文件 是 “驱动文件来源”选择“本地文件”时配置。不同类型的关系数据库，需要适配不同类型的驱动。 单次请求行数 否 可选参数，指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。默认1000。 连接属性 否 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关。 引用符号 否 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。默认"。 父主题： 配置DataArts Studio数据连接参数

DWS数据连接参数说明 表1 DWS数据连接 参数 是否必选 说明 数据连接类型 是 DWS连接固定选择为 数据仓库 服务（DWS）。 数据连接名称 是 数据连接的名称，只能包含字母、数字、下划线和中划线，且长度不超过100个字符。 描述 否 为更好地识别数据连接，此处加以描述信息，长度不能超过100个字符。 标签 否 标识数据连接的属性。设置标签后，便于统一管理。 说明： 标签的名称，只能包含中文、英文字母、数字和下划线，不能以下划线开头，且长度不能超过100个字符。 适用组件 是 选择此连接适用的组件。勾选组件后，才能在相应组件内使用本连接。 说明： 当开启离线数据集成或实时数据集成作业特性后，可勾选数据集成组件，勾选后在数据开发组件创建集成作业时支持选择本数据连接。 离线数据集成或实时数据集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 基础与网络连通配置 SSL加密 是 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。 开关打开，即只能通过SSL方式进行通信。 开关关闭，SSL通道加密和证书认证两种方式均可进行通信。 手动 是 选择连接模式。 使用集群名模式时，通过选择已有集群名称进行连接配置。 使用连接串模式时，手动填写对应集群的IP或域名、端口进行连接配置，且需打通本连接Agent（即CDM集群）和DWS集群之间的网络。 说明： 数据安全组件不支持连接串模式的DWS连接。 DWS集群名 是 “手动”选择为“集群名模式”时需要配置本参数。 选择DWS集群，系统会显示所有项目ID和企业项目相同的DWS集群。 IP或域名 是 “手动”选择为“连接串模式”时需要配置本参数。 表示通过内部网络访问集群数据库的访问地址，可填写为IP或域名。内网访问IP或域名地址在创建集群时自动生成，您可以通过管理控制台获取访问地址： 根据注册的账号登录DWS云服务管理控制台。 从左侧列表选择实例管理。 单击某一个实例名称，进入实例基本信息页面。在连接信息标签中可以获取到内网IP、域名和端口等信息。 端口 是 “手动”选择为“连接串模式”时需要配置本参数。 表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口，以便DataArts Studio实例可以通过该端口连接DWS集群数据库。 KMS密钥 是 通过KMS加解密数据源认证信息，选择KMS中的任一默认密钥或自定义密钥即可。 说明： 第一次通过DataArts Studio或KPS使用KMS加密时，会自动生成默认密钥dlf/default或kps/default。关于默认密钥的更多信息，请参见什么是默认密钥。 仅支持通过对称密钥加密，暂不支持非对称密钥。 绑定Agent 是 DWS为非全托管服务，DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请参考创建CDM集群进行创建。 CDM集群作为网络代理，必须和DWS集群网络互通才可以成功创建DWS连接，为确保两者网络互通，CDM集群必须和DWS集群处于相同的区域、可用区，且使用同一个VPC和子网，安全组规则需允许两者网络互通。 说明： CDM集群作为管理中心数据连接Agent时，单集群的并发活动线程最大为200。即当多个数据连接共用同一Agent时，通过这些数据连接提交SQL脚本、Shell脚本、Python脚本等任务的同时运行上限为200，超出的任务将排队等待。建议您按照业务量情况规划多个Agent分担压力。 数据源认证及其他功能配置 用户名 是 数据库的用户名，创建DWS集群时指定的用户名。 密码 是 数据库的访问密码，创建DWS集群时指定的密码。 数据集成配置 数据库名称 是 适用组件勾选数据集成后，呈现此参数。 配置为要连接的数据库名称。 单次请求行数 否 适用组件勾选数据集成后，呈现此参数。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 连接属性 否 适用组件勾选数据集成后，呈现此参数。 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 常见配置举例如下： connectTimeout=360000与socketTimeout=360000：迁移数据量较大、或通过查询语句检索全表时，会由于连接超时导致迁移失败。此时可自定义连接超时时间与socket超时时间（单位ms），避免超时导致失败。 useCursorFetch=false：CDM作业默认打开了JDBC连接器与关系型数据库通信使用二进制协议开关，即useCursorFetch=true。部分第三方可能存在兼容问题导致迁移时间转换出错，可以关闭此开关；开源MySQL数据库支持useCursorFetch参数，无需对此参数进行设置。 引用符号 否 适用组件勾选数据集成后，呈现此参数。 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 父主题： 配置DataArts Studio数据连接参数

更多操作 修改：单击操作列的“修改”，可以修改已配置的日历。 快选：快速选中本月的周一到周五 反选：对已选择的工作日进行反选 清除：对已选择的工作日进行清除 图2 修改调度日历 删除：单击操作列的“删除”，自动弹出的删除提示框，单击“确定”，可以删除已配置好的日历。 如果日历被作业引用，则不能删除。如果要强制删除被作业引用的日历，可能会影响作业调度，请谨慎操作。 引用作业列表：单击操作列的“引用作业列表”，可以查看该日历被哪些作业所引用。可以下载引用作业列表。

约束限制 该功能适用于以下场景： Flink SQL脚本可以引用脚本模板。 在pipeline作业开发中，MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本，同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。 在Flink SQL单任务作业中引用脚本模板。 在Flink Jar单任务作业中使用参数模板。 Spark SQL和Hive SQL脚本及单任务作业支持引用参数模板。模板配置好之后，请到配置默认项去使用该模板。

配置分库源端参数 作业中源连接为分库连接，源端作业参数如表1所示。 表1 分库作为源端时的作业参数 参数类型 参数名 说明 取值样例 基本参数 模式或表空间 表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，分库连接时此处默认展示对应第一个后端连接的表空间。用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。例如：表名配置为user_[0-9]{1,2}，会匹配 user_0 到 user_9，user_00 到 user_99 的表。 SCHEMA_E 表名 表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 高级属性 Where子句 表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 选择源连接名称为分库连接对应的后端连接时，此作业即为普通的MySQL作业。 新建源端为分库连接的作业时，在字段映射阶段，可以在源字段新增样值为“${custom(host)}”样式的自定义字段，用于在多个数据库中的多张表迁移到同一张表后，查看表的数据来源。支持的样值包括： ${custom(host)} ${custom(database)} ${custom(fromLinkName)} ${custom(schemaName)} ${custom(tableName)} 父主题： 配置CDM作业源端参数

配置Oracle源端参数 作业中源连接为Oracle数据库连接，源端作业参数如表1所示。 表1 Oracle作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。 不支持注释 ，比如 "--" ，“/*”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile 如果SQL语句过长，会导致请求过长下发失败，继续创建作业系统会报错“错误请求”，此时您需要简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 说明： 该参数支持配置通配符（*），实现导出以某一前缀开头或者以某一后缀结尾的所有数据库。例如： SCHEMA*表示导出所有以“SCHEMA”开头的数据库。 *SCHEMA表示导出所有以“SCHEMA”结尾的数据库。 *SCHEMA*表示数据库名称中只要有“SCHEMA”字符串，就全部导出。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。例如：表名配置为user_[0-9]{1,2}，会匹配 user_0 到 user_9，user_00 到 user_99 的表。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 抽取分区字段 “按表分区抽取”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明： 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' 分区字段含有空值 “按表分区抽取”选择“否”时，显示该参数，表示是否允许分区字段包含空值。 是 按表分区抽取 从Oracle导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的Oracle表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_tab_subpartitions的SELECT权限。 否 表分区 输入需要迁移数据的Oracle表分区，多个分区以&分隔，不填则迁移所有分区。 如果有子分区，以“分区.子分区”的格式填写，例如“P2.SUBP1”。 P0&P1&P2.SUBP1&P2.SUBP3 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为 DLI 和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时，显示该参数，使用该字段将作业拆分为多个子作业并发执行。 - 拆分字段最小值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最小值。 - 拆分字段最大值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最大值。 - 子作业个数 “拆分作业”选择“是”时，显示该参数，根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 - Oracle作为源端时，如果未配置“抽取分区字段”或者“按表分区抽取”这2个参数，CDM自动使用ROWID进行数据分区。 父主题： 配置CDM作业源端参数

配置MySQL源端参数 作业中源连接为云数据库MySQL/MySQL数据库连接时，源端作业参数如表1所示。 表1 MySQL作为源端时的作业参数 参数名 说明 取值样例 使用SQL语句 导出关系型数据库的数据时，您可以选择使用自定义SQL语句导出。 否 SQL语句 “使用SQL语句”选择“是”时，您可以在这里输入自定义的SQL语句，CDM将根据该语句导出数据。 说明： SQL语句只能查询数据，支持join和嵌套写法，但不能有多条查询语句，比如 select * from table a; select * from table b。 不支持with语句。 不支持注释 ，比如 "--" ，“/*”。 不支持增删改操作，包括但不限于以下操作： load data delete from alter table create table drop table into outfile 如果SQL语句过长，会导致请求过长下发失败，继续创建作业系统会报错“错误请求”，此时您需要简化或清空SQL语句，再次尝试继续创建作业。 select id,name from sqoop.user; 模式或表空间 “使用SQL语句”选择“否”时，显示该参数，表示待抽取数据的模式或表空间名称。单击输入框后面的按钮可进入模式选择界面，用户也可以直接输入模式或表空间名称。 如果选择界面没有待选择的模式或表空间，请确认对应连接里的账号是否有元数据查询的权限。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。 SCHEMA_E 表名 “使用SQL语句”选择“否”时，显示该参数，表示要抽取的表名。单击输入框后面的按钮可进入表的选择界面，用户也可以直接输入表名称。 如果选择界面没有待选择的表，请确认表是否已经创建，或者对应连接里的账号是否有元数据查询的权限。 该参数支持配置为时间宏变量，且一个路径名中可以有多个宏定义变量。使用时间宏变量和定时任务配合，可以实现定期同步新增数据，详细说明请参见使用时间宏变量完成增量同步。 该参数支持配置正则表达式，实现导出满足规则的所有数据库。例如：表名配置为user_[0-9]{1,2}，会匹配 user_0 到 user_9，user_00 到 user_99 的表。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 table 抽取分区字段 “使用SQL语句”选择“否”时，显示该参数，表示抽取数据时使用该字段进行数据切分，CDM依据此字段将作业分割为多个任务并发执行。一般使用数据均匀分布的字段，例如以自然增长的序号字段作为分区字段。 单击输入框后面的按钮可进入字段选择界面，用户也可以直接输入抽取分区字段名。 说明： 抽取分区字段支持TINYINT、SMALLINT、INTEGER、BIGINT、REAL、FLOAT、DOUBLE、NUMERIC、DECIMAL、BIT、BOOLEAN、DATE、TIME、TIMESTAMP类型，建议该字段带有索引。 id Where子句 “使用SQL语句”选择“否”时，显示该参数，表示配置抽取范围的Where子句，不配置时抽取整表。 该参数支持配置为时间宏变量，实现抽取指定日期的数据，详细说明请参见关系数据库增量迁移。 说明： 如果配置了时间宏变量，通过DataArts Studio数据开发调度CDM迁移作业时，系统会将时间宏变量替换为“数据开发作业计划启动时间-偏移量”，而不是“CDM作业实际启动时间-偏移量”。 DS='${dateformat(yyyy-MM-dd,-1,DAY)}' date类型值是否保留一位精度 date类型值是否保留一位精度。 是 分区字段含有空值 是否允许分区字段包含空值。 是 拆分作业 选择“是”，会根据“作业拆分字段”值，将作业拆分为多个子作业并发执行。 说明： 仅支持目的端为DLI和Hive时配置该参数及作业拆分字段、拆分字段最小值、拆分字段最大值、子作业个数参数。 是 作业拆分字段 “拆分作业”选择“是”时，显示该参数，使用该字段将作业拆分为多个子作业并发执行。 - 拆分字段最小值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最小值。 - 拆分字段最大值 “拆分作业”选择“是”时，显示该参数，表示抽取数据时“作业拆分字段”的最大值。 - 子作业个数 “拆分作业”选择“是”时，显示该参数，根据“作业拆分字段”的最小值和最大值限定的数据范围，将作业拆分为多少个子作业执行。 - 按表分区抽取 从MySQL导出数据时，支持从分区表的各个分区并行抽取数据。启用该功能时，可以通过下面的“表分区”参数指定具体的MySQL表分区。 该功能不支持非分区表。 数据库用户需要具有系统视图dba_tab_partitions和dba_tab_subpartitions的SELECT权限。 否 父主题： 配置CDM作业源端参数

将Notebook任务上传到OBS桶 方式一：将Notebook任务先下载到本地，然后上传到OBS桶（OBS桶必须是并行文件桶）。 在JupyterLab文件列表中，选择需要下载的文件，单击右键，在操作菜单中选择“Download”下载至本地。 下载的目的路径，为您本地浏览器设置的下载目录。 图1 下载文件 将本地文件上传到OBS桶。上传的详细操作，请参见上传对象。 方式二：将Notebook任务直接上传到OBS桶（OBS桶必须是并行文件桶）。 使用ModelArts SDK接口将目标文件从Notebook上传到OBS。 使用ModelArts SDK接口将Notebook中的文件上传到OBS后进行操作。 示例代码：将Notebook中的file1.txt文件上传到OBS桶路径obs://bucket-name/dir1/中。其中，桶名称、文件夹和文件的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_file(src_local_file='/home/ma-user/work/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 使用ModelArts SDK接口将Notebook中的文件夹上传到OBS。 示例代码：将Notebook中的文件夹“/work/”上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bucket-name/dir1/work/”。其中，桶名称和文件夹的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_dir(src_local_dir='/home/ma-user/work/', dst_obs_dir='obs://bucket-name/dir1/')

在Notebook中通过SDK上传下载OBS文件 使用ModelArts SDK接口将OBS中的文件下载到Notebook后进行操作。 示例代码：将OBS中的文件file1.txt下载到Notebook的/home/ma-user/work/路径下。其中，桶名称、文件夹和文件的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.download_file(src_obs_file="obs://bucket-name/dir1/file1.txt", dst_local_dir="/home/ ma-user/work/") 使用ModelArts SDK接口将OBS中的文件夹下载到Notebook后进行操作。 示例代码：将OBS中的文件夹dir1下载到Notebook的/home/ma-user/work/路径下。其中，桶名称和文件夹的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.download_dir(src_obs_dir="obs://bucket-name/dir1/", dst_local_dir="/home/ma-user/work/") 使用ModelArts SDK接口将Notebook中的文件上传到OBS后进行操作。 示例代码：将Notebook中的file1.txt文件上传到OBS桶路径obs://bucket-name/dir1/中。其中，桶名称、文件夹和文件的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_file(src_local_file='/home/ma-user/work/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 使用ModelArts SDK接口将Notebook中的文件夹上传到OBS。 示例代码：将Notebook中的文件夹“/work/”上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bucket-name/dir1/work/”。其中，桶名称和文件夹的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_dir(src_local_dir='/home/ma-user/work/', dst_obs_dir='obs://bucket-name/dir1/')

从JupyterLab中下载大于100MB的文件到本地 大于100MB的文件需要先从Notebook中上传到OBS，再从OBS下载到本地，具体操作如下： 打开Python运行环境。 以下图为例，在Launcher页面的Notebook区域，单击“python-3.7.10”。请您以实际环境为准。 图2 打开Python运行环境 使用ModelArts SDK接口将目标文件从Notebook上传到OBS使用。 使用ModelArts SDK接口将Notebook中的文件上传到OBS后进行操作。 示例代码：将Notebook中的file1.txt文件上传到OBS桶路径obs://bucket-name/dir1/中。其中，桶名称、文件夹和文件的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_file(src_local_file='/home/ma-user/work/file1.txt', dst_obs_dir='obs://bucket-name/dir1/') 使用ModelArts SDK接口将Notebook中的文件夹上传到OBS。 示例代码：将Notebook中的文件夹“/work/”上传至“bucket-name”桶的“dir1”文件夹下，路径为“obs://bucket-name/dir1/work/”。其中，桶名称和文件夹的名称均可以按照业务需求自定义。 from modelarts.session import Session session = Session() session.obs.upload_dir(src_local_dir='/home/ma-user/work/', dst_obs_dir='obs://bucket-name/dir1/') 使用OBS或ModelArts SDK将OBS中的文件下载到本地。 方式一：使用OBS进行下载 在OBS中，可以将样例中的“obs_file.txt”下载到本地。如果您的数据较多，推荐OBS Browser+下载数据或文件夹。使用OBS下载文件的操作指导，请参见下载文件。 方式二：使用ModelArts SDK进行下载 将OBS中的文件下载到本地，详情请参见从OBS下载数据。示例代码如下： from modelarts.session import Session # 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 __AK = os.environ["HUAWEICLOUD_SDK_AK"] __SK = os.environ["HUAWEICLOUD_SDK_SK"] # 如果进行了加密还需要进行解密操作 session = Session(access_key=__AK,secret_key=__SK, project_id='***', region_name='***') session.download_data(bucket_path="/bucket_name/obs_file.txt",path="/home/user/obs_file.txt")

在Notebook中安装外部库 DataArts Studio Notebook中已安装Jupyter、Python程序包等多种环境，包括MRS (PySpark)、DLI Spark (PySpark)、DLI Spark (Scala)、python等。您也可以使用pip install在Notobook中安装外部库。 在Notebook中安装 例如，通过JupyterLab在“python-3.7.10”的环境中安装Shapely。 打开一个Notebook实例，进入到Launcher界面。 在“Notebook”区域下，选择一个kernel进入，例如：python-3.7.10”，新建一个ipynb文件。 在新建的Notobook中，在代码输入栏输入如下命令。 !pip install Shapely 父主题： Notebook开发

上传本地超大文件（50GB以上）至JupyterLab 不支持在Notebook的JupyterLab中直接上传大小超过50GB的文件。 50GB以上的文件需要先从本地上传到OBS中，再在Notebook中调用ModelArts的SDK接口读写OBS中的文件。 图13 Notebook中上传下载OBS文件 具体操作如下： 从本地上传文件至OBS。具体操作请参见上传文件至OBS桶。 将OBS中的文件下载到Notebook，可以通过在Notebook中运行代码的方式完成数据下载，具体方式有2种，ModelArts的SDK接口或者调用MoXing接口。 使用ModelArts SDK接口将OBS中的文件下载到Notebook后进行操作。 示例代码： from modelarts.session import Session session = Session() session.obs.copy("obs://bucket-name/obs_file.txt","/home/ma-user/work/") 如果下载到Notebook中的是zip文件，在Terminal中执行下列命令，解压压缩包。 代码执行完成后，参考图14打开Terminal后执行ls /home/ma-user/work命令查看下载到Notebook中的文件。或者在JupyterLab左侧导航中显示下载的文件，如果没有显示，请刷新后查看，如图15所示。 图14 打开Terminal 图15 查看下载到Notebook中的文件 异常处理 通过OBS下载文件到Notebook中时，提示Permission denied。请依次排查： 请确保读取的OBS桶和Notebook处于同一站点区域。不支持跨站点访问OBS桶。 请确认操作Notebook的账号有权限读取OBS桶中的数据。 具体请参见DataArts Studio中提示OBS相关错误。

上传文件要求 对于大小不超过100MB的文件直接上传，并展示文件大小、上传进度及速度等详细信息。 对于大小超过100MB不超过50GB的文件可以使用OBS中转，系统先将文件上传OBS（对象桶或并行文件系统），然后从OBS下载到Notebook，上传完成后，会将文件从OBS中删除。 50GB以上的文件上传通过调用ModelArts SDK完成。 对于Notebook当前目录下已经有同文件名称的文件，可以覆盖继续上传，也可以取消。 支持10个文件同时上传，其余文件显示“等待上传”。不支持上传文件夹，可以将文件夹压缩成压缩包上传至Notebook后， 在Terminal中解压压缩包。 unzip xxx.zip #在xxx.zip压缩包所在路径直接解压 解压命令的更多使用说明可以在主流搜索引擎中查找Linux解压命令操作。 多个文件同时上传时，JupyterLab窗口最下面会显示上传文件总数和已上传文件数。 图1 上传多个文件

上传本地大文件（100MB~50GB）至JupyterLab 对于大小超过100MB不超过50GB的文件可以使用OBS中转，系统先将文件上传至OBS（对象桶或并行文件系统），然后从OBS下载到Notebook。下载完成后，ModelArts会将文件自动从OBS中删除。 例如，对于下面这种情况，可以通过“OBS中转”上传。 图6 通过OBS中转上传大文件 如果使用OBS中转需要提供一个OBS中转路径，可以通过以下三种方式提供： 图7 通过OBS中转路径上传 仅第一次单击“OBS中转”需要提供OBS中转路径，以后默认使用该路径直接上传，可以通过上传文件窗口左下角的设置按钮更新OBS中转路径。如图11所示。 方式一：在输入框中直接输入有效的OBS中转路径，然后单击“确定”完成。 图8 输入有效的OBS中转路径 方式二：打开OBS File Browser选择一个OBS中转路径，然后单击“确定”完成。 图9 打开OBS File Browser 方式三：单击“使用默认路径”完成。 图10 使用默认路径上传文件 图11 设置本地文件OBS中转路径 完成OBS中转路径设置后，开始上传文件。 图12 上传文件 解压缩文件包 将文件以压缩包形式上传至Notebook JupyterLab后， 可在Terminal中解压缩文件包。 unzip xxx.zip #在xxx.zip压缩包所在路径直接解压 解压命令的更多使用说明可以在主流搜索引擎中查找Linux解压命令操作。

JupyterLab常用快捷键和插件栏 图6 JupyterLab常用快捷键和插件栏 表1 快捷键说明 快捷键 说明 新增Notebook、Terminal、Launcher。 可以快速打开Notebook、Terminal。或打开Launcher页面，可以快速创建新的Notebook、Console或其他文件。 新建文件夹。 可以对文件夹进行删除、重命名等操作。 鼠标悬浮在文件夹名上右键选择New File可以创建.txt格式的任务。 鼠标悬浮在文件夹名上右键选择New Markdown File可以创建.md格式的任务。 上传文件。 刷新文件目录。 Git插件，可连接此Notebook实例关联的Github代码库。 表2 插件栏常用插件说明 插件 说明 File Browser（文件浏览器） 可以通过名称过滤文件。支持通过模糊搜索查找文件。 可以对文件进行删除、重命名等操作。 单击此处，将展示此Notebook实例下的所有文件列表。 Running Terminals and Kernels，当前实例中正在运行的Terminal和Kernel。 会展示Open Tabs、Kernels、Terminals。Open Tabs表示当前正在打开的文件。 Git插件，可以方便快捷地使用Github代码库。 说明： You are not currently in a Git repository. To use Git, navigate to a local repository, initialize a repository here, or clone an existing repository. Open the FileBrowser，单击该按钮后，自动跳转到File Browser页面。 Initialize a Repository Clone a Repository Table of Contents（文档结构图） DataSource（数据源）表示Data Connections。当前仅支持MRS Spark代理连接方式。 From DataArts Management Center，数据连接是来自管理中心创建的MRS Spark代理连接方式。 说明： 管理中心创建连接时，不论是否勾选数据开发组件，在使用Notebook功能时，MRS数据源均能选到该连接。 图7 导航栏按钮 表3 导航栏按钮介绍 按钮 说明 File 新建、关闭、保存、重新加载、重命名、导出、打印Notebook等功能。 Edit 编辑ipynb文件中代码块的相关操作，包括撤销、重做、剪切、复制、粘贴、选择、移动、合并、清除、查找代码块等。 View 查看视图相关操作。 Run 运行代码块相关操作，例如：运行选中代码块、一键运行所有代码块等。 Kernel 中断、重启、关闭、改变Kernel相关操作。 Git Git插件相关操作，可以方便快捷地使用Github代码库。 Tabs 同时打开多个ipynb文件时，通过Tabs激活或选择文件。 Settings JupyterLab工具系统设置。 Help JupyterLab工具自带的帮助参考。 图8 ipynb文件菜单栏中的快捷键 表4 表4 ipynb文件菜单栏中的快捷键 快捷键 说明 保存文件。 添加新代码块。 剪切选中的代码块。 复制选中的代码块。 粘贴选中的代码块。 执行选中的代码块。 终止kernel。 重启kernel。 重启kernel，然后重新运行当前Notebook的所有代码。 此处下拉框有4个选项，分别是： Code（写python代码），Markdown（写Markdown代码，通常用于注释），Raw（一个转换工具），-（不修改）。 查看代码历史版本。 git插件，图标显示灰色表示当前Region不支持。 表示数据连接。 表示代码运行状态，变为实心圆时，表示代码在运行中。 当前的资源规格。 单击可以选择Kernel。

代码化参数插件的使用 代码参数化插件可以降低Notebook案例的复杂度，用户无需感知复杂的源码，按需调整参数快速进行案例复现、模型训练等。该插件可用于定制Notebook案例，适用于比赛、教学等场景。 仅对Code cell类型新增了Edit Form和Add Form功能，如果cell类型是Markdown或者Raw类型则不支持。如下图所示： 图9 查看Code cell 打开新的代码后，需先Add Form，再Edit Form。 图10 Code类型的cell右键选项 “Add Form”会将Code cell水平拆分为两种编辑区域，左侧为代码区域，右侧为表单区域。单击表单右侧的“Edit”可修改默认标题。 “Edit Form”按钮有四个子选项，分别是“Add new form field”、“Hide code”、“Hide form”和“show all”四个按钮，下文介绍这四个选项的功能。 表5 表5 “Edit Form”子选项介绍 “Edit Form”子选项 功能说明 Add new form field 支持新增“dropdown”、“input”和“slider”类型的表单。每新增一个字段，会分别在代码和表单区域中增加对应的变量，修改表单区域的值也会同时修改代码变量值。 说明： 创建dropdown类型的表单时，“ADD Item”至少创建2项。 表单字段类型为“dropdown”时，支持的变量类型为“raw”和“string”。 表单字段类型为“input”时，支持的变量类型有“boolean”、“date”、“integer”、“number” 、“raw”和“string”。 表单字段类型为“slider”时，支持输入滑动条的最小值、最大值和步长。 Hide code 隐藏代码区域。 Hide form 隐藏表单区域。 Show all 同时展示code和form区域。

新建文件并打开Console Console的本质为Python终端，输入一条语句就会给出相应的输出，类似于Python原生的IDE。 进入JupyterLab主页后，可在“Console”区域下，选择适用的AI引擎，单击后将新建一个对应框架的Notebook文件。 由于每个Notebook实例选择的工作环境不同，其支持的AI框架也不同，下图仅为示例，请根据实际显示界面选择AI框架。 图3 选择AI引擎并新建一个Console 文件创建成功后，将直接呈现Console页面。 图4 新建文件（Console）

更多操作 删除：创建好的Notebook实例可以进行删除。单击“删除”，在弹出的“删除Notebook”提示框中，单击“确定”，即可删除。 刷新授权：创建好的Notebook实例，若凭证过期，可以进行授权。单击“刷新授权”，可以重置Notebook内用户授权，有效期24h。 MRS连接超过24小时以后，由于token会过期，导致无法获取资源。可通过“授权”正常使用。 启动：用户只能手动启动已经停止运行的Notebook实例。单击“启动”，可以启动已经停止运行的notebook实例。 停止：用户只能手动停止当前正在运行的Notebook实例。单击“停止”，可以停止当前正在运行的notebook实例。 Notebook停止后，配置在Notebook Jobs中的任务将会丢失。 Notebook实例停止成功后，Notebook将停止使用，用户授权和ENI网卡被释放，资源会被释放。 共享：可以将该Notebook实例共享给该工作空间的其他成员。单击“共享”，添加被共享人的账号信息。 最多共享100个用户或者用户组。当前的规格配置建议不超过10人同时使用，如果超过10个人，会影响用户体验。 别人共享给你的，只能进行打开和查看详情的操作。不可以进行其他操作（删除、刷新授权、启动、停止等）。共享后，Notebook实例界面显示我创建的Notebook实例，共享给我的Notebook实例。 取消共享后，如果被共享人已打开notebook，24小时内有效。 详情：可以查看Notebook实例的基本信息。单击“详情”， 查看Notebook实例的创建人、创建时间、OBS以及网络信息等。

准备工作 已启用Notebook。如果还未启用Notebook，启用Notebook的操作请参见Notebook管理。 已创建好OBS桶。 已创建好VPC、子网、和安全组。请提前做好网络规划： 如果仅对接MRS，则选择MRS集群所在的VPC、子网、和安全组。 如果仅对接DLI，则选择DLI增强型跨源所连接的用户的VPC、子网，安全组入方向规则需要放通DLI弹性资源池所在VPC的30000端口。 如果既对接MRS，又对接DLI，请确保MRS集群所在的VPC、子网和DLI增强型跨源所连接的用户的VPC、子网一致，安全组入方向规则需要放通DLI弹性资源池所在VPC的30000端口。 请确保上述VPC子网已避开172.30.0.0/16和172.31.0.0/16网段。

Notebook概述 该功能为白名单功能，如需使用Notebook功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。 目前仅支持北京四局点申请开放使用。 DataArts Studio的Notebook是一个交互式开发环境，提供全托管式JupyterLab云化版本，即开即用。帮助数据工程师及数据科学家轻松完成开发、调试、调度集群作业，并支持实时探索、处理和 数据可视化 。 Notebook是基于开源JupyterLab进行了深度优化的交互式数据分析挖掘模块，提供在线的开发和调试能力，用于编写和调测模型训练代码。完成DataArts Studio对接Notebook实例后，您可以基于Notebook提供的Web交互的开发环境同时完成代码的编写与作业的开发，使用Notebook灵活地进行数据分析与探索。 关于Jupyter Notebook的详细操作指导，请参见Jupyter Notebook使用文档。 使用Notebook实例提交DataArts Studio作业适用于在线开发调试场景下的作业需求，无需准备开发环境，一站式完成数据分析与探索。 在使用该功能前，需要先启用Notebook。如果还未启用Notebook，页面会显示“未启用Notebook”。启用Notebook的操作请参见Notebook管理。 当前工作空间如果未启用Notebook，请联系管理员启用Notebook。或者，具有DAYU Administrator或者Tenant Administrator权限的用户也可以启用Notebook。 父主题： Notebook开发

达梦数据库 DM连接参数说明 连接达梦数据库 DM时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 达梦数据库 DM连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 dm_link 数据库服务器 配置为要连接的数据库的IP地址或域名，多个值以;分隔。 192.168.0.1;192.168.0.2 端口 配置为要连接的数据库的端口。 不同的数据库端口不同，请根据具体情况配置。 数据库名称 配置为要连接的数据库名称。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户名密码。 - 驱动版本 不同类型的关系数据库，需要适配不同的驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 父主题： 配置连接参数

分库连接参数说明 分库指的是同时连接多个后端数据源，该连接可作为作业源端，将多个数据源的数据合一迁移到其他数据源上。连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 分库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 my_link 用户名 待连接数据库的用户。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 cdm 密码 待连接数据库的用户密码。 仅当“数据源列表”中某个后端数据库A未配置用户名密码时，该配置对A生效。如果后端数据库B已配置用户名密码，此处配置不对B生效。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - 后端数据源 输入后端数据库的类型，当前仅支持MYSQL。 MYSQL 数据源列表 输入后端数据库的IP、端口、数据库名称、账户名、密码，以“:”隔开。即ip:port:dbs:username:password，其中username:password可以不填，此时以“用户名”、“密码”配置为准。 如果此处有多个后端数据库，需要确保表结构一致，并使用“|”分隔数据源。如果密码包含“|”或者“:”，可使用“\”转义。 例如“192.168.3.0:3306:cdm|192.168.2.2:3306:cdm:user:password”表示，第一个后端数据库IP为192.168.3.0，端口为3306，数据库名称为cdm，账户名密码以“用户名”、“密码”处配置为准；第二个后端数据库IP为192.168.2.2，端口为3306，数据库名称为cdm，账户名为“user”、密码为“password”。 192.168.3.0:3306:cdm|192.168.2.2:3306:cdm:user:password 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 1000 连接属性 可选参数，单击“添加”可增加多个指定数据源的JDBC连接器的属性，参考对应数据库的JDBC连接器说明文档进行配置。 sslmode=require 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 ' 父主题： 配置连接参数

Oracle数据库连接参数说明 连接Oracle数据库时，连接参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 Oracle数据库连接参数 参数名 说明 取值样例 名称 连接的名称，根据连接的数据源类型，用户可自定义便于记忆、区分的连接名。 oracle_link 数据库服务器 配置为要连接的数据库的IP地址或域名。 192.168.0.1 端口 配置为要连接的数据库的端口。 默认端口：1521 数据库连接类型 选择Oracle数据库连接类型： Service Name：通过SERVICE_NAME连接Oracle数据库。 SID：通过SID连接Oracle数据库。 SID 实例名称 配置Oracle实例ID，用于实例区分各个数据库。“数据库连接类型”选择“SID”时才有该参数。 dbname 数据库名称 配置为要连接的数据库名称。“数据库连接类型”选择“Service Name”时才有该参数。 dbname 用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限，以及对元数据的读取权限。 cdm 密码 用户密码。 - 使用Agent Agent功能待下线，无需配置。 - Agent Agent功能待下线，无需配置。 - Oracle版本 创建Oracle连接时才有该参数，根据您Oracle数据库的版本来选择。当出现“java.sql.SQLException: Protocol violation异常”时，可以尝试更换版本号。 高于12.1 引用符号 可选参数，连接引用表名或列名时的分隔符号，参考对应数据库的产品文档进行配置。 " 驱动版本 不同类型的关系数据库，需要适配不同的驱动，更多详情请参见如何获取驱动。 - 单次请求行数 可选参数，单击“显示高级属性”后显示。 指定每次请求获取的行数，根据数据源端和作业数据规模的大小配置该参数。如果配置过大或过小，可能影响作业的时长。 Oracle到DWS迁移时，可能出现目的端写太久导致迁移超时的情况。此时请减少Oracle源端“单次请求行数”参数值的设置。 1000 单次提交行数 可选参数，单击“显示高级属性”后显示。 指定单次批量提交的行数。 10000 连接属性 自定义连接属性，可选参数，单击“添加”可增加多个属性。 常见配置举例如下： oracle.net.CONNECT_TIMEOUT：连接超时时间， 默认60000，单位为毫秒。 oracle.jdbc.ReadTimeout：Socket read timeout超时时间， 默认 300000，单位为毫秒。 60000 连接私密属性 可选参数，单击“显示高级属性”后显示。 自定义私密连接属性。 sk=09fUgD5WOF1L6f 父主题： 配置连接参数