华为云用户手册

  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用 IAM 服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 links 是 Array of links objects 连接列表,请参见links数据结构说明 表4 links 参数 是否必选 参数类型 描述 link-config-values 是 link-config-values object 连接参数配置,请参见link-config-values参数说明 creation-user 否 String 创建连接的用户 name 是 String 连接名称 id 否 Integer 连接ID creation-date 否 Long 创建连接的时间 connector-name 是 String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。ftp-connector/sftp-connector:FTP/SFTP连接。mongodb-connector:MongoDB连接。redis-connector:Redis/D CS 连接。kafka-connector:Kafka连接。dis-connector:DIS连接。elasticsearch-connector:Elasticsearch/ 云搜索服务 连接。dli-connector: DLI 连接。 -http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接 update-date 否 Long 更新连接的时间 enabled 否 Boolean 是否激活连接,默认为“true” update-user 否 String 更新连接的用户 表5 link-config-values 参数 是否必选 参数类型 描述 configs 是 Array of configs objects 连接配置参数数据结构,请参见configs参数说明。 extended-configs 否 extended-configs object 扩展配置,请参见extended-configs参数说明。 validators 否 Array of strings 校验器 表6 configs 参数 是否必选 参数类型 描述 inputs 是 Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中,“inputs”具体参数请参见作业任务参数说明。 name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 String 参数值,参数名对应的值,必须填写为字符串 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否 String 名称 value 否 String 值
  • 请求示例 修改一个名为mysql_link的数据连接。 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/link/rdb_link { "links" : [ { "link-config-values" : { "configs" : [ { "inputs" : [ { "name" : "linkConfig.databaseType", "value" : "MYSQL" }, { "name" : "linkConfig.host", "value" : "100.94.8.163" }, { "name" : "linkConfig.port", "value" : "3306" }, { "name" : "linkConfig.database", "value" : "DB_name" }, { "name" : "linkConfig.username", "value" : "username" }, { "name" : "linkConfig.password", "value" : "DB_password" }, { "name" : "linkConfig.fetchSize", "value" : "100000" }, { "name" : "linkConfig.usingNative", "value" : "false" } ], "name" : "linkConfig" } ] }, "name" : "mysql_link", "creation-date" : 1496654788622, "connector-name" : "generic-jdbc-connector", "update-date" : 1496654788622, "enabled" : true } ] }
  • 响应参数 状态码: 200 表9 响应Body参数 参数 参数类型 描述 validation-result Array of validationResult objects 校验结构:如果创建连接失败,返回失败原因,请参见validation-result参数说明。如果创建成功,返回空列表。 表10 validationResult 参数 参数类型 描述 linkConfig Array of validationLinkConfig objects 创建或更新连接校验结果,请参见linkConfig参数说明 表11 validationLinkConfig 参数 参数类型 描述 message String 错误描述 status String ERROR,WARNING 枚举值: ERROR WARNING 状态码: 500 表12 响应Body参数 参数 参数类型 描述 message String 错误描述 status String ERROR,WARNING 枚举值: ERROR WARNING
  • 响应示例 状态码: 200 ok { "clusters" : [ { "publicEndpoint" : "49.xx.xx.10", "actionProgress" : { }, "created" : "2018-09-05T08:38:25", "name" : "cdm-c018", "statusDetail" : "Normal", "id" : "bae65496-643e-47ca-84af-948672de7eeb", "isFrozen" : "0", "updated" : "2018-09-05T08:38:25", "status" : "200" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 clusters Array of clusters objects 集群列表,请参见clusters参数说明 表4 clusters 参数 参数类型 描述 customerConfig CustomerConfig object 用户配置信息 datastore Datastore object cdm信息 instances Array of ClusterDetailInstance objects 集群的节点信息,请参见instances参数说明 azName String az名称 dbuser String 数据库用户 flavorName String 规格名称 recentEvent Integer 事件数 isAutoOff Boolean 自动关机 isScheduleBootOff Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启 clusterMode String 集群模式:sharding(分片集群) namespace String 命名空间 task ClusterTask object 任务信息 publicEndpoint String 集群绑定的EIP actionProgress ActionProgress object 集群操作进度,任务信息,由key、value组成。key值为正在进行的任务,value值为正在进行任务的进度。示例如 "action_progress":{"SNAPSHOTTING":"16%"} created String 集群创建时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ bakExpectedStartTime String 开始时间 bakKeepDay Integer 保留时间 name String 集群名称 statusDetail String 集群状态描述:Normal(正常) id String 集群ID isFrozen String 集群是否冻结:0:否 1:是 updated String 集群更新时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ status String 集群状态: 100:创建中 200:正常 300:失败 303:创建失败 500:重启中 800:冻结 900:已关机 910:正在关机 920:正在开机 failedReasons FailedReasons object 失败原因。集群处于正常状态时不返回。 表5 CustomerConfig 参数 参数类型 描述 failureRemind String 失败提醒。 clusterName String 集群类型。 serviceProvider String 服务提供 localDisk String 是否本地磁盘。 ssl String 是否使用ssl。 createFrom String 创建来源 resourceId String 资源ID flavorType String 规格类型 workSpaceId String 工作空间ID trial String 适用 表6 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。 表7 ClusterDetailInstance 参数 参数类型 描述 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明(查询集群列表时返回值为null)。 volume volume object 节点的磁盘信息,请参见volume参数说明(查询集群列表时返回值为null)。 status String 节点状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 400:已删除。 800:冻结。 actions Array of strings 节点操作状态列表: REBOOTING:重启中。 RESTORING:恢复中。 REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件 config_status String 节点配置状态(查询集群列表时为null): In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 role String 实例角色 group String 分组 links Array of ClusterLinks objects 链接信息(查询集群列表时返回值为null) paramsGroupId String 组件分组id publicIp String 公网ip manageIp String 管理ip trafficIp String 流量ip shard_id String 分片id manage_fix_ip String 管理修复ip private_ip String 私有ip internal_ip String 内部ip resource Array of Resource objects 资源信息(查询集群列表时返回值为null) 表8 flavor 参数 参数类型 描述 id String 节点虚拟机的规格ID。 links Array of ClusterLinks objects 链接信息 表9 volume 参数 参数类型 描述 type String 节点的磁盘类型,只支持本地磁盘 size Long 节点磁盘大小,单位G。 表10 ClusterLinks 参数 参数类型 描述 rel String 关系 href String 链接地址 表11 Resource 参数 参数类型 描述 resource_id String 资源id resource_type String 资源类型:server(服务器) 表12 ClusterTask 参数 参数类型 描述 description String 任务描述 id String 任务id name String 任务名称 表13 ActionProgress 参数 参数类型 描述 CREATING String 创建集群进度,例如:29% GROWING String 扩容集群进度,例如:29% RESTORING String 恢复集群进度,例如:29% SNAPSHOTTING String 集群快照进度,例如:29% REPAIRING String 修复集群进度,例如:29% 表14 FailedReasons 参数 参数类型 描述 CREATE_FAILED CREATE_FAILED object 集群创建失败原因。 表15 CREATE_FAILED 参数 参数类型 描述 errorCode String 错误码 errorMsg String 失败原因
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 restart 是 restart object 集群重启操作,定义哪些集群节点需要重启,请参见restart参数说明 表4 restart 参数 是否必选 参数类型 描述 restartDelayTime 否 Integer 重启时延,单位:秒 restartMode 否 String 重启类型: IMMEDIATELY:立即重启。 FORCELY:强制重启。 SOFTLY:一般重启。 默认值为“IMMEDIATELY”。强制重启业务进程会中断,并重启集群的虚拟机。 restartLevel 否 String 重启级别: SERVICE:重启服务。 VM:重启虚拟机。 默认值为“SERVICE”。 type 是 String 集群节点类型,只支持“cdm” instance 否 String 预留字段,“restartLevel” 为“SERVICE”时,“instance”必填,填空字串。 group 否 String 预留字段,“restartLevel” 为“SERVICE”时,“group”必填,填空字串。
  • URI GET /v1.1/{project_id}/clusters/{cluster_id}/cdm/submissions 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方法请参见项目ID和帐号ID cluster_id 是 String 集群ID 表2 Query参数 参数 是否必选 参数类型 描述 jname 是 String 作业名称
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 submissions Array of Submission objects 作业运行信息,详见submissions参数说明。 total Integer 查询该作业总的历史记录数。 page_no Integer 查询作业记录时,分页数。 page_size Integer 分页查询,每页返回的记录数。默认值:10。 表5 Submission 参数 参数类型 描述 isIncrementing Boolean 作业是否为增量迁移 job-name String 作业名称 counters counters object 作业运行结果统计,当“status”为“SUCCEEDED”时才有此字段,请参见counters数据结构参数说明 isStopingIncrement String 是否停止增量迁移 is-execute-auto Boolean 是否定时执行作业 last-update-date Long 作业最后更新时间 last-udpate-user String 最后更新作业状态的用户 isDeleteJob Boolean 作业执行完成后是否删除 creation-user String 创建用户 creation-date Long 创建时间 external-id String 作业ID progress Float 作业进度,失败时为“-1”,其它情况为0~100 submission-id Integer 作业提交id delete_rows Integer 删除数据行数 update_rows Integer 更新数据行数 write_rows Integer 写入数据行数 execute-date Long 执行时间 status String 作业状态: BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表6 counters 参数 参数类型 描述 org.apache.sqoop.submission.counter.SqoopCounters counter object 作业运行结果统计,请参见统计结果参数说明 表7 counter 参数 参数类型 描述 BYTES_WRITTEN Long 写入的字节数 TOTAL_FILES Integer 总文件数 ROWS_READ Long 读取的行数 BYTES_READ Long 读取的字节数 ROWS_WRITTEN Long 写入的行数 FILES_WRITTEN Integer 写入的文件数 FILES_READ Integer 读取的文件数 TOTAL_SIZE Long 总字节数 FILES_SKIPPED Integer 跳过的文件数 ROWS_WRITTEN_SKIPPED Long 跳过的行数
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 stop 是 stop object 集群停止操作,定义集群停止标识,请参见stop参数说明 表4 stop 参数 是否必选 参数类型 描述 stopMode 是 String 关机类型: IMMEDIATELY:立即关机。 GRACEFULLY:优雅关机。 枚举值: IMMEDIATELY GRACEFULLY delayTime 否 Integer 关机时延,仅在stopMode为“GRACEFULLY”生效,单位:秒。该值为-1时,表示等待所有作业完成,并停止接受新作业。该值为大于0的任意值表示等待该时长后关机,并停止接受新作业。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 validation-result Array of JobValidationResult objects 校验结构:如果停止作业接失败,返回失败原因,请参见validation-result参数说明。如果停止成功,返回空列表。 表4 JobValidationResult 参数 参数类型 描述 message String 错误描述 status String ERROR,WARNING 枚举值: ERROR WARNING
  • 响应参数 状态码: 200 表9 响应Body参数 参数 参数类型 描述 name String 作业名称。 validation-result Array of JobValidationResult objects 校验结果: 如果修改失败,返回失败原因。 如果修改成功,返回空列表。 表10 JobValidationResult 参数 参数类型 描述 message String 错误描述 status String ERROR,WARNING 枚举值: ERROR WARNING 状态码: 400 表11 响应Body参数 参数 参数类型 描述 code String 返回编码 errCode String 错误码 message String 报错信息 externalMessage String 附加信息
  • 请求示例 创建一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的数据迁移作业。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job { "jobs" : [ { "job_type" : "NORMAL_JOB", "from-connector-name" : "elasticsearch-connector", "to-config-values" : { "configs" : [ { "inputs" : [ { "name" : "toJobConfig.streamName", "value" : "dis-lkGm" }, { "name" : "toJobConfig.separator", "value" : "|" }, { "name" : "toJobConfig.columnList", "value" : "1&2&3" } ], "name" : "toJobConfig" } ] }, "to-link-name" : "dis", "driver-config-values" : { "configs" : [ { "inputs" : [ { "name" : "throttlingConfig.numExtractors", "value" : "1" }, { "name" : "throttlingConfig.submitToCluster", "value" : "false" }, { "name" : "throttlingConfig.numLoaders", "value" : "1" }, { "name" : "throttlingConfig.recordDirtyData", "value" : "false" } ], "name" : "throttlingConfig" }, { "inputs" : [ ], "name" : "jarConfig" }, { "inputs" : [ { "name" : "schedulerConfig.isSchedulerJob", "value" : "false" }, { "name" : "schedulerConfig.disposableType", "value" : "NONE" } ], "name" : "schedulerConfig" }, { "inputs" : [ ], "name" : "transformConfig" }, { "inputs" : [ { "name" : "retryJobConfig.retryJobType", "value" : "NONE" } ], "name" : "retryJobConfig" } ] }, "from-config-values" : { "configs" : [ { "inputs" : [ { "name" : "fromJobConfig.index", "value" : "52est" }, { "name" : "fromJobConfig.type", "value" : "est_array" }, { "name" : "fromJobConfig.columnList", "value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested" }, { "name" : "fromJobConfig.splitNestedField", "value" : "false" } ], "name" : "fromJobConfig" } ] }, "to-connector-name" : "dis-connector", "name" : "es_css", "from-link-name" : "css" } ] }
  • 响应示例 状态码: 200 ok { "name" : "mysql2hive" } 状态码: 400 请求报错 { "code" : "Cdm.0104", "errCode" : "Cdm.0104", "message" : "Job name already exist or created by other.", "ternalMessage" : "Job name already exist or created by other." }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表,请参见jobs数据结构说明。 表4 Job 参数 是否必选 参数类型 描述 job_type 否 String 作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 枚举值: NORMAL_JOB BATCH_JOB SCENARIO_JOB from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/ 云搜索 服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 to-config-values 是 ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values 是 ConfigValues object 作业任务参数配置。例如配置作业失败重试、抽取并发数,具体可参考作业任务参数说明。 from-config-values 是 ConfigValues object 源连接参数配置。根据不同源端有不同的参数配置,具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 否 String 目的端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 name 否 String 作业名称,长度在1到240个字符之间 最小长度:1 最大长度:240 from-link-name 否 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。 is_incre_job 否 Boolean 是否是增量作业。已废弃 flag 否 Integer 是否是定时作业标记,如果是定时作业则为1,否则为0。由系统根据定时任务配置生成,用户无需填写。 files_read 否 Integer 已读文件数。由系统生成,用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成,用户无需填写。 external_id 否 String 具体执行的作业id,如果是本地作业,则一般为"job_local1202051771_0002"形式,如果是DLI作业,则为DLI作业ID,比如"12345"。由系统生成,用户无需填写。 type 否 String 与job_type一致,作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 execute_start_date 否 Long 最近一次执行任务开始时间,单位:毫秒。由系统生成,用户无需填写。 delete_rows 否 Integer 增量作业删除行数,已废弃。 enabled 否 Boolean 是否激活连接。由系统生成,用户无需填写。 bytes_written 否 Long 作业写入的字节。由系统生成,用户无需填写。 id 否 Integer 作业ID。由系统生成,用户无需填写。 is_use_sql 否 Boolean 用户是否使用sql。由系统根据源端抽取是否使用sql语句生成,用户无需填写 update_rows 否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。 write_rows 否 Integer 增量作业写入行数,已废弃。 rows_written 否 Integer 作业写入的行数。由系统生成,用户无需填写。 rows_read 否 Long 作业读取的行数。由系统生成,用户无需填写。 files_written 否 Integer 写入文件数。由系统生成,用户无需填写。 is_incrementing 否 Boolean 是否是增量作业,同is_incre_job,已废弃。 execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues 参数 是否必选 参数类型 描述 configs 是 Array of configs objects 源连接参数、目的连接参数和作业任务参数,它们的配置数据结构相同,其中“inputs”里的参数不一样,详细请参见configs数据结构说明 extended-configs 否 extended-configs object 扩展配置,请参见extended-configs参数说明。扩展配置暂不对外开放,用户无需填写。 表6 configs 参数 是否必选 参数类型 描述 inputs 是 Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中,“inputs”具体参数请参见作业任务参数说明。 name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 String 参数值,参数名对应的值,必须填写为字符串 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否 String 扩展配置名称,暂不对外开放,用户无需填写。 value 否 String 扩展配置值,暂不对外开放,用户无需填写。
  • 响应示例 状态码: 200 OK { "links" : [ { "link-config-values" : { "configs" : [ { "inputs" : [ { "name" : "linkConfig.server", "type" : "STRING", "value" : "100.94.8.163" }, { "name" : "linkConfig.port", "type" : "INTEGER", "value" : 22 }, { "name" : "linkConfig.username", "type" : "STRING", "value" : "root" }, { "name" : "linkConfig.password", "type" : "STRING", "value" : "Add password here" } ], "name" : "linkConfig" } ] }, "creation-user" : "cdm", "name" : "sftp_link", "creation-date" : 1516674482640, "connector-name" : "sftp-connector", "update-date" : 1516674476022, "enabled" : true, "update-user" : "cdm" } ] }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 links Array of links objects 连接列表,请参见links数据结构说明 fromTo-unMapping String 表/文件迁移不支持哪些数据源迁移到哪些数据源 batchFromTo-mapping String 整库迁移支持哪些数据源迁移到哪些数据源 表4 links 参数 参数类型 描述 link-config-values link-config-values object 连接参数配置,请参见link-config-values参数说明 creation-user String 创建连接的用户 name String 连接名称 id Integer 连接ID creation-date Long 创建连接的时间 connector-name String 连接器名称,对应的连接参数如下:generic-jdbc-connector:关系数据库连接。obs-connector:OBS连接。hdfs-connector:HDFS连接。hbase-connector:HBase连接、CloudTable连接。hive-connector:Hive连接。ftp-connector/sftp-connector:FTP/SFTP连接。mongodb-connector:MongoDB连接。redis-connector:Redis/DCS连接。kafka-connector:Kafka连接。dis-connector:DIS连接。elasticsearch-connector:Elasticsearch/云搜索服务连接。dli-connector:DLI连接。 -http-connector:HTTP/HTTPS连接,该连接暂无连接参数。dms-kafka-connector:DMSKafka连接 update-date Long 更新连接的时间 enabled Boolean 是否激活连接,默认为“true” update-user String 更新连接的用户 表5 link-config-values 参数 参数类型 描述 configs Array of configs objects 连接配置参数数据结构,请参见configs参数说明。 extended-configs extended-configs object 扩展配置,请参见extended-configs参数说明。 validators Array of strings 校验器 表6 configs 参数 参数类型 描述 inputs Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中,“inputs”具体参数请参见作业任务参数说明。 name String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id Integer 配置ID,由系统生成,用户无需填写。 type String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 参数类型 描述 name String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value String 参数值,参数名对应的值,必须填写为字符串 type String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 参数类型 描述 name String 名称 value String 值
  • 请求示例 修改一个源端为Elasticsearch数据连接,目的端为DIS数据连接,作业名为es_css的表数据迁移作业。 PUT /v1.1/1551c7f6c808414d8e9f3c514a170f2e/cluster/6ec9a0a4-76be-4262-8697-e7af1fac7920/cdm/job/es_css { "jobs" : [ { "job_type" : "NORMAL_JOB", "from-connector-name" : "elasticsearch-connector", "to-config-values" : { "configs" : [ { "inputs" : [ { "name" : "toJobConfig.streamName", "value" : "dis-lkGm" }, { "name" : "toJobConfig.separator", "value" : "|" }, { "name" : "toJobConfig.columnList", "value" : "1&2&3" } ], "name" : "toJobConfig" } ] }, "to-link-name" : "dis", "driver-config-values" : { "configs" : [ { "inputs" : [ { "name" : "throttlingConfig.numExtractors", "value" : "1" }, { "name" : "throttlingConfig.submitToCluster", "value" : "false" }, { "name" : "throttlingConfig.numLoaders", "value" : "1" }, { "name" : "throttlingConfig.recordDirtyData", "value" : "false" } ], "name" : "throttlingConfig" }, { "inputs" : [ ], "name" : "jarConfig" }, { "inputs" : [ { "name" : "schedulerConfig.isSchedulerJob", "value" : "false" }, { "name" : "schedulerConfig.disposableType", "value" : "NONE" } ], "name" : "schedulerConfig" }, { "inputs" : [ ], "name" : "transformConfig" }, { "inputs" : [ { "name" : "retryJobConfig.retryJobType", "value" : "NONE" } ], "name" : "retryJobConfig" } ] }, "from-config-values" : { "configs" : [ { "inputs" : [ { "name" : "fromJobConfig.index", "value" : "52est" }, { "name" : "fromJobConfig.type", "value" : "est_array" }, { "name" : "fromJobConfig.columnList", "value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested" }, { "name" : "fromJobConfig.splitNestedField", "value" : "false" } ], "name" : "fromJobConfig" } ] }, "to-connector-name" : "dis-connector", "name" : "es_css", "from-link-name" : "css" } ] }
  • 响应示例 状态码: 200 ok { "validation-result" : [ { }, { }, { } ] } 状态码: 400 报错错误码 { "code" : "Cdm.0095", "errCode" : "Cdm.00095", "message" : "A job with the name obs-obs does not exist.", "externalMessage" : "A job with the name obs-obs does not exist." }
  • 响应参数 状态码: 200 表9 响应Body参数 参数 参数类型 描述 validation-result Array of JobValidationResult objects 校验结果:如果修改失败,返回失败原因。如果修改成功,返回空列表 表10 JobValidationResult 参数 参数类型 描述 message String 错误描述 status String ERROR,WARNING 枚举值: ERROR WARNING 状态码: 400 表11 响应Body参数 参数 参数类型 描述 code String 返回编码 errCode String 错误码 message String 报错信息 externalMessage String 附加信息
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表,请参见jobs数据结构说明。 表4 Job 参数 是否必选 参数类型 描述 job_type 否 String 作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 枚举值: NORMAL_JOB BATCH_JOB SCENARIO_JOB from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 to-config-values 是 ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values 是 ConfigValues object 作业任务参数配置。例如配置作业失败重试、抽取并发数,具体可参考作业任务参数说明。 from-config-values 是 ConfigValues object 源连接参数配置。根据不同源端有不同的参数配置,具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 否 String 目的端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 name 否 String 作业名称,长度在1到240个字符之间 最小长度:1 最大长度:240 from-link-name 否 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。 is_incre_job 否 Boolean 是否是增量作业。已废弃 flag 否 Integer 是否是定时作业标记,如果是定时作业则为1,否则为0。由系统根据定时任务配置生成,用户无需填写。 files_read 否 Integer 已读文件数。由系统生成,用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成,用户无需填写。 external_id 否 String 具体执行的作业id,如果是本地作业,则一般为"job_local1202051771_0002"形式,如果是DLI作业,则为DLI作业ID,比如"12345"。由系统生成,用户无需填写。 type 否 String 与job_type一致,作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 execute_start_date 否 Long 最近一次执行任务开始时间,单位:毫秒。由系统生成,用户无需填写。 delete_rows 否 Integer 增量作业删除行数,已废弃。 enabled 否 Boolean 是否激活连接。由系统生成,用户无需填写。 bytes_written 否 Long 作业写入的字节。由系统生成,用户无需填写。 id 否 Integer 作业ID。由系统生成,用户无需填写。 is_use_sql 否 Boolean 用户是否使用sql。由系统根据源端抽取是否使用sql语句生成,用户无需填写 update_rows 否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。 write_rows 否 Integer 增量作业写入行数,已废弃。 rows_written 否 Integer 作业写入的行数。由系统生成,用户无需填写。 rows_read 否 Long 作业读取的行数。由系统生成,用户无需填写。 files_written 否 Integer 写入文件数。由系统生成,用户无需填写。 is_incrementing 否 Boolean 是否是增量作业,同is_incre_job,已废弃。 execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues 参数 是否必选 参数类型 描述 configs 是 Array of configs objects 源连接参数、目的连接参数和作业任务参数,它们的配置数据结构相同,其中“inputs”里的参数不一样,详细请参见configs数据结构说明 extended-configs 否 extended-configs object 扩展配置,请参见extended-configs参数说明。扩展配置暂不对外开放,用户无需填写。 表6 configs 参数 是否必选 参数类型 描述 inputs 是 Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中,“inputs”具体参数请参见作业任务参数说明。 name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 String 参数值,参数名对应的值,必须填写为字符串 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否 String 扩展配置名称,暂不对外开放,用户无需填写。 value 否 String 扩展配置值,暂不对外开放,用户无需填写。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 submissions Array of Submission objects 作业运行信息,详见submissions参数说明。 表4 Submission 参数 参数类型 描述 isIncrementing Boolean 作业是否为增量迁移 job-name String 作业名称 counters counters object 作业运行结果统计,当“status”为“SUCCEEDED”时才有此字段,请参见counters数据结构参数说明 isStopingIncrement String 是否停止增量迁移 is-execute-auto Boolean 是否定时执行作业 last-update-date Long 作业最后更新时间 last-udpate-user String 最后更新作业状态的用户 isDeleteJob Boolean 作业执行完成后是否删除 creation-user String 创建用户 creation-date Long 创建时间 external-id String 作业ID progress Float 作业进度,失败时为“-1”,其它情况为0~100 submission-id Integer 作业提交id delete_rows Integer 删除数据行数 update_rows Integer 更新数据行数 write_rows Integer 写入数据行数 execute-date Long 执行时间 status String 作业状态: BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 error-details String 错误详情,当“status”为“FAILED”时才有此字段。 error-summary String 错误总结,当“status”为“FAILED”时才有此字段。 表5 counters 参数 参数类型 描述 org.apache.sqoop.submission.counter.SqoopCounters counter object 作业运行结果统计,请参见统计结果参数说明 表6 counter 参数 参数类型 描述 BYTES_WRITTEN Long 写入的字节数 TOTAL_FILES Integer 总文件数 ROWS_READ Long 读取的行数 BYTES_READ Long 读取的字节数 ROWS_WRITTEN Long 写入的行数 FILES_WRITTEN Integer 写入的文件数 FILES_READ Integer 读取的文件数 TOTAL_SIZE Long 总字节数 FILES_SKIPPED Integer 跳过的文件数 ROWS_WRITTEN_SKIPPED Long 跳过的行数
  • 请求示例 创建一个1.8.10版本,集群名为cdm-ab82的 CDM 集群。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters { "cluster" : { "scheduleBootTime" : "", "isScheduleBootOff" : false, "instances" : [ { "availability_zone" : "cn-north-1b", "nics" : [ { "securityGroupId" : "c37852d2-2d12-41cb-af47-65c80e995c80", "net-id" : "2d120298-6130-44d4-a438-454912fff901" } ], "flavorRef" : "5ddb1071-c5d7-40e0-a874-8a032e81a697", "type" : "cdm" } ], "datastore" : { "type" : "cdm", "version" : "1.8.10" }, "scheduleOffTime" : "", "vpcId" : "67c06084-2212-4242-bcd4-d2144c2385a9", "name" : "cdm-ab82", "sys_tags" : [ { "value" : "1ce45885-4033-40d2-bdde-d4dbaceb387d", "key" : "_sys_enterprise_project_id" } ], "isAutoOff" : false }, "auto_remind" : false, "phone_num" : "", "email" : "" }
  • 响应示例 状态码: 202 Accepted { "id" : "befc862c-9286-46a0-a1d6-300d98b63aad", "name" : "cdm-4ef213", "task" : { "id" : "2c9080047f1b1185017f1ef6ad0500ac", "name" : "rdsCreateBackupJob" }, "datastore" : { "type" : "cdm", "version" : "2.9.1.100" }, "instances" : [ { "id" : "b2672e7d-2faf-423f-96bb-0664cd743cfd", "name" : "cdm-4ef213-cdm-dn-1-1", "type" : "cdm", "shard_id" : "dn-1" } ] }
  • 响应参数 状态码: 202 表10 响应Body参数 参数 参数类型 描述 name String 集群名称 id String 集群ID task Task object 任务信息 datastore Datastore object 集群信息 instances Array of ClusterInstance objects 集群的节点信息 表11 Task 参数 参数类型 描述 id String 任务id name String 任务名称 表12 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。 表13 ClusterInstance 参数 参数类型 描述 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 type String 节点类型,只支持一种类型“cdm”。 shard_id String 分片ID
  • 响应示例 状态码: 200 ok { "publicEndpoint" : "49.xx.xx.10", "instances" : [ { "flavor" : { "id" : "fb8fe666-6734-4b11-bc6c-43d11db3c745" }, "volume" : { "size" : "100", "type" : "LOCAL_DISK" }, "name" : "cdm-c018", "id" : "635dce67-3df8-4756-b4c7-90e45e687367", "isFrozen" : "0", "type" : "cdm", "actions" : "REBOOTING", "config_status" : "In-Sync", "status" : "200" } ], "created" : "2018-09-05T08:38:25", "statusDetail" : "Normal", "actionProgress" : { }, "name" : "cdm-c018", "id" : "bae65496-643e-47ca-84af-948672de7eeb", "isFrozen" : "0", "actions" : "REBOOTING", "updated" : "2018-09-05T08:38:25", "status" : "200" }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 publicEndpoint String 集群绑定的EIP instances Array of ClusterDetailInstance objects 集群的节点信息,请参见instances参数说明 security_group_id String 安全组id subnet_id String 子网id vpc_id String 虚拟私有云ID customerConfig CustomerConfig object 用户配置信息 datastore Datastore object cdm信息 isAutoOff Boolean 自动关机 publicEndpointDomainName String 集群绑定的EIP域名 bakExpectedStartTime String 开始时间 bakKeepDay Integer 保留时间 maintainWindow maintainWindow object 维护窗口 recentEvent Integer 事件数 flavorName String 规格名称 azName String az名称 endpointDomainName String 对端域名 publicEndpointStatus publicEndpointStatus object EIP状态信息 isScheduleBootOff Boolean 选择是否启用定时开关机功能。定时开关机功能和自动关机功能不可同时开启 namespace String 命名空间 eipId String 弹性ip id failedReasons FailedReasons object 失败原因。集群处于正常状态时不返回。 dbuser String 数据库用户 links Array of ClusterLinks objects 集群连接信息 clusterMode String 集群模式:sharding(分片集群) task ClusterTask object 任务信息 created String 集群创建时间,格式为ISO8601:YYYY-MM-DDThh:mm:ssZ statusDetail String 集群状态描述:Normal(正常) config_status String 集群配置状态: In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败 actionProgress ActionProgress object 集群操作进度,任务信息,由key、value组成。key值为正在进行的任务,value值为正在进行任务的进度。示例如 "action_progress":{"SNAPSHOTTING":"16%"} name String 集群名称 id String 集群ID isFrozen String 集群是否冻结:0:否1:是 actions Array of strings 集群配置状态:In-Sync:配置已同步。Applying:配置中。Sync-Failure:配置失败 updated String 集群更新时间,格式为 ISO8601:YYYY-MM-DDThh:mm:ssZ status String 集群状态: 100:创建中 200:正常 300:失败 303:创建失败 800:冻结 900:已关机 910:正在关机 920:正在开机 表4 ClusterDetailInstance 参数 参数类型 描述 flavor flavor object 节点的虚拟机规格,请参见flavor参数说明(查询集群列表时返回值为null)。 volume volume object 节点的磁盘信息,请参见volume参数说明(查询集群列表时返回值为null)。 status String 节点状态: 100:创建中。 200:正常。 300:失败。 303:创建失败。 400:已删除。 800:冻结。 actions Array of strings 节点操作状态列表: REBOOTING:重启中。 RESTORING:恢复中。 REBOOT_FAILURE:重启失败。 type String 节点类型,只支持一种类型“cdm”。 id String 节点的虚拟机ID。 name String 节点的虚拟机名称。 isFrozen String 节点是否冻结:0:否。1:是。 components String 组件 config_status String 节点配置状态(查询集群列表时为null): In-Sync:配置已同步。 Applying:配置中。 Sync-Failure:配置失败。 role String 实例角色 group String 分组 links Array of ClusterLinks objects 链接信息(查询集群列表时返回值为null) paramsGroupId String 组件分组id publicIp String 公网ip manageIp String 管理ip trafficIp String 流量ip shard_id String 分片id manage_fix_ip String 管理修复ip private_ip String 私有ip internal_ip String 内部ip resource Array of Resource objects 资源信息(查询集群列表时返回值为null) 表5 flavor 参数 参数类型 描述 id String 节点虚拟机的规格ID。 links Array of ClusterLinks objects 链接信息 表6 volume 参数 参数类型 描述 type String 节点的磁盘类型,只支持本地磁盘 size Long 节点磁盘大小,单位G。 表7 Resource 参数 参数类型 描述 resource_id String 资源id resource_type String 资源类型:server(服务器) 表8 CustomerConfig 参数 参数类型 描述 failureRemind String 失败提醒。 clusterName String 集群类型。 serviceProvider String 服务提供 localDisk String 是否本地磁盘。 ssl String 是否使用ssl。 createFrom String 创建来源 resourceId String 资源ID flavorType String 规格类型 workSpaceId String 工作空间ID trial String 适用 表9 Datastore 参数 参数类型 描述 type String 类型,一般为cdm。 version String 集群版本。 表10 maintainWindow 参数 参数类型 描述 day String 周几 startTime String 开始时间。 endTime String 结束时间。 表11 publicEndpointStatus 参数 参数类型 描述 status String 状态 errorMessage String 错误信息 表12 FailedReasons 参数 参数类型 描述 CREATE_FAILED CREATE_FAILED object 集群创建失败原因。 表13 CREATE_FAILED 参数 参数类型 描述 errorCode String 错误码 errorMsg String 失败原因 表14 ClusterLinks 参数 参数类型 描述 rel String 关系 href String 链接地址 表15 ClusterTask 参数 参数类型 描述 description String 任务描述 id String 任务id name String 任务名称 表16 ActionProgress 参数 参数类型 描述 CREATING String 创建集群进度,例如:29% GROWING String 扩容集群进度,例如:29% RESTORING String 恢复集群进度,例如:29% SNAPSHOTTING String 集群快照进度,例如:29% REPAIRING String 修复集群进度,例如:29%
  • 响应示例 状态码: 200 ok { "submissions" : [ { "isIncrementing" : false, "job-name" : "obs2obs-03", "submission-id" : 13, "isStopingIncrement" : "", "last-update-date" : 1635909057030, "is-execute-auto" : false, "delete_rows" : 0, "write_rows" : 0, "isDeleteJob" : false, "creation-user" : "mwx5316849", "progress" : 0, "creation-date" : 1635909057030, "update_rows" : 0, "status" : "PENDING", "execute-date" : 1635909057030 } ] }
  • 请求示例 在CDM集群ID列表中随机选择一个集群,创建一个源端为elasticsearch,目的端为DIS,作业名为es_css的表迁移作业。 POST /v1.1/1551c7f6c808414d8e9f3c514a170f2e/clusters/job { "jobs" : [ { "job_type" : "NORMAL_JOB", "from-connector-name" : "elasticsearch-connector", "to-config-values" : { "configs" : [ { "inputs" : [ { "name" : "toJobConfig.streamName", "value" : "dis-lkGm" }, { "name" : "toJobConfig.separator", "value" : "|" }, { "name" : "toJobConfig.columnList", "value" : "1&2&3" } ], "name" : "toJobConfig" } ] }, "to-link-name" : "dis", "driver-config-values" : { "configs" : [ { "inputs" : [ { "name" : "throttlingConfig.numExtractors", "value" : "1" }, { "name" : "throttlingConfig.submitToCluster", "value" : "false" }, { "name" : "throttlingConfig.numLoaders", "value" : "1" }, { "name" : "throttlingConfig.recordDirtyData", "value" : "false" } ], "name" : "throttlingConfig" }, { "inputs" : [ ], "name" : "jarConfig" }, { "inputs" : [ { "name" : "schedulerConfig.isSchedulerJob", "value" : "false" }, { "name" : "schedulerConfig.disposableType", "value" : "NONE" } ], "name" : "schedulerConfig" }, { "inputs" : [ ], "name" : "transformConfig" }, { "inputs" : [ { "name" : "retryJobConfig.retryJobType", "value" : "NONE" } ], "name" : "retryJobConfig" } ] }, "from-config-values" : { "configs" : [ { "inputs" : [ { "name" : "fromJobConfig.index", "value" : "52est" }, { "name" : "fromJobConfig.type", "value" : "est_array" }, { "name" : "fromJobConfig.columnList", "value" : "array_f1_int:long&array_f2_text:string&array_f3_object:nested" }, { "name" : "fromJobConfig.splitNestedField", "value" : "false" } ], "name" : "fromJobConfig" } ] }, "to-connector-name" : "dis-connector", "name" : "es_css", "from-link-name" : "css" } ], "clusters" : [ "b0791496-e111-4e75-b7ca-9277aeab9297", "c2db1191-eb6c-464a-a0d3-b434e6c6df26", "c2db1191-eb6c-464a-a0d3-b434e6c6df26" ] }
  • 响应参数 状态码: 200 表9 响应Body参数 参数 参数类型 描述 submissions Array of StartJobSubmission objects 作业运行信息,请参见submission参数说明 表10 StartJobSubmission 参数 参数类型 描述 isIncrementing Boolean 作业是否为增量迁移 delete_rows Integer 删除数据行数 update_rows Integer 更新数据行数 write_rows Integer 写入数据行数 submission-id Integer 作业提交id job-name String 作业名称 creation-user String 创建用户 creation-date Long 创建时间,单位:毫秒。 execute-date Long 执行时间 progress Float 作业进度,失败时为“-1”,其它情况为0~100 status String 作业状态: BOOTING:启动中。 FAILURE_ON_SUBMIT:提交失败。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 UNKNOWN:未知。 NEVER_EXECUTED:未被执行 isStopingIncrement String 是否停止增量迁移 is-execute-auto Boolean 是否定时执行作业 last-update-date Long 作业最后更新时间 last-udpate-user String 最后更新作业状态的用户 isDeleteJob Boolean 作业执行完成后是否删除
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 X-Language 是 String 请求语言。 表3 请求Body参数 参数 是否必选 参数类型 描述 jobs 是 Array of Job objects 作业列表,请参见jobs数据结构说明。 clusters 是 Array of strings CDM集群ID列表,系统会从里面随机选择一个开机状态的集群,在该集群中创建作业并执行作业。 表4 Job 参数 是否必选 参数类型 描述 job_type 否 String 作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 枚举值: NORMAL_JOB BATCH_JOB SCENARIO_JOB from-connector-name 是 String 源端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 to-config-values 是 ConfigValues object 目的连接参数配置。根据不同目的端有不同的参数配置,具体可参考目的端作业参数说明下相应的目的端参数配置。 to-link-name 是 String 目的端连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 driver-config-values 是 ConfigValues object 作业任务参数配置。例如配置作业失败重试、抽取并发数,具体可参考作业任务参数说明。 from-config-values 是 ConfigValues object 源连接参数配置。根据不同源端有不同的参数配置,具体可参考源端作业参数说明下相应的源端参数配置。 to-connector-name 否 String 目的端连接类型,对应的连接参数如下: generic-jdbc-connector:关系数据库连接。 obs-connector:OBS连接。 hdfs-connector:HDFS连接。 hbase-connector:HBase连接、CloudTable连接。 hive-connector:Hive连接。 ftp-connector/sftp-connector:FTP/SFTP连接。 mongodb-connector:MongoDB连接。 redis-connector:Redis/DCS连接。 kafka-connector:Kafka连接。 dis-connector:DIS连接。 elasticsearch-connector:Elasticsearch/云搜索服务连接。 dli-connector:DLI连接。 http-connector:HTTP/HTTPS连接,该连接暂无连接参数。 dms-kafka-connector:DMSKafka连接 name 否 String 作业名称,长度在1到240个字符之间 最小长度:1 最大长度:240 from-link-name 否 String 源连接名称,即为通过“创建连接”接口创建的连接对应的连接名。 creation-user 否 String 创建作业的用户。由系统生成,用户无需填写。 creation-date 否 Long 作业创建的时间,单位:毫秒。由系统生成,用户无需填写。 update-date 否 Long 作业最后更新的时间,单位:毫秒。由系统生成,用户无需填写。 is_incre_job 否 Boolean 是否是增量作业。已废弃 flag 否 Integer 是否是定时作业标记,如果是定时作业则为1,否则为0。由系统根据定时任务配置生成,用户无需填写。 files_read 否 Integer 已读文件数。由系统生成,用户无需填写。 update-user 否 String 最后更新作业的用户。由系统生成,用户无需填写。 external_id 否 String 具体执行的作业id,如果是本地作业,则一般为"job_local1202051771_0002"形式,如果是DLI作业,则为DLI作业ID,比如"12345"。由系统生成,用户无需填写。 type 否 String 与job_type一致,作业类型: NORMAL_JOB:表/文件迁移。 BATCH_JOB:整库迁移。 SCENARIO_JOB:场景迁移。 execute_start_date 否 Long 最近一次执行任务开始时间,单位:毫秒。由系统生成,用户无需填写。 delete_rows 否 Integer 增量作业删除行数,已废弃。 enabled 否 Boolean 是否激活连接。由系统生成,用户无需填写。 bytes_written 否 Long 作业写入的字节。由系统生成,用户无需填写。 id 否 Integer 作业ID。由系统生成,用户无需填写。 is_use_sql 否 Boolean 用户是否使用sql。由系统根据源端抽取是否使用sql语句生成,用户无需填写 update_rows 否 Integer 增量作业更新行数,已废弃。 group_name 否 String 组名 bytes_read 否 Long 作业读取的字节。由系统生成,用户无需填写。 execute_update_date 否 Long 最近一次执行任务更新时间,单位:毫秒。由系统生成,用户无需填写。 write_rows 否 Integer 增量作业写入行数,已废弃。 rows_written 否 Integer 作业写入的行数。由系统生成,用户无需填写。 rows_read 否 Long 作业读取的行数。由系统生成,用户无需填写。 files_written 否 Integer 写入文件数。由系统生成,用户无需填写。 is_incrementing 否 Boolean 是否是增量作业,同is_incre_job,已废弃。 execute_create_date 否 Long 最近一次执行任务创建时间,单位:毫秒。由系统生成,用户无需填写。 status 否 String 作业最后的执行状态: BOOTING:启动中。 RUNNING:运行中。 SUCCEEDED:成功。 FAILED:失败。 NEW:未被执行。 表5 ConfigValues 参数 是否必选 参数类型 描述 configs 是 Array of configs objects 源连接参数、目的连接参数和作业任务参数,它们的配置数据结构相同,其中“inputs”里的参数不一样,详细请参见configs数据结构说明 extended-configs 否 extended-configs object 扩展配置,请参见extended-configs参数说明。扩展配置暂不对外开放,用户无需填写。 表6 configs 参数 是否必选 参数类型 描述 inputs 是 Array of Input objects 输入参数列表,列表中的每个参数为“name,value”结构,请参考inputs数据结构参数说明。在“from-config-values”数据结构中,不同的源连接类型有不同的“inputs”参数列表,请参见源端作业参数说明下的章节。在“to-config-values”数据结构中,不同的目的连接类型有不同的“inputs”参数列表,请参见目的端作业参数说明下面的子章节。在“driver-config-values”数据结构中,“inputs”具体参数请参见作业任务参数说明。 name 是 String 配置名称:源端作业的配置名称为“fromJobConfig”。目的端作业的配置名称为“toJobConfig”,连接的配置名称固定为“linkConfig”。 id 否 Integer 配置ID,由系统生成,用户无需填写。 type 否 String 配置类型,由系统生成,用户无需填写。值为LINK或者JOB,如果是连接管理API,则为LINK;如果是作业管理API,则为JOB。 表7 Input 参数 是否必选 参数类型 描述 name 是 String 参数名: 如果是连接管理API,则以“linkConfig.”开头,对于不同连接类型有不同的参数,具体可参见连接参数说明下相应连接的参数说明。 如果是作业管理API,对于源端连接参数,则以“fromJobConfig.”开头,具体可参见源端作业参数说明下相应的源端参数说明;对于目的端连接参数,则以“toJobConfig.”开头,具体可参见目的端作业参数说明下相应的目的端参数说明;对于作业任务参数,请参见作业任务参数说明下相应的任务参数说明。 value 是 String 参数值,参数名对应的值,必须填写为字符串 type 否 String 值类型,如STRING、INTEGER,由系统设定,用户无需填写。 表8 extended-configs 参数 是否必选 参数类型 描述 name 否 String 扩展配置名称,暂不对外开放,用户无需填写。 value 否 String 扩展配置值,暂不对外开放,用户无需填写。
共100000条