华为云用户手册

  • URI URI格式 GET /v1.0/{project_id}/variables 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 limit 否 Integer 每页显示的返回信息的个数,默认值为“100”。 offset 否 Integer 偏移量,默认值为“0”。
  • 响应示例 { "is_success": true, "message": "string", "count": 0, "global_vars": [ { "id": 0, "var_name": "string", "var_value": "string", "project_id": "string", "user_id": "string" } ]}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 count 否 Integer 全局变量数量。 global_vars 否 Array of Objects 全局变量信息。请参见表4。 表4 global_vars参数说明 参数名称 是否必选 参数类型 说明 id 否 Long 全局变量ID。 var_name 是 String 全局变量名称。 var_value 是 String 全局变量值。 project_id 否 String 项目ID。 user_id 否 String 用户ID。 user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 data 是 Object 系统事件数据。具体参数内容详见表3说明。 表3 data参数说明 参数名称 是否必选 参数类型 说明 event_type 是 String 事件类型。 operation 是 String 事件的操作类型。 timestamp 是 Integer 事件产生的时间戳。 topic 是 String 消息发送的Topic。 name 是 String 资源名称。 attributes 否 String 资源的属性。
  • 请求示例 上报IEF系统事件,事件类型deployment、事件操作类型updated。 { "data": { "event_type": "deployment", "operation": "updated", "timestamp": 1591879887, "topic": "$hw/events/deployment/+/updated", "name": "edge-cs", "attributes": {} }}
  • 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为elastic_pool_dli的弹性资源池。 示例URL:POST https://{endpoint}/v3/48cc2c48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" : "1", "max_cu" : 64, "min_cu" : 64} 响应示例 { "is_success": true, "message": ""} 在弹性资源池中添加队列queue1 接口相关信息 URI格式:POST /v1.0/{project_id}/queues {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建队列。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为queue1的弹性资源池。 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/queues {endpoint}信息请从地区和终端节点获取。 Body: { "queue_name": "queue1", "queue_type": "sql", "description": "test", "cu_count": 16, "enterprise_project_id": "elastic_pool_dli"} 响应示例 { "is_success": true, "message": ""} 上传分组资源。 接口相关信息 URI格式:POST /v2.0/{project_id}/resources {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见上传分组资源(废弃)。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下上传gatk分组中的资源。 示例URL:POST https://{endpoint}/v2.0/48cc2c48765f481480c7db940d6409d1/resources {endpoint}信息请从地区和终端节点获取。 Body: { "paths": [ "https://test.obs.xxx.com/txr_test/jars/spark-sdv-app.jar" ], "kind": "jar", "group": "gatk", "is_async":"true"} 响应示例 { "group_name": "gatk", "status": "READY", "resources": [ "spark-sdv-app.jar", "wordcount", "wordcount.py" ], "details": [ { "create_time": 0, "update_time": 0, "resource_type": "jar", "resource_name": "spark-sdv-app.jar", "status": "READY", "underlying_name": "987e208d-d46e-4475-a8c0-a62f0275750b_spark-sdv-app.jar" }, { "create_time": 0, "update_time": 0, "resource_type": "jar", "resource_name": "wordcount", "status": "READY", "underlying_name": "987e208d-d46e-4475-a8c0-a62f0275750b_wordcount" }, { "create_time": 0, "update_time": 0, "resource_type": "jar", "resource_name": "wordcount.py", "status": "READY", "underlying_name": "987e208d-d46e-4475-a8c0-a62f0275750b_wordcount.py" } ], "create_time": 1551334579654, "update_time": 1551345369070} 查看组内资源包。 接口相关信息 URI格式:GET /v2.0/{project_id}/resources/{resource_name} {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见创建表(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下gatk组中的名为luxor-router-1.1.1.jar的资源包。 示例URL:GET https://{endpoint}/v2.0/48cc2c48765f481480c7db940d6409d1/resources/luxor-router-1.1.1.jar?group=gatk {endpoint}信息请从地区和终端节点获取。 Body: {} 响应示例 { "create_time": 1522055409139, "update_time": 1522228350501, "resource_type": "jar", "resource_name": "luxor-router-1.1.1.jar", "status": "uploading", "underlying_name": "7885d26e-c532-40f3-a755-c82c442f19b8_luxor-router-1.1.1.jar", "owner": "****"} 创建并提交Spark批处理作业。 接口相关信息 URI格式:POST /v2.0/{project_id}/batches {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建批处理作业。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1项目下,在队列queue1中创建名称为TestDemo4的批处理作业。 示例URL:POST https://{endpoint}/v2.0/48cc2c48765f481480c7db940d6409d1/batches {endpoint}信息请从地区和终端节点获取。 Body: { "sc_type": "A", "jars": [ "spark-examples_2.11-2.1.0.luxor.jar" ], "driverMemory": "1G", "driverCores": 1, "executorMemory": "1G", "executorCores": 1, "numExecutors": 1, "queue": "queuel", "file":"spark-examples_2.11-2.1.0.luxor.jar", "className":"org.apache.spark.examples.SparkPi", "minRecoveryDelayTime": 10000, "maxRetryTimes": 20} 响应示例 { "id": "07a3e4e6-9a28-4e92-8d3f-9c538621a166", "appId": "", "name": "", "owner": "test1", "proxyUser": "", "state": "starting", "kind": "", "log": [], "sc_type": "CUSTOMIZED", "cluster_name": "aaa", "queue": "queue1", "image": "", "create_time": 1607589874156, "update_time": 1607589874156} 查询批处理作业状态。 接口相关信息 URI格式:GET /v2.0/{project_id}/batches/{batch_id}/state {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见查询批处理作业状态。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1项目下的ID为0a324461-d9d9-45da-a52a-3b3c7a3d809e的批处理作业状态。 示例URL:GET https://{endpoint}/v2.0/48cc2c48765f481480c7db940d6409d1/batches/0a324461-d9d9-45da-a52a-3b3c7a3d809e/state {endpoint}信息请从地区和终端节点获取。 Body: {} 响应示例 { "id":"0a324461-d9d9-45da-a52a-3b3c7a3d809e", "state":"Success"} 查询批处理作业日志。 接口相关信息 URI格式:GET /v2.0/{project_id}/batches/{batch_id}/log {project_id}信息请从获取项目ID获取。 查询参数说明详情,请参见查询批处理作业日志(废弃)。 请求示例 描述:查询项目ID为48cc2c48765f481480c7db940d6409d1下的ID为0a324461-d9d9-45da-a52a-3b3c7a3d809e的批处理作业的后台日志。 示例URL:GET https://{endpoint}/v2.0/48cc2c48765f481480c7db940d6409d1/batches/0a324461-d9d9-45da-a52a-3b3c7a3d809e/log {endpoint}信息请从地区和终端节点获取。 Body: {} 响应示例 { "id": "0a324461-d9d9-45da-a52a-3b3c7a3d809e", "from": 0, "total": 3, "log": [ "具体的作业日志信息" ]}
  • 请求示例 修改弹性资源池关联队列的扩缩容策略。 { "queue_scaling_policies" : [ { "priority" : 100, "impact_start_time" : "10:00", "impact_stop_time" : "22:00", "min_cu":"64", "max_cu":"752" }, { "priority" : 50, "impact_start_time" : "22:00", "impact_stop_time" : "10:00", "min_cu":"64", "max_cu":"752" } ]}
  • 请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 queue_scaling_policies 是 Array of objects 该队列在该弹性资源池下的扩缩容策略信息。单条策略信息包含时间段、优先级和CU范围。每个队列至少要配置一条时间段为[00:00, 24:00]的默认扩缩容策略。详细参数说明请参考表3。 表3 queue_scaling_policies 参数 是否必选 参数类型 描述 impact_start_time 是 String 生效开始时间。 impact_stop_time 是 String 生效结束时间。 priority 是 Integer 优先级。 min_cu 是 Integer 最小CU数量。 max_cu 是 Integer 最大CU数量。
  • URI URI格式 PUT /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues/{queue_name} 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 绑定的队列名称。
  • URI URI格式 PUT /v1.0/{project_id}/variables/{var_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。
  • 响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 partitions 否 Object 分区信息。请参考表4。 表4 partitions参数说明 参数名称 是否必选 参数类型 说明 total_count 是 Long 总个数。 partition_infos 是 Array of Objects 分区信息列表。请参考表5。 表5 partition_infos参数说明 参数名称 是否必选 参数类型 说明 partition_name 是 String 分区名。 create_time 是 Long 创建时间。 last_access_time 是 Long 最后改动时间。 locations 否 Array of Strings 路径,非 DLI 表显示,DLI表不显示。 last_ddl_time 否 Long 最后一个ddl语句执行时间,(单位:秒(s))。 num_rows 否 Long 该分区数据总行数。 num_files 否 Long 分区文件数。 total_size 否 Long 该分区总的数据大小(单位:字节)。
  • 响应示例 { "is_success": true, "message": "list partitions succeed", "partitions": { "total_count": 5, "partition_infos": [ { "partition_name": "name=test", "create_time": 1579520179000, "last_access_time": 1579520179000, "locations": [ "obs://test/partition" ] }, { "partition_name": "name=test1", "create_time": 1579521406000, "last_access_time": 1579521406000, "locations": [ "obs://test/partition" ] }, { "partition_name": "name=test2", "create_time": 1579521884000, "last_access_time": 1579521884000, "locations": [ "obs://test/partition" ] }, { "partition_name": "name=test3", "create_time": 1579522085000, "last_access_time": 1579522085000, "locations": [ "obs://test/partition" ] }, { "partition_name": "name=name1/age=age1", "create_time": 1581409182000, "last_access_time": 1581409182000, "locations": [ "obs://test/0117" ], "last_ddl_time": 1581409182, "total_size": 2130, "num_rows": -1, "num_files": 2 } ] }}
  • URI URI格式: GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}/partitions 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 数据库名称。 table_name 是 String 表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 limit 否 Integer 每页显示的返回信息的个数,默认值为100。 offset 否 Integer 偏移量。 filter 否 String 筛选条件,目前只支持“=”条件筛选,例如:name=name1,表示筛选出分区中name=name1的数据,name为分区列名称,name1为分区列的值。key和value不区分大小写。 例如:GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name}/partitions?part=part2
  • URI URI格式: GET /v1.0/{project_id}/queues/{queue_name}/connection-test/{task_id} 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 队列名称。 task_id 是 String 任务ID。该参数为创建指定地址连通性测试请求接口获取。
  • URI URI格式: DELETE /v1/{project_id}/queues/{queue_name}/plans/{plan_id} 参数说明 表1 URI参数 名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符,多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划(废弃)。
  • 操作步骤 创建弹性资源池elastic_pool_dli 接口相关信息 URI格式:POST /v3/{project_id}/elastic-resource-pools {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建弹性资源池。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为elastic_pool_dli的弹性资源池。 示例URL:POST https://{endpoint}/v3/48cc2c48765f481480c7db940d6409d1/elastic-resource-pools {endpoint}信息请从地区和终端节点获取。 Body: { "elastic_resource_pool_name" : "elastic_pool_dli", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" : "1", "max_cu" : 64, "min_cu" : 64} 响应示例 { "is_success": true, "message": ""} 在弹性资源池中添加队列queue1 接口相关信息 URI格式:POST /v1.0/{project_id}/queues {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见创建队列。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下创建一个名称为queue1的弹性资源池。 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/queues {endpoint}信息请从地区和终端节点获取。 Body: { "queue_name": "queue1", "queue_type": "sql", "description": "test", "cu_count": 16, "enterprise_project_id": "elastic_pool_dli"} 响应示例 { "is_success": true, "message": ""} 提交SQL作业:提交SQL作业,创建数据库db1、表tb1、在表中插入数据,并查询数据 接口相关信息 URI格式:POST /v1.0/{project_id}/jobs/submit-job {project_id}信息请从获取项目ID获取。 请求参数说明详情,请参见提交SQL作业(推荐)。 请求示例 描述:在项目ID为48cc2c48765f481480c7db940d6409d1的项目下,提交SQL作业,创建数据库db1、表tb1、在表中插入数据,并查询数据。 示例URL:POST https://{endpoint}/v1.0/48cc2c48765f481480c7db940d6409d1/jobs/submit-job {endpoint}信息请从地区和终端节点获取。 创建数据库db1 {"queue_name": "queue1","sql": "create DATABASE db1"} 创建表tb1 {"currentdb": "db1","queue_name": "queue1","sql": "create table\n my_table (id int, name string)"} 在表tb1中插入数据 {"currentdb": "db1","queue_name": "queue1","sql": "insert into tb1 (id, name) values (1, 'Ann'), (2, 'Jane')"} 查询表数据 {"currentdb": "db1","queue_name": "queue1","sql": "select * from tb1 limit 10",} 响应示例 { "is_success": true, "message": ""}
  • 响应参数 表3 响应参数说明 名称 参数类型 说明 is_success Boolean 是否成功。 message String 系统提示信息,执行成功时,信息可能为空。执行失败时,用于显示执行失败的原因。 sql_count Int SQL模板总数。 sqls Array of Object SQL模板信息,具体参数说明请参见表4。 表4 sqls参数说明 名称 参数类型 说明 sql_id String SQL模板ID。 sql_name String SQL模板名称。 sql String SQL模板文本。 description String SQL模板描述信息。 owner String SQL模板的创建者。 group String SQL模板分组名称。
  • 响应示例 { "is_success": true, "message": "", "sql_count": 1, "sqls": [ { "description": "use to select t1", "owner": "tenant1", "sql": "select * from t1", "sql_id": "1994b029-3f76-4281-9e35-e370cb4ee26d1501998934432", "sql_name": "sql1", "group": "" } ]}
  • 响应示例 { "is_success": true, "message": "导入作业成功", "job_mapping": [ { "old_job_id": "100", "new_job_id": "200", "remark": "Job successfully created" } ]}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_mapping 否 Array of Objects 导入作业的信息。具体请参考表4。 表4 job_mapping参数说明 参数名称 是否必选 参数类型 说明 old_job_id 否 Long 导入的作业ID。 new_job_id 否 Long 导入后的作业ID,如果“is_cover”为“false”,服务中有同名的作业,则该参数返回值为“-1”。 remark 否 String 导入作业的结果信息。
  • URI URI格式 DELETE /v1.0/{project_id}/variables/{var_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 var_name 是 String 全局变量名,名称只能包含数字、英文字母和下划线,但不能是纯数字,不能以下划线开头,且不能超过128字符。
  • 响应示例 { "is_success": "true", "message": "作业列表查询成功", "job_list": { "total_count": 26, "jobs": [ { "job_id": 146, "name": "aaaaa", "desc": "", "user_name": "", "job_type": "flink_sql_job", "status": "job_init", "status_desc": "", "create_time": 1578892414688, "duration": 0, "root_id": -1, "graph_editor_enabled": false, "has_savepoint": false } ] }}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息,执行成功时,信息可能为空。 job_list 否 Object 作业列表信息。请参见表4。 表4 job_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 作业查询结果条数。 jobs 否 Array of Objects 作业信息。请参见表5。 表5 Jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 否 Long 作业ID。 name 否 String 作业名称。长度限制:0-57个字符。 desc 否 String 作业描述。长度限制:0-512个字符。 user_name 否 String 用户名,当“show_detail”为“false”时独有。 job_type 否 String 作业类型。 flink_sql_job:flink sql作业 flink_opensource_sql_job:flink opensource sql作业 flink_sql_edge_job:flink sql边缘作业 flink_jar_job:flink自定义作业 status 否 String 作业状态。 status_desc 否 String 作业状态描述。 create_time 否 Long 作业创建时间。 start_time 否 Long 作业启动时间。“0”表示尚未启动。 duration 否 Long 作业运行时长。 单位ms,“show_detail”为“false”时独有。 root_id 否 Long 父作业ID。“show_detail”为“false”时独有。 graph_editor_enabled 否 Boolean 作业的流图是否可编辑。“true”表示作业的流图可以编辑,“false”表示作业的流图不可以编辑。 has_savepoint 否 Boolean 作业是否有保存点。“true”表示作业有保存点,“false”表示作业没有保存点。 user_id 否 String 作业所属用户标识。 “show_detail”为“true”时独有。 project_id 否 String 作业所属项目标识。 “show_detail”为“true”时独有。 sql_body 否 String Stream SQL语句。 “”“show_detail”为“false”时独有。 run_mode 否 String 作业运行模式。包括共享、独享模式和边缘节点。“show_detail”为“true”时独有。 shared_cluster:共享 exclusive_cluster:独享 edge_node:边缘节点 job_config 否 Object 作业配置。 “show_detail”为“false”时独有。具体参数说明请参见表6。 main_class 否 String jar包主类。“show_detail”为“false”时独有。 entrypoint_args 否 String jar包作业运行参数。多个参数之间用空格分隔。“show_detail”为“true”时独有。 execution_graph 否 String 作业执行计划。“show_detail”为“false”时独有。 update_time 否 Long 作业更新时间。“show_detail”为“false”时独有。 queue_name 否 String 队列名称。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。 restart_times 否 Integer 重启次数。 savepoint_path 否 String 手动产生的Checkpoint的保存路径。 表6 job_config参数说明 参数名称 是否必选 参数类型 说明 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 true:开启 false:关闭 默认为“false”。 checkpoint_mode 否 String 快照模式,。两种可选: exactly_once:数据只被消费一次。 at_least_once:数据至少被消费一次。 默认值为“exactly_once”。 checkpoint_interval 否 Integer 快照时间间隔。 单位为秒,默认值为“10”。 log_enabled 否 Boolean 是否启用日志存储。默认为“false”。 obs_bucket 否 String OBS桶名。 smn_topic 否 String SMN 主题名。当作业异常时,向该SMN主题推送告警信息。 root_id 否 Integer 父作业ID。 edge_group_ids 否 Array of Strings 边缘计算组ID列表。多个ID以逗号分隔。 manager_cu_number 否 Integer 管理单元CU数。默认为“1”。 cu_number 否 Integer 用户为作业选择的CU数量。 “show_detail”为“true”时独有。 最小值:2 最大值:400 默认为“2”。 parallel_number 否 Integer 用户设置的作业并行数。 “show_detail”为“true”时独有。 最小值:1 最大值:2000 默认为“1”。 restart_when_exception 否 Boolean 是否开启异常重启功能。 idle_state_retention 否 Integer 空闲状态过期周期。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的程序包名,用户sql作业的udf jar通过该参数传入。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”:保存,obsDir表示脏数据存储路径。 “1”:抛出异常。 “0”:忽略。 entrypoint 否 String 用户已上传到DLI资源管理系统的程序包名,用户自定义作业主类所在的jar包。 dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名,用户自定义作业的其他依赖包。 dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名,用户自定义作业的依赖文件。 executor_number 否 Integer 作业使用计算节点个数。 executor_cu_number 否 Integer 计算节点cu数。 resume_checkpoint 否 Boolean 异常自动重启时,是否从最新checkpoint恢复。默认值为“false”。 runtime_config 否 String Flink作业运行时自定义优化参数。 graph_editor_enabled 否 Boolean 流图编辑开关。默认为“false”。 graph_editor_data 否 String 流图编辑数据。默认为null。 resume_max_num 否 Integer 异常重试最大次数。-1代表无限。 checkpoint_path 否 String 检查点保存路径。 config_url 否 String 用户上传的config包OBS路径。 tm_cus 否 int 单TM所占CU数。 tm_slot_num 否 int 单TM Slot数。 image 否 String 自定义镜像。格式为:组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像,请参考《 数据湖探索 用户指南》。 feature 否 String 自定义作业特性。表示用户作业使用的Flink镜像类型。 basic:表示使用DLI提供的基础Flink镜像。 custom:表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic”时,该参数生效。用户可通过与“feature”参数配合使用,指定作业运行使用的DLI基础Flink镜像的版本。 operator_config 否 String 各算子并行度参数,以json的形式展示各算子id和并行度。 static_estimator_config 否 String 静态流图资源预估参数,以json的形式展示。 real_cu_number 否 Integer 实际使用的CU数。默认值为“0”,表示此时以“cu_number”的值为准。
  • URI URI格式 GET /v1.0/{project_id}/streaming/jobs 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 job_type 否 String 作业类型: flink_sql_job:flink sql作业 flink_opensource_sql_job:flink opensource sql作业 flink_sql_edge_job:flink sql边缘作业 flink_jar_job:flink自定义作业 status 否 String 作业状态码。 作业的状态如下: job_init:草稿 job_submitting:提交中 job_submit_fail:提交失败 job_running:运行中(开始计费,提交作业后,返回正常结果) job_running_exception:运行异常(停止计费。作业发生运行时异常,停止运行作业) job_downloading:下载中 job_idle:空闲 job_canceling:停止中 job_cancel_success:已停止 job_cancel_fail:停止失败 job_savepointing:保存点创建中 job_arrearage_stopped:因欠费被停止(结束计费。用户账户欠费,作业停止) job_arrearage_recovering:欠费作业恢复中(用户账户欠费,账户充值,作业恢复中) job_finish:已完成 queue_name 否 String 队列名称。 order 否 String 查询结果排序。 asc:按照时间顺序升序排列 desc:按照时间顺序降序排列 默认为“desc”。 limit 否 Integer 返回的数据条数。默认为“10”,最大值为“100”。 name 否 String 作业名称。长度限制:0-57个字符。 offset 否 Integer 作业偏移量。 root_job_id 否 Integer 边缘父作业ID, 用于查询指定边缘作业的子作业。不使用该参数时, 查询所有非边缘作业和边缘父作业, 不包括边缘子作业。 show_detail 否 Boolean 是否返回作业详情信息。默认为“false”。为“true”时,返回作业详情。具体可见查询作业详情。 user_name 否 String 用户名,可作为筛选条件。 tags 否 String 指定标签过滤。
  • URI URI格式 POST /v3/{project_id}/elastic-resource-pools/{elastic_resource_pool_name}/queues 参数说明 表1 路径参数 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 弹性资源池名称。 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
  • 请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 obs_dir 是 String OBS路径,用于保存导出的作业文件。 is_selected 是 Boolean 是否导出指定的作业。 job_selected 否 Array of Longs 当“is_selected”为“true”时,该参数是待导出作业的ID集合。 说明: 当“is_selected”为“true”时,该参数为必选。
  • URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。 tags 否 String 标签名列表。单个标签为k=v,多个标签以“,”分隔。示例tag1=v1,tag2=v2。 offset 否 Long 作业偏移量。 limit 否 Integer 返回的数据条数。默认为“10”。 order 否 String 查询结果排序。 asc:升序 desc:降序 默认为“desc”。
  • 响应示例 { "is_success": "true", "message": "获取模板列表成功", "template_list": { "total_count": 2, "templates": [ { "template_id": 2, "name": "updatetest", "desc": "快速上手示例", "create_time": 1578748092000, "update_time": 1578748092000, "sql_body": "select * from source_table", "job_type": "flink_sql_job" }, { "template_id": 1, "name": "we", "desc": "qwe", "create_time": 1577951045000, "update_time": 1577951045000, "sql_body": "" } ] }}
  • 响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template_list 否 Object 模板列表信息。请参见表4。 表4 template_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 模板总数。 templates 否 Array of Objects 模板详细信息。具体参数说明详见表5。 表5 templates参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Integer 模板ID。 name 否 String 模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。 job_type 否 String 作业模板类型。
  • 响应消息 表2 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 String 请求是否成功。 message 否 String 消息内容。 execute_graph 否 Object 查询作业计划的响应参数。具体请参考表3。 表3 execute_graph参数说明 参数名称 是否可选 参数类型 说明 jid 否 String flink作业id。 name 否 String flink作业名字。 isStoppable 否 Boolean 是否可停止。 state 否 String 作业运行状态。 start-time 否 Long 作业启动时间。 end-time 否 Long 作业停止时间。 duration 否 Long 作业运行时长。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全