华为云用户手册

响应消息 表4 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template 否 Object 作业更新信息。请参见表5 表5 template参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Long 模板ID。 name 否 String 模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 job_type 否 String 作业模板类型。

请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 是 String 模板名称。长度限制：1-64个字符 。 desc 否 String 模板描述。长度限制：0-512个字符。 sql_body 否 String Stream SQL语句，至少包含source，query，sink三个部分。长度限制：0-2048个字符。 tags 否 Array of Objects Flink作业模板的标签。具体请参考表3。 job_type 否 String Flink作业模板类型。默认值为"flink_sql_job"，若填写则只能为"flink_sql_job"或者"flink_opensource_sql_job"。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。 value 是 String 标签的值。 说明： 标签值的最大长度为225个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。

响应示例 { "is_success": true, "message": "新建成功", "template": { "template_id": 0, "name": "IoT_example", "desc": "快速上手示例", "create_time": 1516952710040, "job_type": "flink_opensource_sql_job" } }

URI URI格式 GET /v1.0/{project_id}/variables 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 说明 limit 否 Integer 每页显示的返回信息的个数，默认值为“100”。 offset 否 Integer 偏移量，默认值为“0”。

响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 count 否 Integer 全局变量数量。 global_vars 否 Array of Objects 全局变量信息。请参见表4。 表4 global_vars参数说明 参数名称 是否必选 参数类型 说明 id 否 Long 全局变量ID。 var_name 是 String 全局变量名称。 var_value 是 String 全局变量值。 project_id 否 String 项目ID。 user_id 否 String 用户ID。 user_name 否 String 用户名。 is_sensitive 否 Boolean 是否设置为敏感变量。 create_time 否 Long 创建时间。 update_time 否 Long 更新时间。

响应示例 { "is_success": true, "message": "string", "count": 0, "global_vars": [ { "id": 0, "var_name": "string", "var_value": "string", "project_id": "string", "user_id": "string" } ] }

响应示例 { "group_name": "gatk", "status": "READY", "resources": [ "dli_tf.py" ], "details":[ { "create_time":1608804435312, "update_time":1608804435312, "resource_type":"pyFile", "resource_name":"dli_tf.py", "status":"READY", "underlying_name":"dli_tf.py" } ], "create_time": 1521532893736, "update_time": 1521552364503, "is_async":false }

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 group_name 否 String 分组名称。 status 否 String 上传分组资源状态。 resources 否 Array of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”，表示不使用异步方式。推荐使用异步方式上传资源包。 owner 否 String 资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为pyFile。 resource_name 否 String 资源名。 status 否 String "UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。 connection_id 否 String 连接ID，用于标识跨源连接的UUID。 destination 否 String 创建连接时，用户填写的队列的访问地址。 state 否 String 连接状态，具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度，显示0.0至1.0代表0%至100%。 name 否 String 创建连接时，用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时，需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接，该字段为空。 service 否 String 创建连接时，用户指定的对端服务（CloudTable/CloudTable.OpenTSDB/ MRS .OpenTSDB/DWS/RDS/ CSS ）。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 available_queue_info 否 Array of Objects 各个队列创建跨源连接的信息，详细信息请参考表3。 表3 available_queue_info参数说明 参数名称 是否必选 参数类型 说明 uuid 否 String 跨源连接ID。 status 否 String 连接状态，状态码请参考表4。 name 否 String 队列名称。 err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表4 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功，与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。

响应示例 { "message": "Can't get ready router.", "is_success": true, "connection_id": "8164e4fc-63e2-4e6c-a123-8d9cd2513322", "destination": "192.168.12.148:3306", "state": "FAILED", "process": 0.0, "name": "rds", "connection_url": "", "cluster_name": "", "service": "RDS", "create_time": 1652701307460 }

URI URI格式 GET /v2.0/{project_id}/datasource-connection/{connection_id} 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID，用于标识跨源连接的UUID。具体为创建经典型跨源连接或查询经典型跨源连接列表返回的连接ID。

示例 请求样例： None 成功响应样例： { "is_success": true, "message": "", "table_count": 1, "tables": [ { "create_time":1517364268000, "data_location":"OBS", "data_type":"csv", "last_access_time":1517364268000, "location":"obs:// DLI /sqldata/data.txt", "owner":"test", "partition_columns": ["a0"], "table_name":"obs_t", "table_size":0, "table_type":"EXTERNAL" } ] } 调用API出错后，将不会返回上述结果，而是返回错误码和错误信息，详细介绍请参见错误码。

响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。 table_count 是 Integer 表的总个数。 tables 是 Array of objects 表的信息。具体参数请参见表3。 表3 tables参数 参数 是否必选 参数类型 说明 create_time 是 Long 表创建时间。是单位为“毫秒”的时间戳。 data_type 否 String 所列OBS表数据的类型，目前支持：parquet、ORC、 CS V、JSON格式。只有OBS表有该参数，DLI表没有该参数。 data_location 是 String 数据存储的地方，分OBS表、DLI表，View。 last_access_time 是 Long 最近更新时间。是单位为“毫秒”的时间戳。 location 否 String OBS表上的存储路径。 owner 是 String 表创建者。 table_name 是 String 表名称。 table_size 是 Long DLI表的大小。非DLI表该参数值为0。 table_type 是 String 表类型。 OBS表为EXTERNAL DLI表为MANAGED View为VIEW partition_columns 否 String 分区字段。只有OBS分区表有该参数，其他表没有该参数。 若URI中的过滤条件“with-detail=false”，则只返回“data_location”，“table_name”，“table_type”三个参数。

URI URI格式： GET /v1.0/{project_id}/databases/{database_name}?keyword=tb&with-detail=true 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 查看表所在的数据库名称。 keyword 否 过滤表名称的关键词。 with-detail 否 是否获取表的详细信息（所有者，size等）。

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queue_id 否 Long 队列ID。 queueName 否 String 队列名称。 说明： 队列名称不区分大小写，系统会自动转换为小写。 description 否 String 队列描述信息。 owner 否 String 创建队列的用户。 create_time 否 Long 创建队列的时间。是单位为“毫秒”的时间戳。 queueType 否 String 队列类型。 sql general all 如果不指定，默认为“sql”。 cuCount 否 Integer 与该队列绑定的计算单元数。即当前队列的CU数。 chargingMode 否 integer 队列的收费模式。 0：系统默认default队列。按照扫描量计费。 1：表示按照CU时收费。 2：表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 resource_mode 否 Integer 资源模式。 0：共享队列 1：专属队列 enterprise_project_id 否 String 企业项目ID。 "0”表示default，即默认的企业项目。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer 当前队列弹性扩缩容的CU值上限。 cu_scale_in_limit 否 Integer 当前队列弹性扩缩容的CU值下限。 elastic_resource_pool_name 否 String 弹性资源池名称。

响应示例 { "is_success": true, "message": "", "owner": "testuser", "description": "", "queueName": "test", "create_time": 1587613028851, "queueType": "general", "cuCount": 16, "chargingMode": 1, "resource_id": "03d51b88-db63-4611-b779-9a72ba0cf58b", "resource_mode": 0, "enterprise_project_id": "0", "resource_type": "vm", "cu_spec": 16 }

请求示例 将存储在OBS的csv类型的数据导入db2.t2。 { "data_path": "obs://home/data1/DLI/t1.csv", "data_type": "csv", "database_name": "db2", "table_name": "t2", "with_column_header": false, "delimiter": ",", "quote_char": ",", "escape_char": ",", "date_format": "yyyy-MM-dd", "timestamp_format": "yyyy-MM-dd'T'HH:mm:ss.SSSZZ", "queue_name": "queue2", "overwrite": false, "partition_spec":{ "column1": "2020-01-01", "column2": "columnPartValue" } }

响应消息 表4 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求发送是否成功。“true”表示请求发送成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 job_id 否 String 此SQL将生成并提交一个新的作业，返回作业ID。用户可以使用作业ID来查询作业状态和获取作业结果。 job_mode 否 String 作业执行模式： async：异步 sync：同步

请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 data_path 是 String 导入的数据路径（当前仅支持导入OBS上的数据）。 data_type 是 String 导入的数据类型（当前支持csv、parquet、orc、json、avro数据类型）。 说明： 不支持导入Hive表生成的avro格式数据。 database_name 是 String 导入表所属的数据库名称。 table_name 是 String 导入表的名称。 with_column_header 否 Boolean 导入数据中的第一行数据是否包括列名，即表头。默认为“false”，表示不包括列名。导入CSV类型数据时可指定。 delimiter 否 String 用户自定义数据分隔符，默认为逗号。导入CSV类型数据时可指定。 quote_char 否 String 用户自定义引用字符，默认为双引号。导入CSV类型数据时可指定。 escape_char 否 String 用户自定义转义字符，默认为反斜杠。导入CSV类型数据时可指定。 date_format 否 String 指定特定的日期格式，默认为“yyyy-MM-dd”。日期格式字符定义详见表3。导入CSV及JSON类型数据时可指定。 bad_records_path 否 String 作业执行过程中的bad records存储目录。设置该配置项后，bad records不会导入到目标表。 timestamp_format 否 String 指定特定的时间格式，默认为“yyyy-MM-dd HH:mm:ss”。时间格式字符定义详见表3。导入CSV及JSON类型数据时可指定。 queue_name 否 String 指定执行该任务的队列。若不指定队列，将采用default队列执行操作。 overwrite 否 Boolean 是否覆盖写。默认为“false”，表示追加写。为“true”，表示覆盖写。 partition_spec 否 Object 表示需要导入到哪个分区。 不配置表示动态导入整表数据，导入的数据需要包含分区列的数据； 如果导入时，配置所有分区信息，则表示导入数据到指定分区，导入的数据不能包含分区列的数据； 如果导入时，配置了部分分区信息，而导入的数据必须包含非指定的分区数据，不能包含指定的分区数据，否则数据导入后，非指定的数据分区字段列会存在null值等异常值。 conf 否 Array of Strings 用户定义适用于此作业的配置参数。目前支持的配置项：“dli.sql.dynamicPartitionOverwrite.enabled”默认值为“false”，对于DataSource表，表示动态插入覆盖整表数据，为“true”表示覆盖指定分区数据。 说明： 对于Hive分区表的动态覆盖写，仅支持覆盖涉及到的分区数据，不支持覆盖整表数据。 表3 日期及时间模式字符定义 模式字符 日期或时间元素 示例 G 纪元标识符 AD y 年份 1996; 96 M 月份 July; Jul; 07 w 年中的周数 27(该年的第27周) W 月中的周数 2(该月的第2周) D 年中的天数 189(该年的第189天) d 月中的天数 10(该月的第10天) u 星期中的天数 1 = 星期一, ..., 7 = 星期日 a am/pm 标记 pm(下午时) H 24小时数(0-23) 2 h 12小时数(1-12) 12 m 分钟数 30 s 秒数 55 S 毫秒数 978 z 时区 Pacific Standard Time; PST; GMT-08:00

功能介绍 该API用于将数据从文件导入DLI或OBS表，目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃，不推荐使用。 该API为异步操作。 导入数据时，可选择已存在的OBS桶路径或新建OBS桶路径，但只能指定一个OBS桶路径。 若需新建OBS桶，需遵守以下命名规则： 需全局唯一，不能与已有的任何桶名称重复。 长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（.）。 禁止两个英文句号（.）或英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 禁止使用IP地址。 如果名称中包含英文句号（.），访问桶或对象时可能会进行安全证书校验。 导入源文件时，如果源文件中的某一列与目标表列类型不匹配，将会导致该行数据的查询结果为null 。 不支持并发导入同一张表。

URI URI格式： DELETE /v1.0/{project_id}/databases/{database_name}/tables/{table_name} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待删除的表所在的数据库名称。 table_name 是 String 待删除的表名称。 表2 query参数 参数名称 是否必选 参数类型 说明 async 否 Boolean 是否异步方式删除数据库，取值为“true”或者“false”。默认值为：false。 带入query参数的URL示例如下： DELETE /v1.0/{project_id}/databases/{database_name}/tables/{table_name}?async={is_async}

URI URI格式： DELETE /v1/{project_id}/queues/{queue_name}/plans/{plan_id} 参数说明 表1 URI参数 名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 String 待删除定时扩缩计划的队列名称。名称长度为1~128个字符，多个队列名称使用逗号“,”分隔。 plan_id 是 Long 待删除的队列扩缩容计划的ID。具体获取请参考查看队列定时扩缩容计划（废弃）。

URI URI格式： GET /v1.0/{project_id}/databases/{database_name}/tables/{table_name} 参数说明 表1 URI 参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 database_name 是 String 待描述的表所在的数据库名称。 table_name 是 String 待描述表的名称。

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 是 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。 column_count 是 Integer 表的总列数。 columns 是 Array of Objects 表的列信息，包含列名称、类型和描述信息。具体参数详见表3。 table_type 是 String 表类型，包括： “MANAGED”：DLI表。 “EXTERNAL”：OBS表。 “VIEW”：VIEW视图。 data_type 否 String 数据类型，包括“csv”，“parquet”，“orc”，“json”和“avro”。 data_location 否 String 数据存储的路径，为OBS路径。 storage_properties 否 Array of Objects 存储属性，以“key/value”的格式出现，包含delimiter，escape，quote，header，dateformat，timestampformat参数。 table_comment 否 String 表的注释。 create_table_sql 否 String 该表的建表语句。 表3 columns参数 参数名称 是否必选 参数类型 说明 column_name 是 String 列名称。 description 是 String 列描述信息。 type 是 String 列数据类型。 is_partition_column 是 Boolean 表示该列是否为分区列，“true”表示为分区列，“false”为非分区列，默认为“false”。

响应示例 MANAGED类型表 { "is_success": true, "message": "", "column_count": 3, "columns": [ { "column_name": "id", "description": "", "type": "int", "is_partition_column": false }, { "column_name": "name", "description": "", "type": "string", "is_partition_column": false }, { "column_name": "level", "description": "", "type": "string", "is_partition_column": true } ], "table_type":"MANAGED" } EXTERNAL类型表 { "is_success": true, "message": "", "column_count": 2, "columns": [ { "type": "string", "description": "", "column_name": "col2", "is_partition_column": false }, { "type": "string", "description": "", "column_name": "col1", "is_partition_column": true } ], "table_type": "EXTERNAL", "data_type": "parquet", "data_location": "obs://obs-wangtao/savepoint/savepoint-d95437-039668840fff/_metadata", "storage_properties": [ { "key": "timestampformat", "value": "yyyy-MM-dd HH:mm:ss" }, { "key": "quote", "value": "\"" }, { "key": "dateformat", "value": "yyyy-MM-dd" }, { "key": "escape", "value": "\\" }, { "key": "header", "value": "false" }, { "key": "delimiter", "value": "," } ], "table_comment": "", "create_table_sql": "CREATE TABLE `default`.`wan_test` (`col2` STRING, `col1` STRING)\nUSING parquet\nOPTIONS (\n `timestampformat` 'yyyy-MM-dd HH:mm:ss',\n `quote` '\"',\n `dateformat` 'yyyy-MM-dd',\n `escape` '\\\\',\n `header` 'false',\n `delimiter` ','\n)\nPARTITIONED BY (col1)\nCOMMENT ''\nLOCATION 'obs://obs-wangtao/savepoint/savepoint-d95437-039668840fff/_metadata'\nTBLPROPERTIES (\n 'hive.serialization.extend.nesting.levels' = 'true'\n)\n" } VIEW类型表 { "is_success": true, "message": "", "column_count": 3, "columns": [ { "column_name": "id", "description": "", "type": "int", "is_partition_column": false }, { "column_name": "name", "description": "", "type": "string", "is_partition_column": false }, { "column_name": "level", "description": "", "type": "string", "is_partition_column": true } ], "table_type":"VIEW", "create_table_sql": "CREATE VIEW `default`.`view1`(id, name) AS\nselect * from a_gff.testtable\n" }

URI URI格式 GET /v1.0/{project_id}/streaming/job-templates 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数名称 是否必选 参数类型 描述 name 否 String 模板名称。支持根据name进行模糊查询。 tags 否 String 标签名列表。单个标签为k=v，多个标签以“，”分隔。示例tag1=v1,tag2=v2。 offset 否 Long 作业偏移量。 limit 否 Integer 返回的数据条数。默认为“10”。 order 否 String 查询结果排序。 asc：升序 desc：降序 默认为“desc”。

响应示例 { "is_success": "true", "message": "获取模板列表成功", "template_list": { "total_count": 2, "templates": [ { "template_id": 2, "name": "updatetest", "desc": "快速上手示例", "create_time": 1578748092000, "update_time": 1578748092000, "sql_body": "select * from source_table", "job_type": "flink_sql_job" }, { "template_id": 1, "name": "we", "desc": "qwe", "create_time": 1577951045000, "update_time": 1577951045000, "sql_body": "" } ] } }

响应消息 表3 响应参数说明 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求是否成功。 message 否 String 消息内容。 template_list 否 Object 模板列表信息。请参见表4。 表4 template_list参数说明 参数名称 是否必选 参数类型 说明 total_count 否 Integer 模板总数。 templates 否 Array of Objects 模板详细信息。具体参数说明详见表5。 表5 templates参数说明 参数名称 是否必选 参数类型 说明 template_id 否 Integer 模板ID。 name 否 String 模板名称。 desc 否 String 模板描述。 create_time 否 Long 模板创建时间。 update_time 否 Long 模板更新时间。 sql_body 否 String Stream SQL语句。至少包含source、 query、sink三个部分。 job_type 否 String 作业模板类型。

请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 plan_name 是 String 队列扩缩容计划名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。 target_cu 是 Integer 队列扩缩容计划CU的目标值。 start_hour 是 Integer 队列扩缩容计划起始小时时间。 start_minute 是 Integer 队列扩缩容计划的起始分钟时间。 repeat_day 是 Array of strings 定时扩缩容计划的重复周期，可以选择周一到周日的某一天、某几天、或者不选择。如果不选择，则会在当前时间后的start_hour：start_minute时间点执行扩缩容计划。例如： "repeat_day": ["MONDAY", "TUESDAY", "WEDNESDAY","SUNDAY"] valid_date_begin 否 Long 有效期开始时间（13位时间戳）。 valid_date_end 否 Long 有效期结束时间（13位时间戳）。 activate 否 Boolean 当前设置的扩缩容计划是否激活，默认为“true”，表示激活。

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queue_name 否 String 待修改定时扩缩计划的队列名称。名称长度为1~128个字符，多个队列名称使用逗号“,”分隔。 plan_id 否 String 待修改的队列扩缩容计划的ID。多个ID使用逗号“,”分隔。