华为云用户手册

响应示例 { "group_name": "gatk", "status": "READY", "resources": [ "dli_tf.py" ], "details":[ { "create_time":1608804435312, "update_time":1608804435312, "resource_type":"pyFile", "resource_name":"dli_tf.py", "status":"READY", "underlying_name":"dli_tf.py" } ], "create_time": 1521532893736, "update_time": 1521552364503, "is_async":false }

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 group_name 否 String 分组名称。 status 否 String 上传分组资源状态。 resources 否 Array of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”，表示不使用异步方式。推荐使用异步方式上传资源包。 owner 否 String 资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为pyFile。 resource_name 否 String 资源名。 status 否 String "UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。

请求示例 创建一个 CSS 类型的跨源认证。 { "auth_info_name": "test", "user_name": "admin", "password": "***", "certificate_location": "obs://test/CloudSearchService.cer", "datasource_type": " CS S" }

请求参数 表2 请求参数 名称 是否必选 参数类型 说明 auth_info_name 是 String 认证信息名，同一个project下唯一。 user_name 否 String 认证相关用户名。 password 否 String 认证相关用户密码。 certificate_location 否 String 用户安全集群的证书路径，目前只支持OBS路径，cer类型文件。 datasource_type 是 String 数据源类型，目前支持CSS,KRB,passwd,Kafka_SSL。 krb5_conf 否 String krb5配置文件obs路径。 keytab 否 String keytab配置文件obs路径。 truststore_location 否 String truststore配置文件obs路径。 truststore_password 否 String truststore配置文件密码。 keystore_location 否 String keystore配置文件obs路径。 keystore_password 否 String keystore配置文件密码。 key_password 否 String key密码。

响应示例 { "message": "Can't get ready router.", "is_success": true, "connection_id": "8164e4fc-63e2-4e6c-a123-8d9cd2513322", "destination": "192.168.12.148:3306", "state": "FAILED", "process": 0.0, "name": "rds", "connection_url": "", "cluster_name": "", "service": "RDS", "create_time": 1652701307460 }

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。 connection_id 否 String 连接ID，用于标识跨源连接的UUID。 destination 否 String 创建连接时，用户填写的队列的访问地址。 state 否 String 连接状态，具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度，显示0.0至1.0代表0%至100%。 name 否 String 创建连接时，用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时，需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接，该字段为空。 service 否 String 创建连接时，用户指定的对端服务（CloudTable/CloudTable.OpenTSDB/ MRS .OpenTSDB/DWS/RDS/CSS）。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 available_queue_info 否 Array of Objects 各个队列创建跨源连接的信息，详细信息请参考表3。 表3 available_queue_info参数说明 参数名称 是否必选 参数类型 说明 uuid 否 String 跨源连接ID。 status 否 String 连接状态，状态码请参考表4。 name 否 String 队列名称。 err_msg 否 String 状态为失败时的详细报错信息。 update_time 否 Long 更新时间。 表4 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功，与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。

URI URI格式 GET /v2.0/{project_id}/datasource-connection/{connection_id} 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 connection_id 是 String 连接ID，用于标识跨源连接的UUID。具体为创建经典型跨源连接（废弃）或查询经典型跨源连接列表（废弃）返回的连接ID。

请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 without_any_tag 否 Boolean 是否不包含任意一个标签。默认值false。 true：不包含任意一个标签。 false：指定标签。 tags 否 Array of objects 包含标签。请参考tags。 最多支持20个标签。 每个资源中的键不能重复，同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表3 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@，但首尾不能含有空格，不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@。 value可为空数组但不可缺省。 如果values为空列表，则表示any_value（查询任意value）。value之间为或的关系。 表4 matches 参数 是否必选 参数类型 描述 key 是 String 键。当前仅支持resource_name。 resource_name：资源名称。 默认按输入的资源名称前缀模糊搜索。 value 是 String 值。每个值最大长度255。

URI POST /v3/{project_id}/{resource_type}/resource-instances/count 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue：队列 dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业

请求示例 { "tags":[ { "key":"key1", "values":[ "value1", "value2" ] }, { "key":"key2", "values":[ "value1", "value2" ] } ], "matches":[ { "key":"resource_name", "value":"resource1" } ], "without_any_tag":"false" }

概述 欢迎使用 数据湖探索 。 数据湖 探索（Data Lake Insight，简称 DLI ）是完全兼容Apache Spark、Apache Flink、HetuEngine生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 您可以使用本文档提供API对数据湖探索进行相关操作，包括队列、SQL作业、Flink作业、Spark作业和跨源连接等等。支持的全部操作请参见API概览。 在调用数据湖探索API之前，请确保已经充分了解数据湖探索相关概念。详细信息请参见产品介绍。 父主题： API使用前必读

响应示例 { "is_success": true, "message": "", "version": "v2", "current_roles": [ "ctable_adm", "vpc_netadm", "ief_adm", "dis_adm", "smn_adm", "obs_adm" ] }

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 version 否 String 委托版本信息。 current_roles 否 Array of Strings 角色。目前只支持： obs_adm：DLI获得访问和使用OBS的委托权限。 dis_adm：访问和使用DIS数据源，需要获得访问和使用DIS（ 数据接入服务 ）DIS Administrator权限。 ctable_adm：访问和使用CloudTable（ 表格存储服务 ）的CloudTable Administrator权限。 vpc_netadm：使用VPC（虚拟私有云）的VPC Administrator权限。 smn_adm：使用 SMN （ 消息通知 服务）的SMN Administrator权限。 te_admin：具有Tenant Administrator权限。

请求消息 表2 请求参数 参数名称 是否必选 参数类型 说明 action 是 String 执行动作： restart：重启。只有SQL类型的队列支持重启。 scale_out：扩容 scale_in：缩容 说明： 目前只支持restart、scale_out、scale_in。 force 否 Boolean 是否强制重启，“action”为“restart”时可选择配置，默认为“false”。 cu_count 否 Integer 扩容或者缩容的cu数。“action”为“scale_out”或者“scale_in”时可选择配置。“cu_count”必须是16的倍数。

错误码 调用接口出错后，将不会返回上述结果，而是返回错误码和错误信息，更多介绍请参见错误码。 表5 错误码 错误码 错误信息 DLI.0015 Token info for token is null, return. DLI.0013 X-Auth-Token is not defined in request. It is mandatory. Please define and send the request.

响应示例 “force”为“false” { "is_success": true, "message": "Restart success" } “force”为“true” { "is_success": true, "message": "Submit restart job success, it need some time to cancel jobs, please wait for a while and check job status", "job_id": "d90396c7-3a25-4944-ad1e-99c764d902e7" } 扩缩容 { "queue_name": "myQueue", "result": true }

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 job_id 否 String 当“force”为“true”时返回的job_id。 queue_name 否 String 扩缩容的队列名称。 result 否 Boolean 扩缩容结果。

请求参数 表3 请求Body参数 参数 是否必选 参数类型 描述 without_any_tag 否 Boolean 是否不包含任意一个标签。默认值false。 true：不包含任意一个标签。 false：指定标签。 tags 否 Array of objects 包含标签。请参考tags。 最多支持20个标签。 每个资源中的键不能重复，同一个键中值不能重复。 无tag过滤条件时返回全量数据。 matches 否 Array of objects 搜索字段。 请参考matches。 表4 tags 参数 是否必选 参数类型 描述 key 是 String 键。 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@，但首尾不能含有空格，不能以_sys_开头。 values 是 Array of strings 值列表。 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@。 value可为空数组但不可缺省。 如果values为空列表，则表示any_value（查询任意value）。value之间为或的关系。 表5 matches 参数 是否必选 参数类型 描述 key 是 String 键。当前仅支持resource_name。 resource_name：资源名称。 默认按输入的资源名称前缀模糊搜索。 value 是 String 值。每个值最大长度255。

请求示例 { "tags":[ { "key":"key1", "values":[ "value1", "value2" ] }, { "key":"key2", "values":[ "value1", "value2" ] } ], "matches":[ { "key":"resource_name", "value":"resource1" } ], "without_any_tag":"false" }

响应示例 { "resources": [ { "resource_detail": null, "resource_id": "test1", "resource_name": "resource1", "tags": [ { "key": "key1", "value": "value1" }, { "key": "key2", "value": "value1" } ] } ], "total_count": 1000 }

URI POST /v3/{project_id}/{resource_type}/resource-instances/filter 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 resource_type 是 String 资源类型。 dli_queue：队列 dli_elastic_resource_pool：弹性资源池 dli_enhanced_datasource：增强型跨源连接 dli_database：数据库 dli_package_resource：资源包（不支持指定有Module ID的内置资源包） dli_flink_job：Flink作业 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每页显示条数，默认为1000。 offset 否 Integer 查询结果偏移量，默认为0。

请求示例 创建一个弹性资源池，最大CU为684，最小CU为684。 { "elastic_resource_pool_name" : "elastic_pool_0623_02", "description" : "test", "cidr_in_vpc" : "172.16.0.0/14", "charging_mode" : "1", "max_cu" : 684, "min_cu" : 684 }

请求消息 表2 请求参数说明 参数 是否必选 参数类型 描述 elastic_resource_pool_name 是 String 新建的弹性资源池名称，名称只能包含数字、英文字母和下划线，但不能是纯数字，且不能以下划线开头。长度限制：1~128个字符。 说明： 若名称中包含大写字母，将会自动转换为小写字母。 description 否 String 描述信息。长度限制：256个字符以内。 cidr_in_vpc 否 String 虚拟集群关联的vpc cidr。如果不填，默认值为172.16.0.0/12。 max_cu 是 Integer 最大CU大于等于该资源池下任意一个队列的最大CU之和且大于min_cu 标准版：最小值为64CUs 基础版：最小值为16CUs，最大值为64CUs min_cu 是 Integer 最小CU大于等于该资源池下所有队列最小CU之和，最小值为64。 标准版：最小值为64CUs 基础版：最小值为16CUs，最大值为64CUs charging_mode 否 Integer 计费类型：默认值是1，表示按需计费。 enterprise_project_id 否 String 企业ID，不填默认为“0”。 tags 否 Array of Objects 队列的标签，使用标签标识云资源。包括“标签键”和“标签值”，具体请参考表3。 label 否 map 弹性资源池属性字段。 如果需要购买基础版，配置该参数值为{"spec":"basic"}。 不配置该参数时默认为标准版弹性资源池。 ipv6_enable 否 boolean 是否启用IPv6。 开启IPv6后，将自动为资源池分配IPv6网段，暂不支持自定义IPv6网段。该功能一旦开启，将不能关闭。默认值：false true：启用IPv6。 false，不开启IPv6。 表3 tags参数 参数名称 是否必选 参数类型 说明 key 是 String 标签的键。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 value 是 String 标签的值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。

响应示例 { "is_success": "true", "message": "", "queues": [ { "queue_name": "test", "owner": "testuser", "description": "", "create_time": 1562221422671, "queue_type": "spark", "cu_count": 16, "charging_mode": 2, "resource_id": "26afb850-d3c9-42c1-81c0-583d1163e80f", "enterprise_project_id": "0", "cidr_in_vpc": "10.0.0.0/8", "cidr_in_subnet": "10.0.0.0/24", "cidr_in_mgntsubnet": "10.23.128.0/24", "resource_mode": 1, "platform": "x86_64", "is_restarting": "false", "labels": "multi_az=2", "resource_type": "vm", "cu_spec": 16 } ] }

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queues 否 Array of Object 队列信息。具体请参考表4。 表4 queues参数 参数名称 是否必选 参数类型 说明 queue_id 否 Long 队列ID。 queue_name 否 String 队列名称。 description 否 String 队列描述信息。 owner 否 String 创建队列的用户。 create_time 否 Long 创建队列的时间。单位为“毫秒”的时间戳。 queue_type 否 String 队列的类型,。 sql general all 如果不指定，默认为“sql”。 cu_count 否 Integer 与该队列绑定的计算单元数，即当前队列的CU数。 charging_mode 否 Integer 队列的收费模式。 0：系统默认default队列。按照扫描量计费。 1：表示按照CU时收费。 2：表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 enterprise_project_id 否 String 企业项目ID。0”表示default，即默认的企业项目。关于如何设置企业项目请参考《企业管理用户指南》。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 cidr_in_vpc 否 String 队列的虚拟私有云（VPC）的网段。例如：10.0.0.0/8~24，172.16.0.0/12~24，192.168.0.0/16~24。 cidr_in_mgntsubnet 否 String 管理子网的网段。 cidr_in_subnet 否 String 子网网段。 resource_mode 否 Integer 资源模式。 0：共享队列 1：专属队列 platform 否 String 队列计算资源的cpu架构。 x86_64 aarch64 is_restarting 否 Boolean 是否重启队列。默认值为“false”。 labels 否 String 创建队列的标签信息，目前包括队列是否跨AZ的标签信息的Json字符串。目前只支持值为“2”，即创建两个队列。 feature 否 String 队列的镜像类型。支持以下两种类型： basic：基础型 ai：AI增强型（仅SQL的x86_64专属队列支持选择） 默认值为“basic”。 说明： AI增强型即队列加载了AI镜像，该镜像在基础镜像的基础上集成了AI相关的算法包。 resource_type 否 String 队列所属资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer 当前队列弹性扩缩容的CU值上限。 cu_scale_in_limit 否 Integer 当前队列弹性扩缩容的CU值下限。 elastic_resource_pool_name 是 String 弹性资源池名称。 support_spark_versions 否 Array[String] 队列支持的Spark版本。 default_spark_version 否 String 队列默认的Spark版本。 support_hetu_engine_versions 否 Array[String] 队列支持的HetuEngine版本。 default_hetu_engine_version 否 String 队列默认的HetuEngine版本。 support_flink_sql_versions 否 Array[String] 队列支持的Flink SQL版本。 default_flink_sql_version 否 String 队列默认的Flink SQL版本。 support_flink_jar_versions 否 Array[String] 队列支持的Flink JAR版本。 default_flink_jar_version 否 String 队列默认的Flink JAR版本。

URI URI格式： GET/v1.0/{project_id}/queues 参数说明 表1 URI参数 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数 参数名称 是否必选 参数类型 说明 queue_type 否 String 队列的类型，有如下三种类型： sql：查询SQL队列类型的队列。 general：查询通用队列类型的队列。 all：查询所有类型的队列。 如果不指定，默认为sql。 with-priv 否 Boolean 是否返回权限信息。 with-charge-info 否 Boolean 是否返回收费信息。 page-size 否 Integer 每页显示的最大结果行数，默认值Integer.MAX_VALUE（也即不分页）。 current-page 否 Integer 当前页码，默认为第一页。 order 否 String 指定队列排序方式。 默认为queue_name_asc（队列名称升序），支持queue_name_asc（队列名称升序）、queue_name_desc（队列名称降序）、cu_asc（CU数升序）、cu_desc（CU数降序）四种排序。 tags 否 String 查询根据标签进行过滤。

响应示例 { "group_name": "gatk", "status": "READY", "resources": [ "test_dli.jar" ], "details":[ { "create_time":1608804435312, "update_time":1608804435312, "resource_type":"jar", "resource_name":"test_dli.jar", "status":"READY", "underlying_name":"test_dli.jar" } ], "create_time": 1521532893736, "update_time": 1521552364503, "is_async":false }

响应消息 表3 响应参数 参数名称 是否必选 参数类型 说明 group_name 否 String 分组名称。 status 否 String 上传分组资源状态。 resources 否 Array of strings 该模块包含的资源包名列表。 details 否 Array of body 分组资源包的详细信息。具体请参考表4。 create_time 否 Long 模块上传的unix时间戳。 update_time 否 Long 模块更新的unix时间戳。 is_async 否 Boolean 是否使用异步方式上传资源包。默认值为“false”，表示不使用异步方式。推荐使用异步方式上传资源包。 owner 否 String 资源包拥有者。 description 否 String 资源模块描述。 module_name 否 String 资源模块名 module_type 否 String 资源模块类型。 jar：用户jar文件; pyFile：用户python文件; file：用户文件。 表4 details参数说明 参数名称 是否必选 参数类型 说明 create_time 否 Long 资源包上传的unix时间。是单位为“毫秒”的时间戳。 update_time 否 Long 更新已上传资源包的unix时间。是单位为“毫秒”的时间戳。 resource_type 否 String 资源类型，此处为jar。 resource_name 否 String 资源名。 status 否 String "UPLOADING"表示正在上传。 "READY"表示资源包已上传。 "FAILED"表示资源包上传失败。 underlying_name 否 String 资源包在队列中的名字。 is_async 否 Boolean 是否异步上传资源包。

响应示例 { "is_success": true, "message": "", "owner": "testuser", "description": "", "queueName": "test", "create_time": 1587613028851, "queueType": "general", "cuCount": 16, "chargingMode": 1, "resource_id": "03d51b88-db63-4611-b779-9a72ba0cf58b", "resource_mode": 0, "enterprise_project_id": "0", "resource_type": "vm", "cu_spec": 16 }

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 请求执行是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 queue_id 否 Long 队列ID。 queueName 否 String 队列名称。 说明： 队列名称不区分大小写，系统会自动转换为小写。 description 否 String 队列描述信息。 owner 否 String 创建队列的用户。 create_time 否 Long 创建队列的时间。是单位为“毫秒”的时间戳。 queueType 否 String 队列类型。 sql general all 如果不指定，默认为“sql”。 cuCount 否 Integer 与该队列绑定的计算单元数。即当前队列的CU数。 chargingMode 否 integer 队列的收费模式。 0：系统默认default队列。按照扫描量计费。 1：表示按照CU时收费。 2：表示按照包年包月收费。 resource_id 否 String 队列的资源ID。 resource_mode 否 Integer 资源模式。 0：共享队列 1：专属队列 enterprise_project_id 否 String 企业项目ID。 "0”表示default，即默认的企业项目。 说明： 开通了企业管理服务的用户可设置该参数绑定指定的项目。 resource_type 否 String 资源类型。 vm：ecf集群 container：容器化集群（k8s） cu_spec 否 Integer 队列的规格大小。对于包周期队列，表示包周期部分的CU值；对于按需队列，表示用户购买队列时的初始值。 cu_scale_out_limit 否 Integer 当前队列弹性扩缩容的CU值上限。 cu_scale_in_limit 否 Integer 当前队列弹性扩缩容的CU值下限。 elastic_resource_pool_name 否 String 弹性资源池名称。 support_spark_versions 否 Array[String] 队列支持的Spark版本。 default_spark_version 否 String 队列默认的Spark版本。 support_hetu_engine_versions 否 Array[String] 队列支持的HetuEngine版本。 default_hetu_engine_version 否 String 队列默认的HetuEngine版本。 support_flink_sql_versions 否 Array[String] 队列支持的Flink SQL版本。 default_flink_sql_version 否 String 队列默认的Flink SQL版本。 support_flink_jar_versions 否 Array[String] 队列支持的Flink JAR版本。 default_flink_jar_version 否 String 队列默认的Flink JAR版本。