华为云用户手册

浮点型 名称 描述 存储空间 取值范围 字面量 REAL 实数 32位 1.40129846432481707e-45 ~3.40282346638528860e+38，正或负 REAL DOUBLE 双精度浮点数，15到17个有效位，具体取决于使用场景，有效位位数并不取决于小数点位置 64位 4.94065645841246544e-324 ~1.79769313486231570e+308，正或负 DOUBLE FLOAT 单精度浮点数，6到9个有效位，具体取决于使用场景，有效位位数并不取决于小数点位置 32位 1.40129846432481707e-45 ~3.40282346638528860e+38，正或负 FLOAT 用法说明： 分布式查询使用高性能硬件指令进行单精度或者双精度运算时，由于每次执行的顺序不一样，在调用聚合函数，比如SUM()，AVG()，特别是当数据规模非常大时，达到数千万甚至数十亿，其运算结果可能会略有不同。这种情况下，建议使用DECIMAL数据类型来运算。 可以使用别名来指定数据类型。 示例： --创建具有float类型数据的表 CREATE TABLE float_t1 (float_col1 FLOAT) ; --插入具有float类型数据 insert into float_t1 values (float '3.50282346638528862e+38'); --查看数据 SELECT * FROM float_t1; float_col1 ------------ Infinity (1 row) --删除表 DROP TABLE float_t1; 当小数部分为0时，可以通过cast()转为对应范围的整数处理，小数部分会四舍五入。 示例： select CAST(1000.0001 as INT); _col0 ------- 1000 (1 row) select CAST(122.5001 as TINYINT); _col0 ------- 123 (1 row) 使用指数表达式时，可以将字符串转为对应类型。 示例： select CAST(152e-3 as double); _col0 ------- 0.152 (1 row) 父主题： 数据类型

整数类型 表1 整数类型 名称 描述 存储空间 取值范围 字面量 TINYINT 微整数 8位 -128~127 TINYINT SMALLINT 小整数 16位 -32,768 ~ +32,767 SMALLINT INTEGER 整数 32位 -2,147,483,648 ~ +2,147,483,647 INT BIGINT 大整数 64位 -9,223,372,036,854,775,808 ~ 9,223,372,036,854,775,807 BIGINT 示例： --创建具有TINYINT类型数据的表。 CREATE TABLE int_type_t1 (IT_COL1 TINYINT) ; --插入TINYINT类型数据 insert into int_type_t1 values (TINYINT'10'); --查看数据。 SELECT * FROM int_type_t1; it_col1 --------- 10 (1 row) --删除表。 DROP TABLE int_type_t1; 父主题： 数据类型

布尔类型 “真”值的有效文本值是：TRUE、't'、'true'、'1'。 “假”值的有效文本值是：FALSE、'f'、'false'、'0'。 使用TRUE和FALSE是比较规范的用法（也是SQL兼容的用法）。 示例： select BOOLEAN '0'; _col0 ------- false (1 row) select BOOLEAN 'TRUE'; _col0 ------- true (1 row) select BOOLEAN 't'; _col0 ------- true (1 row) 父主题： 数据类型

数据类型介绍 目前使用Hetu引擎建表时支持的数据类型有：tinyint，smallint，bigint，int，boolean，real，decimal，double，varchar，string，binary，varbinary，timestamp，date，char，array，row，map，struct。其余的类型在数据查询和运算时支持。 通常情况下，大部分非复合数据类型都可以通过字面量加字符串的方式来输入，示例为添加了一个json格式的字符串： select json '{"name": "aa", "sex": "man"}'; _col0 --------------------------------- {"name":"aa","sex":"man"} (1 row) 父主题： 数据类型

排查原因 查询指定时段的内存使用率信息，具体操作请参见性能监控。“内存利用率”指标持续接近100%。 查询内存使用率超过95%的时间段内，“已逐出的键数量”和“命令最大时延”，均呈现显著上升趋势，表明存在内存不足的问题。 建议客户登录控制台，参考缓存分析和慢查询，执行大Key扫描和慢查询。如果实例没有设置过期时间，会导致存储数据太多，内存被占满。 Redis实例如果内存满了但是key不多，可能原因是客户端缓冲区（output buffer）占用过多的内存空间。 可以在Redis-cli客户端连接实例后，执行大key扫描命令：redis-cli --bigkeys，然后执行info，查看output buffer占用情况。

处理措施 D CS 控制台提供了大Key和热Key的分析功能，可参考分析Redis实例大Key和热Key排查大key和热key。 Redis 3.0实例不支持热key分析，您可以通过配置告警的方式帮助您发现热key。 执行过期Key扫描释放已经过期的Key，或手动清理一些不需要的Key，释放空间。 其他优化建议： String类型数据的Value大小控制在10KB以内。 Hash、List、Set、Zset类数据结构，建议单Key中的元素不要超过5000个。 Key的命名前缀为业务缩写，禁止包含特殊字符（比如空格、换行、单双引号以及其他转义字符）。 Redis事务功能较弱，不建议过多使用。 短连接性能差，推荐使用带有连接池的客户端。 如果只是用于数据缓存，容忍数据丢失，建议关闭持久化（在实例参数配置中将appendonly参数修改为no即关闭AOF持久化）。 配置告警，便于提前发现大Key、热Key。 参考配置告警配置节点级别的内存利用率监控指标的告警。 如果某个节点存在大key，这个节点比其他节点内存使用率高很多，会触发告警，便于您发现潜在的大key。 参考配置告警配置节点级别的入网最大带宽、出网最大带宽、CPU利用率监控指标的告警。 如果某个节点存在热key，这个节点的带宽占用、CPU利用率都比其他节点高，该节点会容易触发告警，便于您发现潜在热key。 如果实例内存使用率通过以上方式仍然很高，请考虑在业务低峰期扩大实例规格。具体操作请参见变更实例规格。

是否存在Redis的持久化重写操作 除单机及单副本Cluster集群实例外，华为云其他Redis实例默认开启AOF数据落盘，实例开启了AOF持久化功能后，会定期进行AofRewrite的磁盘整理，AOF磁盘持久化整理一般在以下2种场景执行： 数据量写入不大，AOF文件不大时，固定在每天的凌晨1-4点进行AOF持久化重写。所以容易出现这个时间点实例CPU使用率超高的现象。 数据量写入过大，AOF文件大小超过阈值（缓存实例容量的3-5倍）时，不论当前的所处的时间，会自动触发后台AOF持久化重写。 Redis的持久化重写操作（Bgsave或Bgrewriteaof）比较消耗CPU资源（请参考为什么使用Fork执行Bgsave和Bgrewriteaof），Bgsave和Bgrewriteaof会调用系统的Fork机制，造成CPU短暂时间冲高。 如果客户没有需要用到持久化功能，建议将该功能关闭（请根据实际业务慎重操作，关闭持久化功能会导致极端故障场景下恢复时，由于没有落盘造成的数据丢失）。关闭操作：在实例详情页面，选择“配置参数”页签，将“appendonly”修改为“no”。

查找并禁用高消耗命令 使用了keys等消耗资源的命令，高消耗资源的命令即时间复杂度为O(N)或更高的命令，通常情况下，命令时间复杂度越高，在执行时消耗的资源越高，这会导致CPU使用率超高，容易触发主备倒换。关于各命令对应的时间复杂度信息请参见Redis官网。例如，使用了keys等消耗资源的命令，导致CPU超高，建议客户改成scan命令或者禁用keys命令。 通过性能监控功能，确认CPU使用率高的具体时间段。 通过下述方法，找出高消耗的命令。 慢查询功能会记录执行超过指定时间阈值的命令，通过分析慢查询的语句和执行时长可帮助您找出高消耗命令，具体操参见慢查询。 通过实例诊断功能，选择CPU冲高的时间点进行诊断后，可以看到报告中的对应时间段命令的执行情况以及CPU耗时百分比，具体操作参见实例诊断。 处理措施。 评估并禁用高风险命令和高消耗命令，例如FLUSHALL、KEYS、HGETALL等。 优化业务，例如避免频繁执行数据排序操作。 可选：根据业务情况，选择下述方法对实例进行调整： 调整实例为读写分离实例，对高消耗命令或应用进行分流。 扩容实例增强实例处理能力。

操作步骤 查询带宽使用率。 查询实例在指定时段的带宽使用率。具体操作请参见查看监控数据。 通常来说，“网络瞬时输入流量”和“网络瞬时输出流量”快速上升，并持续大于实例最大带宽的80%时，需引起注意，可能流量不足。 需关注的监控指标为带宽使用率如下图。带宽使用率的计算公式：带宽使用率=（网络瞬时输入流量+网络瞬时输出流量）/（2*最大带宽限制） * 100%。 图1 带宽使用率示例 其中，带宽使用率超过100%，不一定导致限流，有没有被流控需要看流控次数指标。 带宽使用率没有超过100%，也有可能有限流，因为带宽使用率是上报周期实时值，一个上报周期检查一次。流控检查是秒级的，有可能存在上报周期间隔期间，流量有秒级冲高，然后回落，待上报带宽使用率指标时已恢复正常。 优化带宽使用率。 当业务的访问量与预期带宽消耗不匹配，例如带宽使用率的增长趋势和QPS的增长趋势明显不一致（可结合网络瞬时输入流量和网络瞬时输出流量，分析业务是读业务和还是写业务导致的流量上涨）。对于单个节点带宽使用率上涨，您可以通过缓存分析功能，发现实例中存在的大Key，具体操作请参见大key分析。对大Key（通常大于10 KB）进行优化，例如将大Key拆分、减少对大Key的访问、删除不必要的大Key等。 经过上述步骤优化后流量使用率依旧较高，可评估升级至更大内存的规格，以承载更大的网络流量。具体操作请参见变更实例规格。也可以单独购买实例带宽，请参考调整DCS实例带宽。 在正式升级实例的规格前，您可以先购买一个按需付费的实例，测试要升级到的目标规格是否能够满足业务的负载需求，测试完成后可将其释放。释放实例请参考删除实例。

如何禁用高危命令？ 当前支持重命名的高危命令为command、keys、flushdb、flushall、hgetall、scan、hscan、sscan、和zscan，Proxy集群实例还支持dbsize和dbstats命令重命名，其他命令暂不支持重命名。高危命令重命名的操作方式，请参考命令重命名。 目前Redis不支持直接禁用命令，涉及到以上高危命令，可以使用命令重命名。关于DCS实例支持和禁用的命令请参考开源命令兼容性。 因为涉及安全性，页面不支持查询重命名后的命令。 同一个命令支持多次重命名，每次新的重命名操作会覆盖之前的重命名命令。 Redis 4.0及以上版本的实例支持命令重命名，Redis 3.0不支持。 父主题： Redis命令

触发流控（限流）的原因和处理建议 什么是流控 DCS针对实例每个节点做了带宽消耗的限制，当某个节点短时间内消耗的带宽超过该节点的带宽限制（最大带宽）时，该节点会暂时不对客户端命令进行处理，以达到控制流量的目的，即产生流控。因此，Redis产生流控，说明Redis在周期内的使用流量超过该实例规格的最大带宽。 实例默认的最大带宽，可以查看实例规格中对应实例类型的“基准/最大带宽”。如果实例进行了调整带宽，最大带宽请以调整后的带宽为准。 如何判断是否产生流控 判断是否产生流控，请通过查看流控次数的监控指标，该指标大于0时，表示当前已使用的带宽超过最大带宽限制，产生流控。 带宽使用率不高时，也有可能有限流，因为带宽使用率是上报周期实时值，一个上报周期检查一次。而流控检查是秒级的，有可能存在上报周期间隔期间，流量有秒级冲高，然后回落，待上报带宽使用率指标时已恢复正常。 流控的影响 Redis产生流控，会暂时停止响应该节点客户端发来的请求（DCS侧不会丢弃暂停的请求，而是跳过此次处理待下次处理），从业务角度可能会造成业务的延迟增大，客户端连接异常等问题。 对流控的处理建议 对于主备实例： 如果实例一直有流控但是带宽使用率不高，这说明可能存在业务微突发问题，或者大Key热Key问题，建议对实例进行自动诊断分析，优先排除大Key热Key问题。 如果带宽使用率居高不下，说明带宽可能存在超限风险，需要扩容实例带宽。 对于集群实例： 仅有单个或少量几个分片出现流控，则多数为该分片存在大Key热Key问题。 所有或大多数分片同时出现流控或者带宽使用率高的问题，这说明实例的带宽达到了瓶颈，建议扩容实例带宽。 DCS控制台提供了大Key和热Key的分析功能，请参考分析Redis实例大Key和热Key减少大key和热key。 如果用户执行了keys等消耗资源的命令，也可能会导致CPU和带宽使用率增加，从而出现流控。可以通过查询Redis实例运行日志排查。 通过控制台的调整DCS实例带宽功能扩容Redis实例带宽，可以解决实例带宽超限的问题。 父主题： 监控告警

静态流图 在OpenSource SQL作业编辑页面，单击“静态流图”按钮即可展示。 仅Flink 1.12和Flink 1.10版本支持查看简化流图。 Flink Opensource SQL作业中使用自定义函数时，不支持生成静态流图。 “静态流图”页面还支持以下功能： 支持资源预估。通过单击“静态流图”页面中的“资源预估”按钮，可进行资源预估。单击“恢复初始值”按钮，可在资源预估后恢复初始值。 支持展示页面缩放。 支持根据算子链展开/合并。 支持编辑“并行数”，“流量”和“命中率”。 并行数：一个任务的并发数。 流量：算子的数据流量，单位：条/s。 命中率：数据经过算子处理之后的保留率。命中率=算子的数据流出量/流入量，单位：%。 图5 静态流图

URI URI格式： DELETE /v2.0/{project_id}/resources/{resource_name} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 resource_name 是 String 上传的资源包名。 表2 query参数说明 参数名称 是否必选 参数类型 说明 group 否 String 上传资源包时，返回的资源组名。 带入query参数的URL示例如下： DELETE /v2.0/{project_id}/resources/{resource_name}?group={group}

URI URI格式： GET/v1.0/{project_id}/queues/{queue_name}/jobs/{job_id}?page-size=size¤t-page=page_number 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号，用于资源隔离。获取方式请参考获取项目ID。 queue_name 是 当前所在的队列的名称，此SQL将使用当前队列的资源进行计算。 job_id 是 作业ID。 page-size 否 每页显示的最大结果行数，范围: [1, 100]。默认值为：50。 current-page 否 当前页码，默认为第一页。

响应消息 表2 响应参数 参数 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 job_id 否 String 作业ID。 job_type 否 String 作业类型，包含DDL、DCL、IMPORT、EXPORT、QUERY、INSERT。 目前仅支持查看“QUERY”类型作业的执行结果。 row_count 否 Integer 作业结果总条数。 input_size 否 long 作业执行过程中扫描的数据量。 schema 否 Array of Map 作业结果列名称和类型。 rows 否 Array of objects 作业结果集。

示例 请求样例： None 成功响应样例： { "is_success": true, "message": "", "job_id": "ead0b276-8ed4-4eb5-b520-58f1511e7033", "job_type": "QUERY", "row_count": 1, "input_size": 74, "schema": [ { "c1": "int" }, { "c2": "string" } ], "rows": [ [ 23, "sda" ] ] } 调用API出错后，将不会返回上述结果，而是返回错误码和错误信息，详细介绍请参见错误码。

请求示例 更新Flink Jar作业信息，更新后作业名称为test1，作业执行的队列为testQueue，关闭作业日志。 { "name": "test1", "desc": "job for test", "job_type": "flink_jar_job", "queue_name": "testQueue", "manager_cu_number": 1, "cu_number": 2, "parallel_number": 1, "log_enabled": false, "main_class": "org.apache.flink.examples.streaming.JavaQueueStream", "restart_when_exception": false, "entrypoint": "FemaleInfoCollec.jar", "dependency_jars": [ "myGroup/test.jar", "myGroup/test1.jar" ], "dependency_files": [ "myGroup/test.csv", "myGroup/test1.csv" ] }

请求消息 表2 参数说明 参数名称 是否必选 参数类型 说明 name 否 String 作业名称。长度限制：0-57个字符。 desc 否 String 作业描述。长度限制：0-512个字符。 queue_name 否 String 队列名称。长度限制：1-128个字符。 cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 manager_cu_number 否 Integer 用户为作业选择的管理节点CU数量，对应为flink jobmanager数量。默认值为“1”。 parallel_number 否 Integer 用户为作业选择的并发量。默认值为“1”。 log_enabled 否 Boolean 是否开启作业日志。 开启：true 关闭：false 默认：false obs_bucket 否 String 当“log_enabled”为“true”时，用户授权保存日志的OBS桶名。 smn_topic 否 String 当作业异常时，向该 SMN 主题推送告警信息。 main_class 否 String 作业入口类。 entrypoint_args 否 String 作业入口类参数，多个参数之间空格分隔。 restart_when_exception 否 Boolean 是否开启异常重启功能，默认值为“false”。 entrypoint 否 String 用户已上传到 DLI 资源管理系统的程序包名，用户自定义作业主类所在的jar包。 Flink1.15推荐配置OBS中的程序包，不推荐使用DLI程序包。Flink1.15以上版本将不再支持读取DLI程序包。 示例：obs://bucket_name/test.jar dependency_jars 否 Array of Strings 用户已上传到DLI资源管理系统的程序包名，用户自定义作业的其他依赖包。 Flink1.15推荐配置OBS中的程序包，不推荐使用DLI程序包。Flink1.15以上版本将不再支持读取DLI程序包。 示例“obs://bucket_name/test1.jar, obs://bucket_name/test2.jar”。 dependency_files 否 Array of Strings 用户已上传到DLI资源管理系统的资源包名，用户自定义作业的依赖文件。 Flink1.15推荐配置OBS中的程序包，不推荐使用DLI程序包。Flink1.15以上版本将不再支持读取DLI程序包。 示例："[obs://bucket_name/file1, obs://bucket_name/file2]"。 tm_cus 否 Integer 每个taskmanager的CU数，默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 feature 否 String 作业特性。表示用户作业使用的Flink镜像类型。 basic：表示使用DLI提供的基础Flink镜像。 custom：表示使用用户自定义的Flink镜像。 flink_version 否 String Flink版本。当用户设置“feature”为“basic”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用的DLI基础Flink镜像的版本。 image 否 String 自定义镜像。格式为：组织名/镜像名:镜像版本。 当用户设置“feature”为“custom”时，该参数生效。用户可通过与“feature”参数配合使用，指定作业运行使用自定义的Flink镜像。关于如何使用自定义镜像，请参考《 数据湖探索 用户指南》。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。 checkpoint_path 否 String 用户Jar中checkpoint的储存地址，不同作业路径需要保持不同。 runtime_config 否 String Flink作业运行时自定义优化参数。 job_type 否 String 作业类型。 resource_config_version 否 String 资源配置版本。可选值 "v1" ,"v2".默认为“v1”。 v2版本对比于v1模版不支持设置CU数量，支持直接设置Job Manager Memory和Task Manager Memory。 v1：适用于Flink 1.12、Flink 1.13、Flink 1.15 v2：适用于Flink 1.13、Flink 1.15、Flink 1.17 优先推荐使用V2版本的参数设置。 resource_config 否 Object Flink 作业的资源配置。 具体参数说明请参考表3。 资源配置版本 为 "v2"时，配置生效，资源配置版本 为 "v1"时，配置无效。 表3 resource_config参数说明 参数名称 是否必选 参数类型 说明 max_slot 否 integer 该参数用于设置单个TaskManager可以提供的并行任务数量。每个Task Slot可以并行执行一个任务。增加 Task Slots 可以提高 TaskManager 的并行处理能力，但也会增加资源消耗。 Task Slots的数量与TaskManager的CPU数相关联，因为每个CPU可以提供一个Task Slot。 单TM Slot默认值为1。最小并行数不能小于1。 parallel_number 否 integer 作业的并行数，指作业中各个算子的并行执行的子任务的数量，算子的子任务数就是其对应算子的并行度。默认值为“1”。 jobmanager_resource_spec 否 Object JobManager资源规格。具体参数说明请参考表4。 taskmanager_resource_spec 否 Object TaskManager资源规格。具体参数说明请参考表5。 表4 jobmanager_resource_spec参数说明 参数名称 是否必选 参数类型 说明 cpu 否 double JobManager可以使用的CPU核数，默认值为1.0个CPU核数，最低不得小于0.5个CPU核数 memory 否 string JobManager可以使用的内存，单位MB，GB。默认GB。默认值为4GB，最低不得小于2G。 表5 taskmanager_resource_spec参数说明 参数名称 是否必选 参数类型 说明 cpu 否 double TaskManager可以使用的CPU核数，默认值为1.0个CPU核数，最低不得小于0.5个CPU核数 memory 否 string TaskManager可以使用的内存，单位MB,GB。默认GB。默认值为4GB，最低不得小于2G

响应消息 表2 响应参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息可能为空。 connections 否 Array of Objects 跨源连接信息列表，详细信息请参考表3。 count 否 Integer 跨源连接数量。 表3 connections参数 参数名称 是否必选 参数类型 说明 is_success 否 Boolean 执行请求是否成功。“true”表示请求执行成功。 message 否 String 系统提示信息，执行成功时，信息为空。 connection_id 否 String 连接ID，用于标识跨源连接的UUID。 destination 否 String 创建连接时，用户填写的队列的访问地址。 state 否 String 连接状态，具体状态请参见表4。 process 否 Double 正在创建的跨源连接进度，显示0.0至1.0代表0%至100%。 name 否 String 创建连接时，用户自定义的连接名称。 connection_url 否 String 用于建立跨源关联表时，需要使用到的连接url。 cluster_name 否 String Serverless Spark队列名称。SQL队列模式下建立的跨源连接，该字段为空。 service 否 String 创建连接时，用户指定的对端服务（CloudTable/CloudTable.OpenTSDB/ MRS .OpenTSDB/DWS/RDS/ CSS ）。 create_time 否 Long 创建连接的时间。为UTC的时间戳。 queue_list 否 Array of Strings 经典跨源绑定的队列信息。 表4 连接状态 名称 含义 说明 CREATING 创建中 跨源连接正在创建中。 ACTIVE 已激活 跨源连接创建成功，与目的地址连接正常。 FAILED 已失败 跨源连接创建失败。 DELETED 已删除 跨源连接已被删除。

响应示例 { "is_success": true, "message": "", "connections": [ { "is_success": true, "message": "", "connection_id": "75419c22-7a31-42e4-a3f3-102f6e6895c9", "destination": "cloudtable-c172-zk3-WBFt4fr2.mycloudtable.com:2181,cloudtable-c172-zk2-LHZEWNau.mycloudtable.com:2181,cloudtable-c172-zk1-cvwY6lMh.mycloudtable.com:2181", "state": "DELETED", "process": 0, "name": "test", "connection_url": "", "cluster_name": "", "service": "CloudTable", "create_time": 1549092947256 } ] }

示例 请求样例： { "currentdb": "db1", "sql": "desc table1", "conf": [ "dli.sql.shuffle.partitions = 200" ] } 成功响应样例： { "is_success": true, "message": "", "job_id": "8ecb0777-9c70-4529-9935-29ea0946039c", "job_type": "DDL", "schema": [ { "col_name": "string" }, { "data_type": "string" }, { "comment": "string" } ], "rows": [ [ "c1", "int", null ], [ "c2", "string", null ] ] } 调用API出错后，将不会返回上述结果，而是返回错误码和错误信息，详细介绍请参见错误码。

功能介绍 该API用于通过执行SQL语句的方式向队列提交作业。 当前接口已废弃，不推荐使用。 作业包含以下类型：DDL、DCL、IMPORT、EXPORT、QUERY和INSERT。其中，IMPORT和EXPORT分别与导入数据（废弃）和与导出数据（废弃）的功能一致，区别仅在于实现方式不同。 另外，用户可使用其他API来对作业进行查询和管理。具体操作有： 查询作业状态 查询作业详细信息 查询作业结果（方式一）（废弃） 导出查询结果 查询所有作业 取消作业（废弃） 该API当响应消息中“job_type”为“DCL”时，为同步操作。 本章节介绍的API已过时，推荐使用提交SQL作业（推荐）介绍的API。

请求消息 表2 请求参数 参数 是否必选 参数类型 说明 sql 是 String 待执行的SQL语句。 currentdb 否 String SQL语句执行所在的数据库。当创建新数据库时，不需要提供此参数。 conf 否 Array of objects 用户定义适用于此作业的配置参数。目前支持的配置项： dli.sql.join.preferSortMergeJoin（是否优先使用SortMergeJoin） dli.sql.autoBroadcastJoinThreshold（自动使用BroadcastJoin的数据量阈值） dli.sql.caseSensitive（sql语句是否大小写敏感） dli.sql.shuffle.partitions（指定Shuffle过程中Partition的个数） dli.sql.cbo.enabled（是否打开CBO优化策略） dli.sql.cbo.joinReorder.enabled（开启CBO优化时，是否允许重新调整join的顺序）

响应消息 表3 响应参数 参数 是否必选 参数类型 说明 is_success 是 Boolean 当“job_type”为“DCL”时，为请求执行是否成功。“true”表示请求执行成功。 message 是 String 系统提示信息，执行成功时，信息可能为空。 job_id 是 String 此SQL语句将生成并提交一个新作业，返回此作业的ID，可用于获取作业状态和作业结果。 job_type 是 String 作业类型。 DDL DCL IMPORT EXPORT QUERY INSERT schema 否 Array of Map 当语句类型为DDL时，返回其结果的列名称及类型。 rows 否 Array of objects 当语句类型为DDL时，直接返回其执行结果。

响应示例 { "is_success": true, "message": "", "templates": [ { "name": "test2", "body": { "auto_recovery": false, "max_retry_times": 20, }, "group": "", "description": "", "type": "SPARK", "id": "3c92c202-b17c-4ed7-b353-ea08629dd671" } ], "count": 1 }

响应参数 表3 响应参数 参数 参数类型 说明 is_success Boolean 执行请求是否成功。“true”表示请求执行成功。 message String 系统提示信息，执行成功时，信息可能为空。 count Integer 返回的模板个数。 templates Array of Objects 模板信息列表。请参考表4。 表4 templates参数说明 参数 参数类型 说明 type String 模板类型。 id String 模板ID。 name String 模板名字。 body Object 模板内容，请参考表5。 group String 模板所在分组名。 description String 模板描述信息。 language String 语言。 owner String 模板的创建者。 表5 body参数说明 参数 参数类型 说明 file String 用户已上传到DLI资源管理系统的类型为jar或pyFile的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 className String 模板的Java/Spark主类。 cluster_name String 用于指定队列，填写已创建DLI队列的队列名称。 说明： 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 args Array of Strings 传入主类的参数，即应用程序参数。 sc_type String 计算资源类型，目前可接受参数A, B, C。如果不指定，则按最小类型创建。具体资源类型请参见表3。 jars Array of Strings 用户已上传到DLI资源管理系统的类型为jar的程序包名。也支持指定OBS路径，例如：obs://桶名/包名。 pyFiles Array of Strings 用户已上传到DLI资源管理系统的类型为pyFile的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 files Array of Strings 用户已上传到DLI资源管理系统的类型为file的资源包名。也支持指定OBS路径，例如：obs://桶名/包名。 modules Array of Strings 依赖的系统资源模块名，具体模块名可通过查询组内资源包（废弃）接口查看。 DLI系统提供了用于执行跨源作业的依赖模块，各个不同的服务对应的模块列表如下： CloudTable/MRS HBase: sys.datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: 不需要选 DWS: 不需要选 CSS: sys.datasource.css resources Array of Objects JSON对象列表，填写用户已上传到队列的类型为JSON的资源包名和类型。具体请见表4。 groups Array of Objects JSON对象列表，填写用户组类型资源，格式详见请求示例。如果“resources”中的“name”未进行type校验，只要此分组中存在这个名字的包即可。具体请见表5。 conf Object batch配置项，参考Spark Configuration。 name String 创建时用户指定的批处理名称，不能超过128个字符。 driverMemory String Spark应用的Driver内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 driverCores Integer Spark应用Driver的CPU核数。该配置项会替换sc_type中对应的默认参数。 executorMemory String Spark应用的Executor内存，参数配置例如2G, 2048M。该配置项会替换“sc_type”中对应的默认参数，使用时必须带单位，否则会启动失败。 executorCores Integer Spark应用每个Executor的CPU核数。该配置项会替换sc_type中对应的默认参数。 numExecutors Integer Spark应用Executor的个数。该配置项会替换sc_type中对应的默认参数。 obs_bucket String 保存Spark作业的obs桶，需要保存作业时配置该参数。 auto_recovery Boolean 是否开启重试功能，如果开启，可在Spark作业异常失败后自动重试。默认值为“false”。 max_retry_times Integer 最大重试次数。最大值为“100”，默认值为“20”。 feature String 作业特性。表示用户作业使用的Spark镜像类型。 basic：表示使用DLI提供的基础Spark镜像。 custom：表示使用用户自定义的Spark镜像。 ai：表示使用DLI提供的AI镜像。 spark_version String 作业使用Spark组件的版本号。 如果当前Spark组件版本为2.3.2，则不填写该参数。 如果当前Spark组件版本为2.3.3，则在“feature”为“basic”或“ai”时填写。若不填写，则使用默认的Spark组件版本号2.3.2。 image String 自定义镜像。格式为：组织名/镜像名:镜像版本。 queue String 用于指定队列，填写已创建DLI的队列名。必须为通用类型的队列。 说明： 兼容“cluster_name”参数，即如果使用“cluster_name”指定队列仍然有效。 推荐使用“queue”参数，“queue”参数与“cluster_name”参数两者不能同时存在。 catalog_name String 访问元数据时，需要将该参数配置为dli。

URI URI格式： GET /v3/{project_id}/templates?type=spark 参数说明 表1 URI参数说明 参数 是否必选 参数类型 描述 project_id 是 String 项目编号，用于资源隔离。获取方式请参考获取项目ID。 表2 query参数说明 参数 是否必选 参数类型 说明 type 是 String 模板类型。 取值范围： SPARK：Spark模板。 当前只支持配置Spark类型的模板。 keyword 否 String 模板名过滤关键字，模糊匹配，获取模板名含有该关键字的所有模板。 page-size 否 Integer 每页显示的最大结果行数，范围: [1, 100]。默认值为：50。 current-page 否 Integer 当前页码，默认为第一页。

请求示例 更新已有的SQL作业，更新后的作业名称为myjob，以共享模式运行在testQueue上。 { "name": "myjob", "desc": "这是我的第一个作业", "queue_name": "testQueue", "sql_body": "select * from source_table", "run_mode": "shared_cluster", "cu_number": 4, "parallel_number": 4, "checkpoint_enabled": false, "checkpoint_mode": "exactly_once", "checkpoint_interval": 10, "obs_bucket": "", "log_enabled": false, "smn_topic": "", "restart_when_exception": false, "idle_state_retention": 3600, "edge_group_ids": [ "62de1e1c-066e-48a8-a79d-f461a31b2ee1", "2eb00f85-99f2-4144-bcb7-d39ff47f9002" ], "dirty_data_strategy": "0", "udf_jar_url": "group/test.jar" }

请求消息 表2 请求参数说明 参数名称 是否必选 参数类型 说明 name 否 String 作业名称。长度限制：0-57个字符。 desc 否 String 作业描述。长度限制：0-512个字符。 queue_name 否 String 队列名称。长度限制：0-128个字符。 sql_body 否 String Stream SQL语句，至少包含source, query, sink三个部分。长度限制：0-1024*1024个字符。 run_mode 否 String 作业运行模式： shared_cluster：共享。 exclusive_cluster：独享。 edge_node：边缘节点。 默认值为“shared_cluster”。 cu_number 否 Integer 用户为作业选择的CU数量。默认值为“2”。 parallel_number 否 Integer 用户设置的作业并行数目。默认值为“1”。 checkpoint_enabled 否 Boolean 是否开启作业自动快照功能。 开启：true 关闭：false 默认：false checkpoint_mode 否 Integer 快照模式,。两种可选： 1：表示exactly_once，数据只被消费一次。 2：at_least_once，数据至少被消费一次。 默认值为1。 checkpoint_interval 否 Integer 快照时间间隔。单位为秒，默认值为“10”。 obs_bucket 否 String 当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名称。 log_enabled 否 Boolean 是否开启作业的日志上传到用户的OBS功能。默认为“false”。 smn_topic 否 String 当作业异常时，向该SMN主题推送告警信息。 restart_when_exception 否 Boolean 是否开启作业异常自动重启。默认为“false”。 idle_state_retention 否 Integer 空闲状态过期周期，单位为秒，默认值为“3600”。 edge_group_ids 否 Array of Strings 边缘计算组ID列表, 多个ID以逗号分隔。 dirty_data_strategy 否 String 作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。 默认值为“0”。 udf_jar_url 否 String 用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar通过该参数传入。 Flink1.15及以上版本在创建作业时仅支持配置OBS中的程序包，不支持读取DLI程序包。 manager_cu_number 否 Integer 用户为作业选择的管理单元（jobmanager）CU数量，默认值为“1”。 tm_cus 否 Integer 每个taskmanager的CU数，默认值为“1”。 tm_slot_num 否 Integer 每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。 operator_config 否 String 算子的并行度配置。 resume_checkpoint 否 Boolean 异常重启是否从checkpoint恢复。 resume_max_num 否 Integer 异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。 static_estimator_config 否 String 每个算子的流量/命中率配置，json格式的字符串。例如： {"operator_list":[{"id":"0a448493b4782967b150582570326227","rate_factor":0.55},{"id":"6d2677a0ecc3fd8df0b72ec675edf8f4","rate_factor":1},{"id":"ea632d67b7d595e5b851708ae9ad79d6","rate_factor":0.55},{"id":"bc764cd8ddf7a0cff126f51c16239658","output_rate":2000}]} runtime_config 否 String Flink作业运行时自定义优化参数。 flink_version 否 String Flink版本。 execution_agency_urn 否 String 授权给DLI的委托名。Flink1.15版本时支持配置该参数。 resource_config_version 否 String 资源配置版本。可选值 "v1" ,"v2".默认为“v1”。 v2版本对比于v1模版不支持设置CU数量，支持直接设置Job Manager Memory和Task Manager Memory。 v1：适用于Flink 1.12、Flink 1.13、Flink 1.15 v2：适用于Flink 1.13、Flink 1.15、Flink 1.17 优先推荐使用V2版本的参数设置。 resource_config 否 Object Flink 作业的资源配置。 具体参数说明请参考表3。 资源配置版本 为 "v2"时，配置生效，资源配置版本 为 "v1"时，配置无效。 表3 resource_config参数说明 参数名称 是否必选 参数类型 说明 max_slot 否 integer 该参数用于设置单个TaskManager可以提供的并行任务数量。每个Task Slot可以并行执行一个任务。增加 Task Slots 可以提高 TaskManager 的并行处理能力，但也会增加资源消耗。 Task Slots的数量与TaskManager的CPU数相关联，因为每个CPU可以提供一个Task Slot。 单TM Slot默认值为1。最小并行数不能小于1。 parallel_number 否 integer 作业的并行数，指作业中各个算子的并行执行的子任务的数量，算子的子任务数就是其对应算子的并行度。默认值为“1”。 jobmanager_resource_spec 否 Object JobManager资源规格。具体参数说明请参考表4。 taskmanager_resource_spec 否 Object TaskManager资源规格。具体参数说明请参考表5。 表4 jobmanager_resource_spec参数说明 参数名称 是否必选 参数类型 说明 cpu 否 double JobManager可以使用的CPU核数，默认值为1.0个CPU核数，最低不得小于0.5个CPU核数 memory 否 string JobManager可以使用的内存，单位MB，GB。默认GB。默认值为4GB，最低不得小于2G。 表5 taskmanager_resource_spec参数说明 参数名称 是否必选 参数类型 说明 cpu 否 double TaskManager可以使用的CPU核数，默认值为1.0个CPU核数，最低不得小于0.5个CPU核数 memory 否 string TaskManager可以使用的内存，单位MB,GB。默认GB。默认值为4GB，最低不得小于2G

响应示例 { "resources": [ { "create_time": 1521532893736, "update_time": 1521552364503, "resource_type": "jar", "resource_name": "luxor-router-1.1.1.jar", "status": "READY", "underlying_name": "3efffb4f-40e9-455e-8b5a-a23b4d355e46_luxor-router-1.1.1.jar" } ], "groups": [ { "group_name": "groupTest", "status": "READY", "resources": [ "part-00000-9dfc17b1-2feb-45c5-b81d-bff533d6ed13.csv.gz", "person.csv" ], "details": [ { "create_time": 1547090015132, "update_time": 1547090015132, "resource_type": "jar", "resource_name": "part-00000-9dfc17b1-2feb-45c5-b81d-bff533d6ed13.csv.gz", "status": "READY", "underlying_name": "db50c4dc-7187-4eb9-a5d0-73ba8102ea5e_part-00000-9dfc17b1-2feb-45c5-b81d-bff533d6ed13.csv.gz" }, { "create_time": 1547091098668, "update_time": 1547091098668, "resource_type": "file", "resource_name": "person.csv", "status": "READY", "underlying_name": "a4243a8c-bca6-4e77-a968-1f3b00217474_person.csv" } ], "create_time": 1547090015131, "update_time": 1547091098666 } ], "modules": [ { "module_name": "gatk", "status": "READY", "resources": [ "gatk.jar", "tika-core-1.18.jar", "s3fs-2.2.2.jar" ], "create_time": 1521532893736, "update_time": 1521552364503 } ] }