数据湖探索 DLI-新建SQL作业:请求消息

时间：2024-05-14 09:40:02

数据湖探索 DLI

请求消息

表2 请求参数说明
参数名称	是否必选	参数类型	说明
name	是	String	作业名称。长度限制：1-57个字符。
desc	否	String	作业描述。长度限制：0-512个字符。
template_id	否	Integer	模板ID。如果“template_id”和“sql_body”都不为空，优先选择“sql_body”的内容；如果“template_id”不为空，“sql_body”为空，选择“template_id”的内容填充“sql_body”。
queue_name	否	String	队列名称。长度限制：0-128个字符。
sql_body	否	String	Stream SQL语句，至少包含source, query, sink三个部分。长度限制：1024*1024个字符。
run_mode	否	String	作业运行模式： shared_cluster：共享。 exclusive_cluster：独享。 edge_node：边缘节点。默认值为“shared_cluster”。
cu_number	否	Integer	用户为作业选择的CU数。默认值为“2”。 CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。管理单元参数设置详见：manager_cu_number。
parallel_number	否	Integer	用户设置的作业并行数目。默认值为“1”。并行数是指同时运行Flink SQL作业的最大任务数。适度增加并行数会提高作业整体算力，但也须考虑线程增多带来的切换开销。最大并行数不能大于计算单元（CU数量-管理单元）的4倍。管理单元参数设置详见：manager_cu_number。
checkpoint_enabled	否	Boolean	是否开启作业自动快照功能。开启：true 关闭：false 默认：false
checkpoint_mode	否	Integer	快照模式,。两种可选： 1：表示exactly_once，数据只被消费一次。 2：表示at_least_once，数据至少被消费一次。默认值为1。
checkpoint_interval	否	Integer	快照时间间隔。单位为秒，默认值为“10”。
obs_bucket	否	String	当“checkpoint_enabled”为“true”时，该参数是用户授权保存快照的OBS桶名。当“log_enabled” 为“true”时，该参数是用户授权保存作业日志的OBS桶名。
log_enabled	否	Boolean	是否开启作业的日志上传到用户的OBS功能。默认为“false”。
smn_topic	否	String	当作业异常时，向该SMN主题推送告警信息。
restart_when_exception	否	Boolean	是否开启作业异常自动重启。默认为“false”。
idle_state_retention	否	Integer	空闲状态保留时间。单位为秒，默认值为“3600”。
job_type	否	String	作业类型：flink_sql_job、flink_opensource_sql_job。默认值：“flink_opensource_sql_job”。 “run_mode”为“exclusive_cluster”时，作业类型须为“flink_sql_job”或“flink_opensource_sql_job”。 “run_mode””为“shared_cluster”时作业类型必须为”flink_sql_job“。
edge_group_ids	否	Array of Strings	边缘计算组ID列表, 多个ID以逗号分隔。
dirty_data_strategy	否	String	作业脏数据策略。 “2:obsDir”：保存，obsDir表示脏数据存储路径。 “1”：抛出异常。 “0”：忽略。默认值为“0”。
udf_jar_url	否	String	用户已上传到DLI资源管理系统的资源包名，用户sql作业的udf jar包通过该参数传入。
manager_cu_number	否	Integer	用户为作业选择的管理单元（jobmanager）CU数量，默认值为“1”。
tm_cus	否	Integer	每个taskmanager的CU数，默认值为“1”。
tm_slot_num	否	Integer	每个taskmanager的slot数，默认值为“(parallel_number*tm_cus)/(cu_number-manager_cu_number)”。
resume_checkpoint	否	Boolean	异常重启是否从checkpoint恢复。
resume_max_num	否	Integer	异常重试最大次数，单位：次/小时。取值范围：-1或大于0。默认值为“-1”，表示无限次数。
tags	否	Array of Objects	Flink SQL作业的标签。具体请参考表3。
runtime_config	否	String	Flink作业运行时自定义优化参数。
flink_version	否	String	Flink版本。当前只支持1.10和1.12。

表3 tags参数
参数名称	是否必选	参数类型	说明
key	是	String	标签的键。说明：标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格，不能以_sys_开头。
value	是	String	标签的值。说明：标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : =+-@ ,但首尾不能含有空格。