语法格式 1 DROP TABLE [IF EXISTS] [db_name.]table_name; 关键字 OBS表:仅删除其元数据信息,不删除存放在OBS上的数据。 DLI表:删除其数据及相应的元数据信息。
在DLI环境,Hudi表的数据文件存储在OBS上,因此可以通过查看OBS文件检查。 如下,展示了Hudi 多级分区COW表存储结构的示意。
否,则运行日志不会转储OBS桶,需要先执行2保存作业运行日志。 在作业运行界面勾选“保存作业日志”,在“OBS桶”参数选择存储运行日志的OBS桶。单击“启动”重新运行作业。作业重新运行完成后再执行3及后续步骤。
说明: 当前schame只支持obs和hdfs。 当schema为obs时,表示输出到对象存储服务OBS。注意,OBS必须是并行文件系统,不能是OBS桶。
分区表分为两种,OBS表和DLI表。在删除分区时,DLI表和OBS表都支持利用指定条件删除分区表的一个或多个分区。OBS表还支持按指定筛选条件删除分区。 注意事项 所要删除分区的表必须是已经存在的表,否则会出错。
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
在导入保存点界面选择Checkpoint的OBS桶路径,Checkpoint保存路径为:“桶名/jobs/checkpoint/作业id开头的目录”。单击“确定”完成导入操作。 再次启动Flink作业,即从对应的检查点路径恢复作业。 父主题: Flink作业咨询类
URI URI格式: DELETE /v1.0/{project_id}/queues/{queue_name}/jobs/{job_id} 参数说明 表1 URI 参数 名称 是否必选 说明 project_id 是 项目编号,用于资源隔离。获取方式请参考获取项目ID。
zip_file 否 Array of Strings 导出的作业zip包文件名,保存在OBS上。 请求示例 导出ID为100的作业至OBS。
请求示例 从OBS导入Flink作业数据,如果导入的作业与服务已有的作业同名,是否覆盖服务中已有的作业。
表4 payload参数说明 参数名称 是否必选 参数类型 说明 jobs 否 Array of Objects 所有作业监控信息。具体请参考表5。 表5 jobs参数说明 参数名称 是否必选 参数类型 说明 job_id 否 Long 作业ID。
obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名称。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名称。
obs_bucket 否 String 当“checkpoint_enabled”为“true”时,该参数是用户授权保存快照的OBS桶名。 当“log_enabled” 为“true”时,该参数是用户授权保存作业日志的OBS桶名。
URI URI格式 POST /v1.0/{project_id}/streaming/jobs/delete 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。获取方式请参考获取项目ID。
URI URI格式 GET /v1.0/{project_id}/streaming/jobs/{job_id}/execute-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
Flink1.15推荐配置OBS中的程序包,不推荐使用DLI程序包。Flink1.15以上版本将不再支持读取DLI程序包。 示例:"[obs://bucket_name/file1, obs://bucket_name/file2]"。
URI URI格式 POST /v3/{project_id}/streaming/jobs/{job_id}/gen-graph 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: SQL作业相关API
URI URI格式 DELETE /v1.0/{project_id}/streaming/jobs/{job_id} 参数说明 表1 URI参数说明 参数名称 是否必选 参数类型 说明 project_id 是 String 项目编号,用于资源隔离。