检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark SQL作业开发 使用Spark SQL作业分析OBS数据 介绍使用Spark SQL作业创建OBS表、导入OBS表数据、插入和查询OBS表数据等操作。
OBS桶 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态，需要单击“OBS授权”。 作业异常告警 设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。
while (cur < jobCount) { ListSqlJobsResponse listSqlJobsResponse = dliClient.listSqlJobs(req); List<SqlJob> jobs = listSqlJobsResponse.getJobs
while cur < job_count: list_sql_jobs_response = client.inner_client.list_sql_jobs(req) jobs = list_sql_jobs_response.jobs
OBS表压缩率较高 更多 跨源连接相关问题 Flink作业性能调优方法 更多 Spark作业相关问题 Spark队列操作OBS表如何设置AK/SK？ 更多 Flink作业相关问题 怎样将OBS表映射为DLI的分区表？
Reference link: Key SDK API: com.huaweicloud.sdk.dli.v1.DliClient#showSparkJobStatus(ShowSparkJobStatusRequest) Sample code: 1 2 3 4 5
list jobs.
`obs://bucket0/db0/table0`;
DLI数据导入指引 DLI支持在不迁移数据的情况下，直接对OBS中存储的数据进行查询分析，您只需要将数据上传OBS即可使用DLI进行数据分析。 当需要将来自不同源的数据进行集中存储和处理时，迁移数据至DLI可以提供一个统一的数据平台。
表1 原生数据类型 数据类型 描述 存储空间 范围 OBS表支持情况 DLI表支持情况 INT 有符号整数 4字节 -2147483648～2147483647 是 是 STRING 字符串 - - 是 是 FLOAT 单精度浮点型 4字节 - 是 是 DOUBLE 双精度浮点型
location_path OBS路径，指定该路径Hudi表会创建为外表。 options_list Hudi table属性列表。
krb5_conf String krb5配置文件obs路径。 keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。
krb5_conf String krb5配置文件obs路径。 keytab String keytab配置文件obs路径。 truststore_location String truststore配置文件obs路径。
如果数据存储在OBS服务中，则DLI服务不收取存储费用，对应的费用由OBS服务收取。 扫描量计费 按照用户每个作业的数据扫描量（单位为“GB”）收取计算费用。 当前仅适用于在默认default队列中提交作业按扫描数据量计费。 CU是弹性资源池的计价单位。
batchRunFlinkJobsResponse = client.batchRunFlinkJobs( new BatchRunFlinkJobsRequest() .withBody(new BatchRunFlinkJobsRequestBody
Flink作业相关API（废弃） 查询作业监控信息（废弃） OBS授权给DLI服务 父主题： 历史API
示例 create table if not exists parquet_table0 (id int,name string,price double) using parquet location 'obs://bucket_name0/db0/parquet_table0'
obs_bucket="your_obs_bucket_name", # Name of the OBS bucket authorized by the user to store job logs when log_enabled is set to true.
表相关 创建OBS表 创建DLI表 删除表 查看表 修改表 分区相关 多版本备份恢复数据
图10 生成Jar包 登录OBS控制台，将生成的Jar包文件上传到OBS路径下。 Jar包文件上传的OBS桶所在的区域需与DLI的队列区域相同，不可跨区域执行操作。 （可选）可以将Jar包文件上传到DLI的程序包管理中，方便后续统一管理。
