检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
请在设置委托的授权范围时分别对OBS权限和DLI权限授权范围: OBS权限请选择“全局服务资源” DLI权限选择“指定区域项目资源” { "Version": "1.1", "Statement": [ { "Effect":
使用CTS审计DLI服务 通过云审计服务,您可以记录与DLI服务相关的操作事件,便于日后的查询、审计和回溯。
所有资源:授权后,IAM用户可以根据权限使用账号中所有资源,包括企业项目、区域项目和全局服务资源。 全局服务资源:全局服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。
jobs?
权限策略和授权项 如果您需要对您所拥有的DLI服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用DLI服务的其它功能
将数据上传到对象存储服务OBS。 步骤2:使用DLI将CSV数据转换为Parquet数据。将CSV数据导入DLI,并将CSV数据转换为Parquet数据。
分区相关 添加分区(只支持OBS表) 重命名分区(只支持OBS表) 删除分区 指定筛选条件删除分区(只支持OBS表) 修改表分区位置(只支持OBS表) 更新表分区信息(只支持OBS表) REFRESH TABLE刷新表元数据 父主题: 表相关
batchRunFlinkJobsResponse = client.batchRunFlinkJobs( new BatchRunFlinkJobsRequest() .withBody(new BatchRunFlinkJobsRequestBody
list jobs.
父主题: 配置DLI访问其他云服务的委托权限
生命周期主要提供定期回收表或分区的功能,每天根据服务的繁忙程度,不定时回收。不能确保表或分区的生命周期到期后,立刻被回收。 删除表后,表的所有属性信息全部会删除,包括生命周期。新建同名表后,表的生命周期以新设置的属性为准。
Note: Adjust the table structure, table data directory, and OBS storage path based on site requirements.
Note: Adjust the table structure, table data directory, and OBS storage path based on site requirements.
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
Reference link: Key SDK API: com.huaweicloud.sdk.dli.v1.DliClient#showSparkJobStatus(ShowSparkJobStatusRequest) Sample code: 1 2 3 4 5
list jobs.
Java SDK (DLI SDK V1) Overview Queue-Related SDKs Resource-Related SDKs SDKs Related to SQL Jobs SDKs Related to Flink Jobs SDKs Related to Spark
500 内部服务器错误。 错误码 调用接口出错后,将不会返回上述结果,而是返回错误码和错误信息,更多介绍请参见错误码。 父主题: 表相关API(废弃)
SQL作业运维类 用户导表到OBS报“path obs://xxx already exists”错误 对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中?