检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
SQL作业运维类 用户导表到OBS报“path obs://xxx already exists”错误 对两个表进行join操作时,提示:SQL_ANALYSIS_ERROR: Reference 't.id' is ambiguous, could be: t.id, t.id.
SQL作业开发类 SQL作业使用咨询 如何合并小文件 DLI如何访问OBS桶中的数据 创建OBS表时怎样指定OBS路径 关联OBS桶中嵌套的JSON格式数据如何创建表 count函数如何进行聚合 怎样将一个区域中的DLI表数据同步到另一个区域中?
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。
创建OBS外表,由于OBS文件中的某字段存在换行符导致表字段数据错误怎么办? join表时没有添加on条件,造成笛卡尔积查询,导致队列资源爆满,作业运行失败怎么办? 手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办?
命令格式 call show_invalid_parquet(path => 'path') 参数描述 表1 参数描述 参数 描述 是否必填 path 需要查询的FS路径 是 示例 call show_invalid_parquet(path => 'obs://path/hudi_table
所需权限 SQL权限 表2 CREATE TABLE所需权限列表 权限描述 数据库的CREATE_TABLE权限 细粒度权限:dli:database:createTable LakeFormation提供的元数据服务,权限配置详见LakeFormation文档。
说明 文件路径,该路径是OBS路径。 父主题: 标示符
CSS安全集群配置 准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能,开启安全模式后,将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时,需要先进行以下准备工作。
Spark作业运维类 运行Spark作业报java.lang.AbstractMethodError Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 有访问OBS对应的桶的权限,但是Spark作业访问时报错
Spark Jar作业开发指南 使用Spark Jar作业读取和查询OBS数据 使用Spark作业访问DLI元数据 使用Spark作业跨源访问数据源 Spark Jar 使用DEW获取访问凭证读写OBS 获取Spark作业委托临时凭证用于访问其他云服务
目前只支持: obs_adm:DLI获得访问和使用OBS的委托权限。 dis_adm:访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)DIS Administrator权限。
Flink作业输出流写入数据到OBS,通过该OBS文件路径创建的DLI表查询无数据 Flink SQL作业运行失败,日志中有connect to DIS failed java.lang.IllegalArgumentException: Access key cannot be
500 内部服务器错误。 错误码 请参见错误码。 父主题: Flink作业管理相关API
在DLI控制台管理表资源 在DLI控制台配置表权限 在DLI控制台删除表 在DLI控制台修改表所有者 将OBS数据导入至DLI的表 导出DLI表数据至OBS中 在DLI控制台预览表数据 父主题: 创建数据目录、数据库和表
有以下两种方式管理程序包: (推荐使用)上传至OBS管理程序包:提前将对应的jar包上传至OBS桶中,在作业配置时选择对应的OBS路径。
DLI 表(OBS表 / DLI 表 )数据支持删除某行数据吗? DLI 表(OBS表 / DLI 表 )数据暂不支持删除某行数据。 父主题: SQL作业开发类
数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态: 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据,如DIS、OBS、CloudTable、MRS、RDS、SMN、DCS等。
to create an OBS table.
To query DLI jobs, use the Querying All Jobs API.
Parent topic: SDKs Related to SQL Jobs