检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DLI Flink作业提交运行后(已选择保存作业日志到OBS桶),提交运行失败的情形(例如:jar包冲突),有时日志不会写到OBS桶中 DLI Flink作业提交或运行失败时,对应生成的作业日志保存方式,包含以下三种情况: 提交失败,只会在submit-client下生成提交日志。
关联OBS桶中嵌套的JSON格式数据如何创建表 如果需要关联OBS桶中嵌套的JSON格式数据,可以使用异步模式创建表。
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
Spark作业访问OBS数据时报ResponseCode: 403和ResponseStatus: Forbidden错误 问题现象 Spark程序访问OBS数据时上报如下错误。
上传数据到OBS桶:通过OBS管理控制台或者使用命令行工具将存储在sftp中的文件数据上传到OBS桶中。 Spark读取OBS文件数据,详见使用Spark Jar作业读取和查询OBS数据。 配置Spark作业:配置Spark作业访问OBS中存储的数据。
有访问OBS对应的桶的权限,但是Spark作业访问时报错 verifyBucketExists on XXXX: status [403] 该报错信息可能是由于OBS桶被设置为了DLI日志桶,而日志桶不能用于DLI的其他业务功能。
导入数据(废弃) 功能介绍 该API用于将数据从文件导入DLI或OBS表,目前仅支持将OBS上的数据导入DLI或OBS中。 当前接口已废弃,不推荐使用。 该API为异步操作。 导入数据时,可选择已存在的OBS桶路径或新建OBS桶路径,但只能指定一个OBS桶路径。
从DLI导入数据到OBS,数据量不一致怎么办? 问题现象 使用DLI插入数据到OBS临时表文件,数据量有差异。 根因分析 出现该问题可能原因如下: 作业执行过程中,读取数据量错误。 验证数据量的方式不正确。
如果数据存储在OBS服务中,则DLI服务不收取存储费用,对应的费用由OBS服务收取。 计费规则 表1 DL数据存储计费规则 类型 说明 存储资源 存储费用=单价*存储数据量(GB)*小时数 按照存储在DLI服务中的数据存储量(单位为“GB”)收取存储费用。
图1 avro类型的OBS创建失败 根因分析 当前Spark2.3.x不支持创建avro类型的OBS表,Spark2.4.x及以上的版本支持avro类型的OBS表。
手动在OBS表的分区目录下添加了数据,但是无法查询到数据怎么办? 问题现象 手动在OBS表的分区目录下上传了分区数据,但是在SQL编辑器中查询该表新增的分区数据时却查询不到。 解决方案 手动添加分区数据后,需要刷新OBS表的元数据信息。
You can use it to import data stored in OBS to a created DLI or OBS table.
Spark如何将数据写入到DLI表中 使用Spark将数据写入到DLI表中,主要设置如下参数: fs.obs.access.key fs.obs.secret.key fs.obs.impl fs.obs.endpoint 示例如下: import logging from operator
LOAD数据到OBS外表报错:IllegalArgumentException: Buffer size too small. size 问题描述 在Spark SQL作业中,使用LOAD DATA命令导入数据到DLI表中时报如下错误: error.DLI.0001: IllegalArgumentException
OBS路径:选择1.aegg包所在的OBS路径。 分组设置和分组名称根据情况选择。 单击“确定”完成程序包上传。 在报错的Spark作业编辑页面,“依赖python文件”处选择已上传的egg程序包,重新运行Spark作业。
如果选择的OBS桶是未授权状态,需要单击“OBS授权”。 日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
To query DLI jobs, use the Querying All Jobs API.
确保执行作业的用户具备该作业桶的读写权限,或授予作业桶“jobs/result”路径的读写权限。 详细操作请参考自定义创建桶策略。 获取DLI桶中的作业结果请参考《对象存储用户指南》中“对象管理 > 下载”。
解决措施 请检查OBS桶权限,确保账号有权限访问报错信息中提到的OBS桶。 如果没有,需要联系OBS桶的管理员添加桶的访问权限。 父主题: SQL作业运维类
)]; 关键字 表1 关键字说明 参数 描述 tablename 需要执行Truncate命令的DLI表或者OBS表的名称。 partcol1 需要删除的DLI表或者OBS表的分区名称。 注意事项 只支持清除DLI表或者OBS表的数据。