检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果需要运行像Flink和SparkStreaming这样的长时作业时,用户可通过“服务配置参数”选项框传入永久的accesskey和secretkey,以保证作业不会在运行过程中因密钥过期而执行失败。 父主题: 作业管理类
连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。 单击“授权记录”,单击权限列表中各个策略的名称。
前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Spark对接OBS,具体请参考配置Spark通过Guardian访问OBS。
前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成HetuEngine对接OBS,具体请参考配置HetuEngine通过Guardian访问OBS。
典型场景:从HDFS/OBS导入数据到HBase 操作场景 该任务指导用户使用Loader将文件从HDFS/OBS导入到HBase。 前提条件 创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的HDFS/OBS目录和数据。
若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问OBS文件系统下的目录的权限,则还需配置回收站目录的操作权限。
表1 输入设置参数 参数名 解释说明 示例 HBase实例 在HBase作业中,Loader支持从集群可添加的所有HBase服务实例中选择任意一个。如果选定的HBase服务实例在集群中未添加,则此作业无法正常运行。
连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。 单击“授权记录”,单击权限列表中各个策略的名称。
</description> </property> MRS服务的默认配置文件中已经添加了OBS的实现类来对接OBS,如下所示: <property> <name>fs.AbstractFileSystem.obs.impl</name> <value>org.apache.hadoop.fs.obs.OBS
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景
Hive ORC数据存储优化 操作场景 “ORC”是一种高效的列存储格式,在压缩比和读取效率上优于其他文件格式。 建议使用“ORC”作为Hive表默认的存储格式。 前提条件 已登录Hive客户端,具体操作请参见Hive客户端使用实践。 操作步骤 推荐:使用“SNAPPY”压缩,适用于压缩比和读取效率要求均衡场景
前提条件 Guardian服务正常,且已开启存算分离,具体请参考配置Guardian服务对接OBS。 已完成Hive对接OBS,具体请参考配置Hive通过Guardian访问OBS。
MRS既可以处理OBS中的数据,也可以处理HDFS中的数据。在使用MRS分析数据前,需要先准备数据。 将本地数据上传OBS。 登录OBS管理控制台。
HDFS客户端无法删除超长目录 问题描述 执行hadoop fs -rm -r -f obs://<obs_path>命令,删除OBS超长目录出现如下报错: 2022-02-28 17:12:45,605 INFO internal.RestStorageService: OkHttp
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。
查询作业exe对象详情(废弃) 功能介绍 查询指定作业的exe对象详细信息。该接口不兼容Sahara。 URI URI格式 GET /v1.1/{project_id}/job-exes/{job_exe_id} 参数说明 表1 URI参数说明 名称 是否必选 说明 project_id
删除作业执行对象(废弃) 功能介绍 删除指定的作业执行对象。该接口兼容Sahara。 URI URI格式 DELETE /v1.1/{project_id}/job-executions/{job_execution_id} 参数说明 表1 URI参数说明 名称 是否必选 说明 project_id
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 创建ZSTD压缩格式的Hive表 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
对系统的影响 OBS元数据接口调用成功率小于阈值,会影响上层大数据计算业务的正常执行,导致某些计算任务的执行失败。 可能原因 OBS服务端出现执行异常或严重超时。 处理步骤 检查堆内存使用率。