检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以上参数可以登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索对应参数获取。
图1 为Hudi用户组赋予OBS路径读和写权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
父主题: MRS集群服务对接OBS示例
roViewDF.createOrReplaceTempView("hudi_ro_table") spark.sql("select * from hudi_ro_table").show() 图1 查看表数据 执行以下命令退出spark-shell命令行: :q 父主题: MRS集群服务对接
父主题: MRS集群服务对接OBS示例
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
配置Spark通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。
图1 为Flink用户组新增OBS路径读和写的权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
配置Mapreduce通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,MapReduce服务还需参考本章节新增自定义配置。
父主题: MRS集群服务对接OBS示例
图2 查看日志级别 父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
图3 缺少MySQL驱动包报错 父主题: MRS集群服务对接OBS示例
hive.demo01.demo_table WITH (format = 'ORC') AS SELECT * FROM tpch.sf1.customer; 图2 开启Kerberos认证的集群Presto建表返回结果 执行以下命令退出客户端: exit 父主题: MRS集群服务对接
/flume-manager.sh restart 在OBS系统中查看结果。 登录OBS控制台。 单击“并行文件系统”,进入1中创建的并行文件系统中的文件夹查看结果。 父主题: MRS集群服务对接OBS示例
单击“服务状态”页签,选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功,则表示MapReduce对接OBS成功。