检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为OBS。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 安装在集群外的MRS客户端如何访问OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 fs.obs.guardian.enabled true 是否开启使用Guardian。
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
步骤2:准备样例程序和数据 创建OBS并行文件系统,用于存放Spark样例程序、样例数据、作业执行结果和日志。 登录华为云管理控制台。 在“服务列表”中,选择“存储 > 对象存储服务”。
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 在MRS Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。 “服务”选择服务,“主机”填写服务所部署主机的IP,“开始时间”与“结束时间”选择对应的开始与结束时间。
例如:username=testuser @password=用户密码 wordcount obs://mrs-demotest/input/data1.txt obs://mrs-demotest/output/demo1 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数
不同Region 当源集群与目标集群处于不同Region时,用Distcp工具将源集群数据复制到OBS,借助OBS跨区域复制功能(请参见跨区域复制)将数据复制到对应目的集群所在Region的OBS,然后通过Distcp工具将OBS数据复制到目的集群的HDFS上。
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
例如:username=testuser @password=用户密码 --input obs://mrs-demotest/input/data2.txt --output obs://mrs-demotest/output.txt 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数
创建Loader数据导出作业 使用Loader导出MRS集群内数据 使用Loader从HDFS/OBS导出数据到SFTP服务器 使用Loader从HBase导出数据到SFTP服务器 使用Loader从Hive导出数据到SFTP服务器 使用Loader从HDFS/OBS导出数据到关系型数据库
数据导入 概述 使用Loader导入数据 典型场景:从SFTP服务器导入数据到HDFS/OBS 典型场景:从SFTP服务器导入数据到HBase 典型场景:从SFTP服务器导入数据到Hive 典型场景:从FTP服务器导入数据到HBase 典型场景:从关系型数据库导入数据到HDFS/OBS
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。
包升级 MRS 1.9.0.1 修复问题列表: MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
JobGateway服务由JobBalancer和JobServer两个角色组成,其中,JobBalancer是作业REST请求转发的网关,将作业请求转发到不同的jobserver实例,提供负载均衡的能力;JobServer是大数据作业提交的主要执行者,能根据不同的作业类型,构造提交上下文