REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。
REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。
REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。
REST API是访问Web服务器的一套API。当前在Flink中,Web服务器是JobManager的一个模块,和JobManager共进程。
参数“obs://wordcount01/output/”中的OBS文件系统名需要替换为实际环境创建的文件系统名,目录output为一个不存在的目录,具体以实际为准。 服务配置参数无需填写。 只有集群处于“运行中”状态时才能提交作业。
set fs.obs.access.key=AK; set fs.obs.secret.key=SK; set metaconf:fs.obs.access.key=AK; set metaconf:fs.obs.secret.key=SK; 新建表的存储类型为obs。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为OBS。
在“委托”页面,将鼠标移动到新创建的委托名称上,获取具备访问OBS权限的委托ID。 创建对接ECS/BMS云服务委托 登录华为云管理控制台,选择“统一身份认证服务”。 在左侧导航栏选择“委托”,单击右上角的“创建委托”,设置相关参数,单击“下一步”。
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
步骤2:准备样例程序和数据 创建OBS并行文件系统,用于存放Spark样例程序、样例数据、作业执行结果和日志。 登录华为云管理控制台。 在“服务列表”中,选择“存储 > 对象存储服务”。
例如:username=testuser @password=用户密码 wordcount obs://mrs-demotest/input/data1.txt obs://mrs-demotest/output/demo1 服务配置参数 可选参数,用于为本次执行的作业修改服务配置参数
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 登录MRS集群Manager界面,具体请参见访问MRS集群Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。
存算分离常见问题 运行MRS作业时如何读取OBS加密数据 HDFS对接OBS业务应用开发样例说明 MRS集群客户端如何通过AK/SK信息对接OBS 访问MRS集群Manager(2.x及之前版本) MRS集群Core节点扩容成功后状态异常如何处理 Sqoop导入或导出数据时报错缺少
数据导出 概述 使用Loader导出数据 典型场景:从HDFS/OBS导出数据到SFTP服务器 典型场景:从HBase导出数据到SFTP服务器 典型场景:从Hive导出数据到SFTP服务器 典型场景:从HDFS/OBS导出数据到关系型数据库 典型场景:从HBase导出数据到关系型数据库
不同Region 当源集群与目标集群处于不同Region时,用Distcp工具将源集群数据复制到OBS,借助OBS跨区域复制功能(请参见跨区域复制)将数据复制到对应目的集群所在Region的OBS,然后通过Distcp工具将OBS数据复制到目的集群的HDFS上。
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。
用户可以进入Yarn的WebUI页面,选择“Jobs > Running Jobs”查看提交的作业如图3。选择“Task Managers ”可以看到有两个任务如图4。分别单击任意Task,选择“Stdout”查看该任务的输出结果如图5和图6。