华为云首页用户手册

MAPREDUCE服务 MRS-Flink对接OBS文件系统

MAPREDUCE服务 MRS-Flink对接OBS文件系统

时间：2023-11-27 11:14:58

MAPREDUCE服务 MRS

Flink对接OBS文件系统

使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。

使用安装客户端的用户登录Flink客户端安装节点。
执行如下命令初始化环境变量。
source ${client_home}/bigdata_env
需要配置好Flink客户端。具体配置参考安装客户端（3.x及之后版本）。
如果是安全集群，使用以下命令进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。
kinit 用户名
在Flink命令行显式添加要访问的OBS文件系统。
例如如下格式提交任务：

./bin/flink run --class com.huawei.bigdata.flink.examples.FlinkProcessingTimeAPIMain ./config/FlinkCheckpointJavaExample.jar --chkPath obs://OBS并行文件系统名称

由于Flink作业是On Yarn运行，在配置Flink对接OBS文件系统之前需要确保Yarn对接OBS文件系统功能是正常的。

父主题： MRS集群组件对接OBS（基于委托）

上一篇：MAPREDUCE服务 MRS-MRS 1.9.3.9及之后版本补丁说明:MRS 1.9.3.10补丁说明

下一篇：MAPREDUCE服务 MRS-Sqoop对接外部存储系统:导入或导出数据时缺少MySQL驱动包

MAPREDUCE服务 MRS-Flink对接OBS文件系统

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题