MAPREDUCE服务 MRS-提交Loader任务:操作步骤
操作步骤
- 以客户端安装用户,登录安装Oozie客户端的节点。
- 执行以下命令,获取安装环境信息。其中“/opt/client”为客户端安装路径,该操作的客户端目录只是举例,请根据实际安装目录修改。
source /opt/client/bigdata_env
- 判断集群认证模式。
- 安全模式,执行kinit命令进行用户认证。
例如,使用oozieuser用户进行认证。
kinit oozieuser
- 普通模式,执行4。
- 安全模式,执行kinit命令进行用户认证。
- 执行以下命令,进入样例目录。
cd /opt/client/Oozie/oozie-client-*/examples/apps/sqoop/
该目录下需关注文件如表1所示。
- 执行以下命令,编辑“job.properties”文件。
vi job.properties
修改如下内容:
更改“userName”的参数值为提交任务的人机用户名,例如“userName=oozieuser”。
- 执行以下命令,编辑“workflow.xml”文件。
vi workflow.xml
修改如下内容:
“command”的值修改为需要调度的已有Loader作业ID,例如1。
将“workflow.xml”文件上传至 "job.properties" 文件中的HDFS路径。
hdfs dfs -put -f workflow.xml /user/userName/examples/apps/sqoop
- 执行oozie job命令,运行工作流文件。
oozie job -oozie https://oozie角色的主机名:21003/oozie/ -config job.properties -run
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是Loader_如何使用Loader
- 大数据分析是什么_使用MapReduce_创建MRS服务
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云
- Hudi服务_什么是Hudi_如何使用Hudi
- MapReduce服务_什么是Hive_如何使用Hive
- MapReduce服务_什么是Hue_如何使用Hue
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是Yarn_如何使用Yarn