华为云首页用户手册

MapReduce服务 MRS-准备初始数据:规划MapReduce统计样例程序数据

MapReduce服务 MRS-准备初始数据:规划MapReduce统计样例程序数据

时间：2023-11-01 16:19:45

MapReduce服务 MRS

规划MapReduce统计样例程序数据

将待处理的日志文件放置在HDFS系统中。

在Linux系统中新建文本文件，将待处理的数据复制到文件中。例如将典型场景说明中log1.txt中的内容复制保存到input_data1.txt，将log2.txt中的内容复制保存到input_data2.txt。
在HDFS上建立一个文件夹“/tmp/input”，并上传input_data1.txt，input_data2.txt到此目录，操作如下：
1. 执行以下命令进入HDFS客户端目录并认证用户。
  cd HDFS客户端安装目录
  source bigdata_env
  kinit 组件业务用户 （该用户需要具有操作HDFS的权限，首次认证需要修改密码）
2. 执行以下命令创建“/tmp/input”目录。
  hdfs dfs -mkdir /tmp/input
3. 执行以下命令将已准备好的文件上传至HDFS客户端的“/tmp/input”目录下。
  hdfs dfs -put local_filepath/input_data1.txt /tmp/input
  hdfs dfs -put local_filepath/input_data2.txt /tmp/input

上一篇：MapReduce服务 MRS-准备安全认证代码:场景说明

下一篇：MapReduce服务 MRS-准备安全认证代码:场景说明

MapReduce服务 MRS-准备初始数据:规划MapReduce统计样例程序数据

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题