数据管理与分析-CDH 部署:CDH集群部署

时间：2024-04-24 11:34:43

数据管理与分析

CDH集群部署

单集群部署，上传CDH离线安装包

CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel
CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256
manifest.json

上传到 /opt/cloudera/parcel-repo/，没有则手动创建，修改.sha256文件后缀

mv CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha256 CDH-6.0.1-1.cdh6.0.1.p0.590678-el7.parcel.sha

修改用户和组

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*

登录界面
图1 登录界面1

图2 登录界面2

图3 登录界面3
选择版本，免费版即可
图4 选择版本1

图5 选择版本2
单击继续，可输入和搜索主机，也可通过“当前管理的主机”看到已连接到server的agent，直接选择即可
图6 当前管理的主机1

图7 当前管理的主机2

图8 当前管理的主机3

图9 当前管理的主机4

图10 当前管理的主机5

图11 当前管理的主机6
集群安装
图12 集群安装1

图13 集群安装2

图14 集群安装3

图15 集群安装4

图16 集群安装5

图17 集群安装6

图18 集群安装7

图19 集群安装8
安装Httpd（集群中一台服务器上即可）
```
yum install –y httpd
```
创建cloudera目录
```
mkdir -p /var/www/html/cloudera
```

复制安装包到 /var/www/html/cloudera

allkeys.asc
cloudera-manager-agent-6.2.1-1426065.el7.x86_64.rpm
cloudera-manager-daemons-6.2.1-1426065.el7.x86_64.rpm
cloudera-manager-server-6.2.1-1426065.el7.x86_64.rpm
cloudera-manager-server-db-2-6.2.1-1426065.el7.x86_64.rpm
enterprise-debuginfo-6.2.1-1426065.el7.x86_64.rpm
RPM-GPG-KEY-cloudera

安装createrepo服务，用于创建自定义仓库
```
yum install -y yum-utils createrepo
```
生成rpm元数据
```
cd /var/www/html/cloudera
createrepo .
```
浏览器验证
 http://master/cloudera

制作Cloudera Manager的repo源

vim /etc/yum.repos.d/cm6.1.1_repo
[cm6.2.1_repo]
name = cm6.2.1_repo
baseurl=http://master/cloudera
enable = true
gpgcheck = false

重启CM
```
systemctl start cloudera-scm-server
```
登录web
web：http://master:7180

账号密码：admin

图20 登录web
选择服务器步骤与离线安装相同，从Paecel选择开始不同
图21 选择1
选择自定义存储库，输入上面配置的cloudera的http地址
图22 选择2
Parcel选择，单击“更多选项”,单击“-”删除其它所有地址，输入http://master/cloudera，单击“保存更改”
图23 选择3

图24 选择4
单击继续，选择jdk，上面已经安装jdk，取消勾选即可
图25 选择5
单击继续，配置ssh账号密码
图26 配置ssh账号密码
单击“继续”，进入下一步，安装cm agent相关到各个节点
图27 下一步1

图28 下一步2
Agent安装完以后，大数据组件安装与单集群离线安装相同