华为云首页用户手册

数据湖探索 DLI-Flink Jar作业开发基础样例:环境准备

时间：2024-06-13 20:48:35

数据湖探索 DLI Flink Jar作业开发指南

环境准备

登录MRS管理控制台，创建MRS集群，选择“开启kerberos”，勾选“Kafka”, “HBase”, “HDFS”等。请参见《MapReduce服务用户指南》的“购买自定义集群”的章节创建MRS。
“安全组规则”开通对应UDP/TCP端口。详细内容请参考《私有云用户指南》中的“添加安全组规则”章节。
进入MRS manager管理界面：
1. 创建机机账号，需确保该用户含有“hdfs_admin”, “hbase_admin”权限，下载该用户认证凭据，其中包含“user.keytab” 和 “krb5.conf” 文件。
  
  由于人机账号的keytab会随用户密码过期而失效，故建议使用机机账号进行配置。
2. 单击“服务管理”，下载客户端，单击“确定”。
3. 在MRS节点上下载配置文件，所需集群配置文件包含“hbase-site.xml”和“hiveclient.properties”。
创建弹性资源池和队列。
弹性资源池与队列为DLI作业提供计算资源，创建弹性资源池，弹性资源池添加队列。
使用该DLI独享队列与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。
如何建立增强型跨源连接，请参考《数据湖探索用户指南》中增强型跨源连接章节。

如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。
获取MRS集群全部节点的ip和域名映射，在DLI跨源连接修改主机信息中配置host映射。
如何添加IP域名映射，请参见《数据湖探索用户指南》中“修改主机信息”章节。

Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。