检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
----- 运行程序。 右键单击“HdfsExample.java”文件，选择“Run 'HdfsExample.main() '”。 图3 运行程序 样例运行成功后，运行信息如下，表示相关文件操作成功执行。 ... 2217 [main] INFO org.apache.hadoop
盘的读写和网络的传输，因此shuffle性能的高低直接影响到了整个程序的运行效率。 下图清晰地描述了MapReduce算法的整个流程。 图3 算法流程 概念上shuffle就是一个沟通数据连接的桥梁，实际上shuffle这一部分是如何实现的呢，下面就以Spark为例讲一下shuffle在Spark中的实现。
Type：选择 SSH。 Saved Sessions：任务名称，在下一次使用PuTTY时就可以单击保存的任务名称，即可打开远程连接。 图3 单击“Session” 单击“Open”登录云服务器。 如果首次登录云服务器，PuTTY会显示安全警告对话框，询问是否接受服务器的安全证书。
步。 在集群详情页的“概览”页签，单击委托右侧的“管理委托”选择创建的委托名称，例如“mrs_ecs_obs”，单击“确定”进行绑定。 图3 绑定委托 为Guardian组件配置访问OBS权限 登录MRS集群Manager界面，具体请参见访问MRS集群Manager，选择“集群 >
勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后，等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签
集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群网络类
examples/streaming/WordCount.jar 作业提交成功后，客户端界面显示如下。 图2 在Yarn上提交作业成功 图3 启动session成功 图4 在session中提交作业成功 使用运行用户进入Yarn服务的原生页面，找到对应作业的application
创建表，需要“建表”权限。 查询数据，需要“查询”权限。 插入数据，需要“插入”权限。 在一些特殊HetuEngine使用场景下，需要单独设置其他权限。 表3 HetuEngine授权注意事项 场景 用户需要的权限 创建HetuEngine数据库、表、外表，或者为已经创建的表或外表添加分区，且Hi
config /opt/client/Kafka/kafka/config/producer.properties 输入消息内容： {"pid": "3","uid":false,"Int_16": "6533","Int_32": "429496294","Int_64": "1844674407370955614"
} } } return ""; } 样例3：Hive数据读取的readHive方法。 private String readHive(String name) throws IOException
勾选“仅保存到如下路径”，使用默认保存路径，文件生成后将保存在集群主OMS节点（通常为Master1节点）的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后，等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中，单击集群名称，在集群的“节点管理”页签
可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4）。 也可以输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群
集群内置的远端集群的NameService名称：haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4；也可输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群网络类
op/core-site.xml”）中的增加如下参数配置（若集群存在多个Master节点，请分别登录每个Master节点进行该操作）。 表3 数据加密参数 参数 取值 说明 fs.obs.server-side-encryption-type SSE-KMS SSE-KMS：表示使用KMS密钥的加解密方式。
可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4）。 也可以输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群
--negotiate -X DELETE 'http://10.64.35.144:9111/templeton/v1/ddl/database/db3?ifExists=true&user.name=user1' ddl/database/:db/table (GET) 描述 列出数据库下的所有表
--negotiate -X DELETE 'https://10.64.35.144:9111/templeton/v1/ddl/database/db3?ifExists=true' ddl/database/:db/table (GET) 描述 列出数据库下的所有表 URL https://www
其中1和2都是集群内部Controller与Broker间、Broker与Broker间的操作，创建集群时，默认授予内置kafka用户此权限，普通用户授予此权限没有意义。 3涉及Acl的管理，Acl设计的就是用于鉴权，由于目前kafka鉴权已全部托管给Ranger，所以这个场景也基本不涉及（配置后亦不生效）。 设置用户对Cluster的Cluster
可以输入集群内置的远端集群的NameService名称（haclusterX，haclusterX1，haclusterX2，haclusterX3，haclusterX4）。 也可以输入其他已配置的远端集群NameService名称。 IP 模式 目标IP的IP地址模式。系统会根据集群
先扩容，后缩容。请尽量把重要的策略放在前面，以防一次扩容或缩容无法达到预期效果而进行反复触发。 根据实际需要，配置相关参数。 图3 添加规则 表3 伸缩规则参数介绍 参数名称 参数解释 取值样例 规则名称 伸缩规则名称。 default-expand-2 如果 配置弹性伸缩指标阈值规则。
