检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签
个调用者执行写操作,而可以被多个调用者执行读操作。 HDFS文件系统中目录结构如下表所示。 表1 HDFS文件系统目录结构(适用于MRS 3.x之前版本) 路径 类型 简略功能 是否可以删除 删除的后果 /tmp/spark/sparkhive-scratch 固定目录 存放Spark
配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。 配置静态服务池后,各服务及角色实例使用的最大资源将不能超过限制。 配置静态资源(3.x及之后版本) 修改资源调整基数 登录MRS集群Manager界面,选择“集群 > 静态服务池”。 登录集群Manager界面请参考访问MRS集群Manager。
ardian、Hive、Ranger、Spark组件的MRS集群。 步骤2:创建并配置RDS实例:创建并配置RDS MySQL实例。 步骤3:配置MRS数据连接及Guardian对接OBS:配置Hive和Ranger数据连接及Guardian对接OBS。 步骤4:元数据外置验证:
析出来的属性参数,动态决定设定哪一种策略,因此,实现两种“transform”方法也是被允许的。 可以设定的访问原始数据的策略请参见表3。 表3 访问原始数据的策略 接口定义 描述 调用transform方法 RowByRowAccessStrategy 逐行地处理原始数据。框架
I城市 12005000210 J 女 25 J城市 操作步骤 以客户端安装用户,登录安装客户端的节点,客户端安装详细操作请参见安装客户端(3.x及之后版本)。 执行以下命令切换到客户端目录,客户端安装目录如:/opt/client。 cd /opt/client 执行以下命令配置环境变量。
配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图3 选择配置工具 “Agent名”选择“server”,然后选择要使用的source、channel以及sink,将其拖到右侧的操作界面中并将其连接。
<output.fileOprType>OVERRIDE</output.fileOprType> <throttling.extractors>3</throttling.extractors> <output.fileType>TEXT_FILE</output.fileType> </hadoop
并为调用量较小的用户分配更高的优先级。 图2 基于FAIRCallQueue的NameNode请求处理 约束与限制 本章节适用于MRS 3.x及后续版本。 操作步骤 FairCallQueue通过在内部调整RPC调用的顺序确保服务质量。 该队列由以下三部分组成: 调度模块(De
客户端日志,如下所示: 2017-07-11 13:17:19,610 [myid:] - WARN [New I/O worker #3:ClientCnxnSocketNetty$ZKClientHandler@468] - Exception caught: [id: 0xb66cbb85
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
连接校验通过后,单击“确定”完成数据连接创建。 (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。 表3 新建ENV配置参数 参数名称 示例 Name test-env Driver Memory 1GB Type spark Executor
myhacluster Block Pool ID HDFS Block Pool的唯一标识符。 BP-xxx Summary:展示HDFS内存使用信息。 图3 HDFS内存使用信息 其中常见参数及其含义如下: 表2 Summary参数介绍 参数名称 参数解释 取值样例 Security 表示集群是否开启了Kerberos安全认证。
usr partition(country='CN') VALUES(1,'maxwell',45),(2,'minwell',30),(3,'mike',22); INSERT INTO TABLE test.usr partition(country='USA') VALUES(4
krb5ConfFile.getAbsolutePath() + ") is not a file."); } // 3.设置并检查krb5config setKrb5Config(krb5ConfFile.getAbsolutePath());
Manager界面选择“服务管理> KrbServer > > 服务配置 > 全部配置” ,搜索并查看default_realm的值。 MRS 3.x及后续版本: sasl.kerberos.keytab:可通过在FusionInsight Manager界面选择“系统 > 权限 >
并为调用量较小的用户分配更高的优先级。 图2 基于FAIRCallQueue的NameNode请求处理 约束与限制 本章节适用于MRS 3.x及后续版本。 操作步骤 FairCallQueue通过在内部调整RPC调用的顺序确保服务质量。 该队列由以下三部分组成: 调度模块(De
前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 MRS 3.x及之后版本的Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本。 操作步骤 以客户端安装用户,登录安装客户端的节点。