检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端日志,如下所示: 2017-07-11 13:17:19,610 [myid:] - WARN [New I/O worker #3:ClientCnxnSocketNetty$ZKClientHandler@468] - Exception caught: [id: 0xb66cbb85
在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。
toInt64(number / 10) AS when, (number % 10) + 1 AS device, ((device * 3) + (number / 10000)) + ((rand() % 53) * 0.1) AS value FROM system.numbers
partitioned by (dt timestamp,country String, year int, bonus decimal(10,3)) STORED AS TEXTFILE; CREATE TABLE IF NOT EXISTS hetu_int_table6 (eid
xxx.xxx.xxx",cgroup_threshold="",client_name="ip2-client-1" host_ip="ip3",user="user1",password="******",install_path="/tmp/flumeclient",flume_config_file=""
ocksDB监测和告警情况,在作业开发界面的“自定义参数”项中添加如下参数调优作业。作业调优完成后建议关闭RocksDB的监测和告警。 表3 RocksDB调优参数配置 参数名称 值 说明 state.backend.rocksdb.writebuffer.count 2 设置Active
勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主OMS节点的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签
扩容集群前需要检查集群安全组是否配置正确,要确保集群入方向安全组规则中有一条全部协议,全部端口,源地址为可信任的IP访问范围的规则。 仅MRS 3.x版本的自定义集群支持手动添加节点组。 约束与限制 对已安装HBase组件的节点组扩容时: 如果集群没有开启节点自动注册DNS,扩容该节点
QL引擎或者MapReduce/Spark实现。 海量数据存储能力 HDFS支持将TB级至PB级数据分布式存储在集群中,通过副本机制(默认3副本)保证数据可靠性,适合存储日志、非结构化数据等。 批处理计算框架 将复杂计算任务拆解为“Map(映射)”和“Reduce(归约)”两个阶
影响,如需屏蔽或修改告警规则等,请提前评估操作风险。 修改阈值类告警触发规则 参考访问FusionInsight Manager(MRS 3.x及之后版本)登录MRS集群的FusionInsight Manager界面。 选择“运维 > 告警 > 阈值设置”。 在监控分类中选择集
设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从Loader导出数据到关系型数据库? 是,执行2。 否,执行3。 修改关系型数据库对应的驱动jar包文件权限。 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIG
表中涉及端口的协议类型均为TCP。 配置参数 开源默认端口 定制默认端口 端口说明 dfs.namenode.rpc.port 9820(MRS 3.x之前版本) 8020(MRS 3.x及之后版本) 25000 NameNode RPC 端口,该端口用于HDFS客户端与Namenode间的通信以及Dat
例如企业需要创建MRS服务的按需成本预算,每月预算金额为2000元,当预测金额高于预算金额的80%时发送预算告警。那么,创建的预算如下: 图3 预算基本信息 图4 设置成本范围 图5 设置提醒 详细介绍请参见使用预测和预算来跟踪成本和使用量。 资源优化 您可以通过云监控服务监控资源
_HiveServer/etc/hive-site.xml | grep 'value' | awk -F'[<>]' '{print $3}' 父主题: 生态组件对接
Executor上。 所有的Task执行完成后,用户的应用程序运行结束。 图1 Spark应用运行架构 约束与限制 本章节仅适用于MRS 3.x及之后版本。 为确保网络连通,GaussDB(DWS)集群需与MRS集群“可用区”、“虚拟私有云”、“安全组”配置相同。 前提条件 已创
表1 子租户参数一览 参数名 描述 集群 显示上级父租户所在集群。 父租户资源 显示上级父租户的名称。 名称 指定当前租户的名称,长度为3~50个字符,可包含数字、字母或下划线(_)。 根据业务需求规划子租户的名称,不得与当前集群中已有的角色、HDFS目录或者Yarn队列重名。
前提条件 已安装客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。 MRS 3.x之后至MRS 3.3.1-LTS之前的版本,Impala客户端节点(Euler2.9及以上操作系统)需要安装Python2版本。 操作步骤
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别并保存。 配置Hive日志级别后可立即生效,无需重启服务。 日志格式 Hive的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<LogLevel>|<产生该日志的线程名字
log Ranger鉴权插件运行日志。此日志统一归档在“/var/log/Bigdata/audit/kafka/kafkaui”目录下。 表3 MirrorMaker日志列表 日志类型 日志文件名 描述 运行日志 mirrormaker.out MirrorMaker进程启动信息。
左边菜单栏中选择所需修改的角色所对应的日志菜单。 选择所需修改的日志级别。 单击“保存”,然后单击“确定”,成功后配置生效。 日志格式 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名