检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确定”,查看JDBCServer2x进程使用的堆内存是否已达到JDBCServer2x进程设定的最大堆内存的阈值(默认95%)。 是,执行3。 否,执行7。 图1 JDBCServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
JDBCServer2x内存使用率统计”,单击“确定”,查看JDBCServer2x进程使用的直接内存是否已达到JDBCServer2x进程设定的最大直接内存的阈值。 是,执行3。 否,执行7。 图1 JDBCServer2x内存使用率统计 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
通过调整如下参数减少reduce写磁盘的次数。 参数入口: 进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。具体操作请参考修改集群服务配置参数章节。 表3 参数说明 参数 描述 默认值 mapreduce.reduce.merge.inmem.threshold 内存合并进程的文件数阈值。累计
确定修改NodeManager的存储目录场景。 更改NodeManager角色的存储目录,执行2。 更改NodeManager单个实例的存储目录,执行3。 更改NodeManager角色的存储目录。 选择“集群 > 待操作集群的名称 > 服务 > Yarn > 停止服务”,停止Yarn服务。
setting)的百分比。 当offheap关闭时,默认值为“0.25”,当offheap开启时,默认值是“0.1”。 Handler相关参数 表3 Handler相关参数 参数 描述 默认值 hbase.regionserver.handler.count RegionServer上的RPC侦听器实例数,建议设置为200
at java.util.concurrent.FutureTask.run(FutureTask.java:266) ... 3 more Caused by: java.net.ConnectException: Connection timed out: /192
p的节点数量 > 2。 为了不影响滚动重启功能,如果RegionServer节点总数在300以内,那么单个RSGroup的节点数量不应小于3。如果RegionServer节点总数大于等于300,那么单个RSGroup的节点数量不应小于(节点数*1%)+1。 可能的影响 由于RSG
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。如果使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器(任意实例)URL,如“https://10
Task中从本地磁盘或者Distributed Cache中按桶一个一个读取小表内容,然后与大表做匹配直接得到结果并输出。 Join顺序优化 当有3张及以上的表进行Join时,选择不同的Join顺序,执行时间存在较大差异。使用恰当的Join顺序可以有效缩短任务执行时间。 Join顺序原则:
IDEA,选择“Configure”。 图2 Quick Start 在下拉框中选择“Structure for New Projects”。 图3 Configure 在弹出的“Project Structure for New Projects”页面中,选择“SDKs”,单击加号添加JDK。
statement.execute( "CREATE TIMESERIES root.sg1.d1.s3 WITH DATATYPE=INT64, ENCODING=RLE, COMPRESSOR=SNAPPY"); }
说明 模式名称 保存最终数据的数据库名称。 表名 保存最终数据的数据表名称。 ftp-connector或sftp-connector 表3 ftp-connector或sftp-connector目的连接属性 参数 说明 写入目录 最终数据在文件服务器保存时的具体目录。必须指定一个目录。
INFO表示记录系统及各事件正常运行状态信息。 DEBUG DEBUG表示记录系统及系统的调试信息。 日志格式 DBService的日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 [<yyyy-MM-dd HH:mm:ss>] <Log Level>: [<产生该日志的脚本名称:行号>]:
选择所需修改的日志级别。 保存配置,在弹出窗口中单击“确定”使配置生效。 配置完成后立即生效,不需要重启服务。 日志格式 MapReduce日志格式如下所示: 表3 日志格式 日志类型 格式 示例 运行日志 <yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名
at java.util.concurrent.FutureTask.run(FutureTask.java:266) ... 3 more Caused by: java.net.ConnectException: Connection timed out: /192
该用户需要从属于hadoop、supergroup、hive组,同时添加Oozie的角色操作权限。若使用Hive多实例,该用户还需要从属于具体的Hive实例组,如hive3。 用户同时还需要至少有manager_viewer权限的角色。 已获取运行状态的Oozie服务器(任意实例)URL,如“https://10
文件,将新建磁盘分区设置为开机自动挂载,具体请参见设置开机自动挂载磁盘分区。 参见访问FusionInsight Manager(MRS 3.x及之后版本),登录FusionInsight Manager。选择“集群 > ClickHouse > 配置 > 全部配置”。 搜索“_clickhouse
ce的Merge/Sort流程提升MapReduce性能 下图展示了MapReduce任务的工作流程。 图2 MapReduce 作业 图3 MapReduce作业执行流程 Reduce过程分为三个不同步骤:Copy、Sort(实际应当称为Merge)及Reduce。在Copy过
r显示中文界面;当浏览器首选语言不是中文时,Manager显示英文界面。用户也可以根据语言偏好,在界面左下角一键切换中英文界面(仅MRS 3.x及后续版本支持一键切换中英文界面)。 父主题: Manager