检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Structured Streaming使用RocksDB做状态存储 操作场景 状态信息存储在默认的HDFS BackedStateStore，随着状态数据的增多，垃圾回收器需要处理更多的对象，从而增加了垃圾回收的时间和开销，导致JVM GC占用大量时间。可以通过配置参数spark.sql.streaming.stateStore.providerClass
原因分析 当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。
create table test(id int) location 'obs://mrs-word001/table/'; 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。
云硬盘所挂载的云服务器状态必须为“运行中”、云硬盘状态必须为“正在使用中”或“可用”才支持扩容。
JobGateway服务由JobBalancer和JobServer两个角色组成，其中，JobBalancer是作业REST请求转发的网关，将作业请求转发到不同的jobserver实例，提供负载均衡的能力；JobServer是大数据作业提交的主要执行者，能根据不同的作业类型，构造提交上下文
页面主要包括了Jobs、Stages、Storage、Environment、Executors、SQL、JDBC/ODBC Server等部分。Streaming应用会多一个Streaming标签页。
创建Loader数据导入作业 使用Loader导入数据至MRS集群 使用Loader从SFTP服务器导入数据到HDFS/OBS 使用Loader从SFTP服务器导入数据到HBase 使用Loader从SFTP服务器导入数据到Hive 使用Loader从FTP服务器导入数据到HBase
使用JobGateway 从零开始使用JobGateway JobGateway常见参数 JobGateway手动更新服务客户端 JobServer从Core节点迁移至Master节点指导 JobGateway日志介绍 常见问题
日志格式 日志类型 格式 示例 运行日志 [<yyyy-MM-dd HH:mm:ss>] <Log Level>： [<产生该日志的脚本名称：行号>]： <log中的message> [2020-12-19 15:56:42] INFO [postinstall.sh:653] Is cloud
图解MapReduce服务
例如：username=testuser @password=用户密码 --input obs://mrs-demotest/input/data2.txt --output obs://mrs-demotest/output.txt 服务配置参数 可选参数，用于为本次执行的作业修改服务配置参数
同时用户也可以通过集群客户端的方式将作业提交至大数据组件服务端运行。
例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 图1 环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。
包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
-成长地图 | 华为云
通过管理控制台或者API接口进行MRS集群内作业的创建、停止和删除等操作时，不会在“操作日志”处记录，如需查看相关日志信息，请通过云审计服务CTS进行查看。 查看云服务操作日志 登录MRS管理控制台。 单击“操作日志”，查看日志详情。
日志格式 日志类型 格式 示例 运行日志 [<yyyy-MM-dd HH:mm:ss>] <Log Level>： [<产生该日志的脚本名称：行号>]： <log中的message> [2020-12-19 15:56:42] INFO [postinstall.sh:653] Is cloud
可能原因 DBService服务异常或者Oozie存储在DBService中的数据遭到破坏，导致Oozie服务不可用。 HDFS服务异常或者Oozie存储在HDFS中的数据遭到破坏时，导致Oozie服务不可用。 Yarn服务异常，导致Oozie服务不可用。
包升级 MRS 1.9.0.1 修复问题列表： MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs
请在MRS Manager页面“服务管理 > Ranger > 实例”中查看主RangerAdmin实例所在节点IP。
