检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。
对系统的影响 当Guardian服务不可用时，业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。
回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。 由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足，才需要溢写到磁盘（由--scratch_dirs指定）。 由于是非多副本存储的临时数据，不提供磁盘热插拔能力。
执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。 alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/ 父主题： 使用Alluxio
在存算架构下，Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。在MemArtsCC集群上一个服务实例称为Worker，对于OBS上的对象数据，Worker缓存其中部分或全部分片到本地的持久化存储（SSD/HDD）中。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统，具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
配置Yarn大作业扫描 操作场景 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。
事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。
事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。
对系统的影响 集群获取不到最新的临时AK/SK信息，在存算分离场景下，可能导致访问OBS文件失败，引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS，后续委托被解绑，导致当前集群未绑定委托。
OBS路径：obs://sparksql/input/sparksql-test.txt HDFS路径：/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”，具体请参见运行Spark作业。
Loader开源增强特性 Loader开源增强特性：数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性： 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
Observer Observer不参与选举和写请求的投票，只负责处理读请求、并向Leader转发写请求，避免系统处理能力浪费。 Client ZooKeeper集群的客户端，对ZooKeeper集群进行读写操作。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。
原因分析 当使用load导入数据到Hive表的时候，属于需要跨文件系统的情况（例如原数据在HDFS上，而Hive表数据存放在OBS上），并且文件长度大于阈值（默认32 MB），则会触发使用distcp的MapReduce任务来执行数据迁移操作。
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件，然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大，或配置的堆内存不合理，导致使用率超过阈值。 处理步骤 检查堆内存使用率。
图1 Alluxio架构 优势： 提供内存级I/O吞吐率，同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理，提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息，请参见：https://docs.alluxio.io/os
