检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
48", "submissionTime" : "2016/11/08 15:39:00", "duration" : "2 s", "runningJobs" : [ ], "successedJobs" : [ 0 ], "failedJobs" : [ ] }] } 结果分析
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。
对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。 处理步骤 检查HDFS服务状态。
回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。 由于是非多副本存储的临时数据,不提供磁盘热插拔能力。
回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。 仅Impalad实例在业务查询执行过程中由于内存空间不足,才需要溢写到磁盘(由--scratch_dirs指定)。 由于是非多副本存储的临时数据,不提供磁盘热插拔能力。
执行如下命令将OBS容器内部的目录挂载到Alluxio的/obs目录。 alluxio fs mount /obs obs://<OBS_BUCKET>/<OBS_DIRECTORY>/ 父主题: 使用Alluxio
在存算架构下,Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。在MemArtsCC集群上一个服务实例称为Worker,对于OBS上的对象数据,Worker缓存其中部分或全部分片到本地的持久化存储(SSD/HDD)中。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
配置Yarn大作业扫描 操作场景 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件(例如shuffle文件是否过大)、监控Hive、HetuEngine、Spark的关键HDFS目录(不支持OBS)是否过大。
事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。
事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。
对系统的影响 集群获取不到最新的临时AK/SK信息,在存算分离场景下,可能导致访问OBS文件失败,引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS,后续委托被解绑,导致当前集群未绑定委托。
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。
Loader开源增强特性 Loader开源增强特性:数据导入导出 Loader是在开源Sqoop组件的基础上进行了一些扩展,除了包含Sqoop开源组件本身已有的功能外,还开发了如下的增强特性: 提供数据转化功能 支持图形化配置转换步骤 支持从SFTP/FTP服务器导入数据到HDFS/OBS
Observer Observer不参与选举和写请求的投票,只负责处理读请求、并向Leader转发写请求,避免系统处理能力浪费。 Client ZooKeeper集群的客户端,对ZooKeeper集群进行读写操作。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。
原因分析 当使用load导入数据到Hive表的时候,属于需要跨文件系统的情况(例如原数据在HDFS上,而Hive表数据存放在OBS上),并且文件长度大于阈值(默认32 MB),则会触发使用distcp的MapReduce任务来执行数据迁移操作。
提升HBase BulkLoad工具批量加载效率 操作场景 批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。使用批量加载相比直接使用HBase的API会节约更多的CPU和网络资源。
对系统的影响 Guardian TokenServer实例堆内存溢出可能导致业务无法正常访问OBS。 可能原因 该节点TokenServer实例堆内存使用率过大,或配置的堆内存不合理,导致使用率超过阈值。 处理步骤 检查堆内存使用率。
图1 Alluxio架构 优势: 提供内存级I/O吞吐率,同时降低具有弹性扩张特性的数据驱动型应用的成本开销 简化云存储和对象存储接入 简化数据管理,提供对多数据源的单点访问 应用程序部署简易 有关Alluxio的详细信息,请参见:https://docs.alluxio.io/os