提升HBase BulkLoad工具批量加载效率 操作场景 HBase BulkLoad批量加载功能采用了MapReduce jobs直接生成符合HBase内部数据格式的文件,然后把生成的StoreFiles文件加载到正在运行的集群。
Impala应用开发简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务(OBS)中的Hadoop数据提供快速、交互式SQL查询。
存在,如果委托中配了对所有OBS桶授读写权限,如图2所示,检查结束。如果委托中配置单个OBS桶的权限, 则执行步骤 3。 不存在,请配置委托。 图1 委托 图2 OBS桶授权限 查看DataArts空间管理中配置的作业默认OBS桶名。 登录DataArts管理控制台。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 当Guardian服务不可用时,业务无法正常访问OBS。 可能原因 Guardian服务所依赖内部服务HDFS故障。 TokenServer角色实例异常。
存在,如果委托中配了对所有OBS桶授读写权限,如图2所示,检查结束。如果委托中配置单个OBS桶的权限, 则执行步骤 3。 不存在,请配置委托。 图1 委托 图2 OBS桶授权限 查看DataArts空间管理中配置的作业默认OBS桶名。 登录DataArts管理控制台。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔? 回答 Impala服务的数据一般是存储在HDFS或者OBS(对象存储服务)中,无需直接使用本地节点的磁盘。
保存完成后请重新启动配置过期的服务或实例以使配置生效。 父主题: Yarn运维管理
确认服务端Spark组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_Spark_Client.tar”。执行如下命令解压。
在存算架构下,Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。在MemArtsCC集群上一个服务实例称为Worker,对于OBS上的对象数据,Worker缓存其中部分或全部分片到本地的持久化存储(SSD/HDD)中。
事件有SparkListenerJobStart、SparkListenerJobEnd等,记录了每个重要的过程。
OBS_BUCKET为一个已有的OBS文件系统名,OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。” 单击“确定”重启Alluxio服务。
当前用户具备源分组的作业编辑“Jobs Edit”权限或待迁移作业的编辑“Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问集群Manager。 选择“集群 > 服务 > Loader”。
对系统的影响 集群获取不到最新的临时AK/SK信息,在存算分离场景下,可能导致访问OBS文件失败,引起上层组件业务无法正常处理数据。 可能原因 MRS集群meta角色状态异常。 MRS集群绑定过IAM委托且访问过OBS,后续委托被解绑,导致当前集群未绑定委托。
/OBS 支持从SFTP/FTP服务器导入数据到HBase表 支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器 支持从Phoenix表导出数据到
OBS路径:obs://sparksql/input/sparksql-test.txt HDFS路径:/user/userinput 图1 从OBS导入数据至HDFS 提交Spark SQL语句。 在MRS控制台选择“作业管理”,具体请参见运行Spark作业。
Follower或Observer返回写请求处理结果。 只读请求 客户端直接向Leader、Follower或Observer读取数据。 ZooKeeper常见规格 ZooKeeper服务的常见系统规格如ZooKeeper常见规格所示。