使用Scan API读取HBase表数据 功能简介 要从表中读取数据,首先需要实例化该表对应的Table实例,然后创建一个Scan对象,并针对查询条件设置Scan对象的参数值,为了提高查询效率,建议指定StartRow和StopRow。查询结果的多行数据保存在ResultScanner
如需使用该格式提交HiveScript或HiveSql类型的作业,请先在集群详情页面单击“组件管理 > Hive > 服务配置”,参数类别设置为“全部配置”,搜索参数“core.site.customized.configs”,新增OBS的endpoint配置项,参数为“fs.obs.endpoint
Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移场景 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。
选择“集群 > 服务 > 服务名称”,进入服务概览页面。 选择“更多 > 重启服务”或“更多 > 滚动重启服务”。 图12 重启服务 重启服务会造成业务中断,滚动重启可以尽量减少或者不影响业务运行。
前提条件 当前用户具备待导入作业所在分组的编辑“Jobs Edit”权限。 如果作业所在的分组不存在,则会自动先创建该分组。当前用户就是该分组的创建者,拥有该分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。
Kadmin监听端口 21700 kadmin服务的端口。 KDC监听端口 21701 kinit服务的端口。 Kpasswd监听端口 21702 kpasswd服务的端口。
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在
JobGateway结构 JobGateway组件由JobServer实例以及JobBalancer实例组成。 JobBalancer提供负载均衡能力。 JobServer提供REST API提供作业提交能力。
停止集群期间服务无法访问。 如果NTP服务器与集群当前时间偏差大于15分钟,集群访问OBS会连接失败。 对于开启Kerberos认证集群,如果NTP服务器与集群当前时间偏差大于5分钟,会导致认证失败。
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在
自建物理/虚拟化集群、云原生服务,支持弹性扩缩容。 数据存储 源端、目标端HBase数据存储的存储方式。 本地HDFS或S3兼容存储、支持OBS(华为云对象存储),支持冷热数据分离存储。 性能优化 源端、目标端HBase性能优化策略。
使用Get API读取HBase表数据 功能简介 要从表中读取一条数据,首先需要实例化该表对应的Table实例,然后创建一个Get对象。也可以为Get对象设定参数值,如列族的名称和列的名称。查询到的行数据存储在Result对象中,Result中可以存储多个Cell。 代码样例 以下代码片段在
", "wordcount", "obs://obs-test/input/", "obs://obs-test/job/mapreduce/output" ], "properties":{ "fs.obs.endpoint
配置MRS云服务授权 用户通过MapReduce服务(MRS)管理控制台与MRS集群进行交互,查看MRS集群状态监控以及进行集群相关管理操作,首次使用MRS服务时需要进行服务授权。
当备NameNode存储元数据时,断电后备NameNode启动失败 问题描述 当Standby NameNode存储元数据(命名空间)时,出现断电的情况,Standby NameNode启动失败并发生如下错误信息。 处理步骤 当Standby NameNode存储元数据(命名空间)
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名称。 租户名 产生告警的租户名称。 目录名 产生告警的目录名称。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
存算分离类 没有/tmp目录权限导致执行访问OBS的作业报错 使用Hadoop客户端删除OBS上数据时报.Trash目录没有权限错误 由于MRS集群节点的NTP时间不同步导致集群访问OBS时鉴权失败
修改集群服务配置参数 用户可直接通过MRS管理控制台的集群管理页面修改各服务配置参数: 登录MRS控制台,在左侧导航栏选择“集群列表> 现有集群”,单击集群名称。 选择“组件管理 > 服务名称 > 服务配置”。
配置参数 开源默认端口 定制默认端口 端口说明 ranger.obs.service.rpc.address.port 26901 26901 Guardian OBS客户端对应服务的RPC侦听端口。