检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 登录MRS集群Manager界面,具体请参见访问MRS集群Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。
该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
容灾:MRS支持将数据备份到OBS(对象存储服务)中,支持跨区域的高可靠性。 备份:MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。
联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
步骤3:创建Hive表并加载OBS中数据 在服务列表中选择“存储 > 对象存储服务 OBS”,登录OBS控制台,单击“并行文件系统 > 创建并行文件系统”,填写以下参数,单击“立即创建”。 表4 并行文件系统参数 参数名称 参数说明 取值样例 区域 设置并行文件系统的区域。
MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
否,执行3 联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
联系OBS运维人员查看OBS服务是否正常。 是,执行4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
如果集群同时开启“OBS权限控制”功能,此时会使用ECS配置的默认委托“MRS_ECS_DEFAULT_AGENCY”或者用户设置的自定义委托的AK/SK访问OBS服务,同时OBS服务会使用接收到的AK/SK访问数据加密服务获取KMS密钥状态,因此需要在使用的委托上绑定“KMS Administrator
前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。 代码样例 如下是实例化FileSystem的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 操作步骤 登录MRS集群Manager界面。 登录集群Manager界面请参考访问MRS集群Manager。 单击“系统设置”。 在“维护”下单击“审计日志导出”。
在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。
对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
IoTDB基本原理 从零开始使用IoTDB Impala组件 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。
父主题: MRS集群服务对接OBS示例
图1 为Hudi用户组赋予OBS路径读和写权限 对接OBS后,如需通过Ranger配置组件关于OBS相关路径的权限策略,需确保OBS服务已开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS服务运维人员。 父主题: MRS集群服务对接OBS示例
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。
使用云数据迁移云服务也可以将外部数据导入至MRS集群中。 数据存储 MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。 HDFS是大数据上通用的分布式文件系统。 OBS是对象存储服务,具有高可用低成本的特点。