用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 登录MRS集群Manager界面,具体请参见访问MRS集群Manager,单击“系统设置”。 单击“维护”下方的“日志导出”。
该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
容灾:MRS支持将数据备份到OBS(对象存储服务)中,支持跨区域的高可靠性。 备份:MRS支持针对DBService、NameNode、LDAP的元数据备份和对HDFS、HBase的业务数据备份。 数据完整性 通过数据校验,保证数据在存储、传输过程中的数据完整性。
联系OBS运维人员查看OBS服务是否正常。 是,执行步骤 4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
步骤3:创建Hive表并加载OBS中数据 在服务列表中选择“存储 > 对象存储服务 OBS”,登录OBS控制台,单击“并行文件系统 > 创建并行文件系统”,填写以下参数,单击“立即创建”。 表4 并行文件系统参数 参数名称 参数说明 取值样例 区域 设置并行文件系统的区域。
30天 转换为归档存储天数 指定在对象最后一次更新后多少天,受规则影响的对象将转换为归档存储。若同时设置转换为低频访问存储和转换为归档存储,则转换为归档存储的时间要比转换为低频访问存储的时间至少长30天。若单独设置转换为归档存储,则没有时间限制。
否,执行步骤 3 联系OBS运维人员查看OBS服务是否正常。 是,执行步骤 4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
联系OBS运维人员查看OBS服务是否正常。 是,执行步骤 4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
联系OBS运维人员查看OBS服务是否正常。 是,执行步骤 4。 否,联系OBS服务运维人员修复OBS服务。 收集故障信息。
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。
MRS_ECS_DEFAULT_AGENCY委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。 代码样例 如下是实例化FileSystem的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
用户已经在账号的对象存储服务(OBS)中创建了并行文件系统。 操作步骤 登录MRS集群Manager界面。 登录集群Manager界面请参考访问MRS集群Manager。 单击“系统设置”。 在“维护”下单击“审计日志导出”。
约束与限制 大数据存算分离场景,请务必使用OBS并行文件系统,使用普通对象桶会对集群性能产生较大影响。
IoTDB基本原理 从零开始使用IoTDB Impala组件 Impala直接对存储在HDFS,HBase 或对象存储服务(OBS)中的Hadoop数据提供快速,交互式SQL查询。
如果有运行中的HetuEngine计算实例,重启服务前需先停止计算实例,服务重启成功后再启动计算实例。 登录HetuEngine客户端创建Schema或表时,无需指定Location,默认存储在OBS上。
父主题: MRS集群服务对接OBS示例
配置Hudi通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在spark-shell中创建Hudi COW表存储到OBS中。
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。
使用云数据迁移云服务也可以将外部数据导入至MRS集群中。 数据存储 MRS支持结构化和非结构化数据在集群中的存储,并且支持多种高效的格式来满足不同计算引擎的要求。 HDFS是大数据上通用的分布式文件系统。 OBS是对象存储服务,具有高可用低成本的特点。