检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto
单击“服务状态”页签,选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功,则表示MapReduce对接OBS成功。
对接OBS场景中,spark-beeline登录后指定location到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。
storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS Browser
例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务。 图2 创建委托 “持续时间”选择“永久”并单击“完成”。
配置ClickHouse对接OBS源文件 操作场景 OBS(对象存储服务)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,兼容S3(Simple Storage Service)协议,用户可以在MRS ClickHouse集群中通过S3表函数或S3
登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索参数项“clickhouse-config-customize”并添加参数值。参数值的添加参考下表。
该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES Administrator和KMS Administrator权限。
创建云服务委托并绑定集群 MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托,可在集群创建过程中选择该委托,该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess(对开启细粒度策略的用户)、CES
如何处理集群内部OBS证书过期 用户问题 用户在MRS集群中访问OBS服务过程中出现证书过期问题。 问题现象 MRS集群产生“ALM-12054 证书文件失效”或“ALM-12055 证书文件即将过期”告警,且告警详情中触发告警的证书为OBS证书。
服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 对系统的影响 对于配置了冷热分离策略的表,无法读取和写入OBS上的冷数据,同时本地盘上的热数据变冷后,无法移动到OBS上。
OBS是否支持ListObjectsV2协议? 问: OBS是否支持ListObjectsV2协议? 答: 不支持。 父主题: 周边生态对接类
作用范围 选择全局级服务,OBS为全局服务。 配置策略方式 选择“可视化视图”。 策略内容 “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。
配置MRS集群通过Guardian对接OBS 配置Guardian服务不启用Ranger OBS路径鉴权 配置Guardian服务启用Ranger OBS路径鉴权 MRS集群服务对接OBS示例 父主题: 配置MRS集群存算分离
步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图2所示。 名称:用户自定义连接名称,例如“obslink”。
添加OBS的Ranger访问权限策略 操作场景 Ranger管理员可以通过Ranger为OBS用户配置OBS目录或文件的读、写权限。 本章节仅适用于MRS 3.3.0-LTS及之后版本。 前提条件 已安装Ranger服务且服务运行正常。 已创建需要配置权限的用户组。
MRS集群处理的数据源来源于OBS或HDFS,HDFS是Hadoop分布式文件系统(Hadoop Distributed File System),OBS(Object Storage Service)即对象存储服务,是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力
在服务列表中选择“管理与监管 > 统一身份认证服务”。 选择“委托 > 创建委托”。 设置“委托名称”。例如:mrs_ecs_obs。 “委托类型”选择“云服务”,在“云服务”中选择“弹性云服务器 ECS 裸金属服务器 BMS”,授权ECS或BMS调用OBS服务,如图2所示。
连接OBS失败。 检查集群和OBS网络是否连通,初始化配置。 是,执行8。 否,执行12。 登录MRS云服务管理控制台,在服务列表选择“统一身份认证服务 IAM > 委托”,在委托列表中单击MRS集群配置的委托名称。 单击“授权记录”,单击权限列表中各个策略的名称。