配置Spark通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。
org.apache.hadoop.fs.obs.metrics.OBSAMetricsProvider:表示收集统计OBS监控指标 org.apache.hadoop.fs.obs.DefaultMetricsConsumer:表示不收集OBS监控指标 要使用OBS监控功能,需确保上报
图2 查看日志级别 父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
roViewDF.createOrReplaceTempView("hudi_ro_table") spark.sql("select * from hudi_ro_table").show() 图1 查看表数据 执行以下命令退出spark-shell命令行: :q 父主题: MRS集群服务对接
父主题: MRS集群服务对接OBS示例
配置Mapreduce通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,MapReduce服务还需参考本章节新增自定义配置。
父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
/flume-manager.sh restart 在OBS系统中查看结果。 登录OBS控制台。 单击“并行文件系统”,进入步骤 1中创建的并行文件系统中的文件夹查看结果。 父主题: MRS集群服务对接OBS示例
hive.demo01.demo_table WITH (format = 'ORC') AS SELECT * FROM tpch.sf1.customer; 图2 开启Kerberos认证的集群Presto建表返回结果 执行以下命令退出客户端: exit 父主题: MRS集群服务对接
MRS集群客户端如何通过AK/SK信息对接OBS MRS 1.9.2及之后的版本支持使用obs://的方式对接OBS服务,当前主要支持的组件为Hadoop、Hive、Spark、Presto、Flink。其中HBase组件使用obs://的方式对接OBS服务暂不支持。
单击“服务状态”页签,选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功,则表示MapReduce对接OBS成功。
对接OBS场景中,spark-beeline登录后指定loaction到OBS建表失败 问题 对接OBS ECS/BMS集群,spark-beeline登录后,指定location到OBS建表报错失败。
步骤3:创建OBS连接 在CDM集群管理界面,单击集群后的“作业管理”,选择“连接管理 > 新建连接”,连接器类型选择“对象存储服务(OBS)”后,单击“下一步”配置OBS连接参数,如图2所示。 名称:用户自定义连接名称,例如“obslink”。
storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS Browser
配置ClickHouse对接OBS源文件 操作场景 OBS(对象存储服务)是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,兼容S3(Simple Storage Service)协议,用户可以在MRS ClickHouse集群中通过S3表函数或S3
登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。搜索参数项“clickhouse-config-customize”并添加参数值。参数值的添加参考下表。
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto