检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
以上参数可以登录Manager,选择“集群 > 服务 > HDFS > 配置 > 全部配置”搜索对应参数获取。
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto
区域(Region):从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
roViewDF.createOrReplaceTempView("hudi_ro_table") spark.sql("select * from hudi_ro_table").show() 图1 查看表数据 执行以下命令退出spark-shell命令行: :q 父主题: MRS集群服务对接
父主题: MRS集群服务对接OBS示例
配置Spark通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,即可在Spark客户端创建Location为OBS路径的表。
图2 查看日志级别 父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
父主题: MRS集群服务对接OBS示例
配置Mapreduce通过Guardian访问OBS 参考配置Guardian服务不启用Ranger OBS路径鉴权或配置Guardian服务启用Ranger OBS路径鉴权完成Guardian对接OBS后,MapReduce服务还需参考本章节新增自定义配置。
父主题: MRS集群服务对接OBS示例
hive.demo01.demo_table WITH (format = 'ORC') AS SELECT * FROM tpch.sf1.customer; 图2 开启Kerberos认证的集群Presto建表返回结果 执行以下命令退出客户端: exit 父主题: MRS集群服务对接
/flume-manager.sh restart 在OBS系统中查看结果。 登录OBS控制台。 单击“并行文件系统”,进入1中创建的并行文件系统中的文件夹查看结果。 父主题: MRS集群服务对接OBS示例
单击“服务状态”页签,选择“更多 > 重启服务”重启Mapreduce服务。 业务侧提交OBS作业并运行成功,则表示MapReduce对接OBS成功。
导出Doris数据至HDFS 数据导出(Export)功能可以将用户指定的表或分区的数据,以文本的格式通过Broker进程导出到远端存储上,如HDFS/对象存储(支持S3协议) 等。
单击“概览”,选择“更多 > 重启服务”,重启Guardian服务。 选择“集群 > 服务 > HBase > 配置”,在搜索框中搜索并修改以下参数: fs.coldFS:修改该参数值为OBS文件系统名,例如:obs://OBS并行文件系统名称。
OBS_BUCKET为一个已有的OBS文件系统名,OBS_DIRECTORY为该文件系统下的目录。 图2 OBS作为Alluxio的底层文件系统 单击“保存配置”,并在弹出窗口中勾选“重新启动受影响的服务和实例。” 单击“确定”重启Alluxio服务。
同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区表,不支持将分区Location配置为HDFS路径(存储在HDFS上的分区表也不支持修改分区Location为OBS)。 父主题: Hive常见问题
同一个Hive服务中可以分别创建存储在OBS上的表和存储在HDFS上的表。 Hive存储在OBS上的分区表,不支持将分区location配置为hdfs路径(存储在HDFS上的分区表也不支持修改分区location为OBS)。 父主题: Hive常见问题