检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
步骤3：创建OBS连接 在CDM集群管理界面，单击集群后的“作业管理”，选择“连接管理 > 新建连接”，连接器类型选择“对象存储服务（OBS）”后，单击“下一步”配置OBS连接参数，如图2所示。 名称：用户自定义连接名称，例如“obslink”。
创建云服务委托并绑定集群 MRS在IAM的委托列表中预置了MRS_ECS_DEFAULT_AGENCY委托，可在集群创建过程中选择该委托，该委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES
登录IAM服务控制台。 选择“权限 > 创建自定义策略”。 策略名称：请输入策略名称。 作用范围：请选择“全局级服务”。 策略配置方式：请选择“可视化视图”。 策略内容： “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。
作用范围 选择全局级服务，OBS为全局服务。 配置策略方式 选择“可视化视图”。 策略内容 “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有“写”、“列表”和“只读”权限。
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。
登录IAM服务控制台。 选择“权限 > 创建自定义策略”。 策略名称：请输入策略名称。 作用范围：请选择“全局级服务”。 策略配置方式：请选择“可视化视图”。 策略内容： “允许”选择“允许”。 “云服务”选择“对象存储服务 (OBS)”。 “操作”勾选所有操作权限。
因此MRS服务提供了以对象存储服务OBS为载体的存算分离方案，在大数据存储容量大、计算资源需要弹性扩展的场景下，用户可以将数据存储在OBS分布式并行文件系统中，使用MRS集群仅作数据计算处理，从而实现按需灵活扩展资源、低成本的海量数据分析方案。
在云服务列表中选择“存储 > 对象存储服务”，登录OBS管理控制台。 单击“并行文件系统”，创建一个并行文件系统，并上传测试数据文件。 例如创建的文件系统名称为“mrs-demo-data”，单击系统名称，在“文件”页面中，新建一个文件夹“flink”，上传测试数据至该目录中。
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力
Impala服务是否支持磁盘热插拔 问题 MRS集群中Impala服务是否支持磁盘热插拔？ 回答 Impala服务的数据一般是存储在HDFS或者OBS（对象存储服务）中，无需直接使用本地节点的磁盘。
配置ClickHouse对接OBS源文件 操作场景 OBS（对象存储服务）是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力，兼容S3（Simple Storage Service）协议，用户可以在MRS ClickHouse集群中通过S3表函数或S3
打包环境: conda pack -f -o pyspark_conda_env.tar.gz 上传压缩包 将生成的pyspark_conda_env.tar.gz压缩包上传至您的集群的分布式文件系统（如HDFS）或对象存储服务（如OBS）。
Impala Impala Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。
创建虚拟私有云和子网 对象存储服务（Object Storage Service） 对象存储服务（OBS）用于存储用户数据，包括MRS作业输入数据和作业输出数据： MRS作业输入数据：用户程序和数据文件 MRS作业输出数据：作业输出的结果文件和日志文件 MRS中HDFS、Hive、
数据容灾与备份 容灾：MRS支持将数据备份到对象存储服务（OBS）中，支持跨区域的高可靠性。 备份：MRS支持针对OMS、Kafka、DBService、NameNode等组件的元数据备份和对HDFS、HBase、Hive等组件的业务数据备份。
Impala应用开发简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。
Impala应用开发简介 Impala简介 Impala直接对存储在HDFS，HBase 或对象存储服务（OBS）中的Hadoop数据提供快速，交互式SQL查询。
Impala应用开发简介 Impala直接对存储在HDFS、HBase或对象存储服务（OBS）中的Hadoop数据提供快速、交互式SQL查询。
在存算架构下，Spark、Hive等计算分析应用的数据存储在对象存储服务(OBS)中。在MemArtsCC集群上一个服务实例称为Worker，对于OBS上的对象数据，Worker缓存其中部分或全部分片到本地的持久化存储（SSD/HDD）中。
MapReduce服务通常使用的基础资源如下，配额由各个基础服务管理，如需扩大配额，请联系对应服务的技术支持进行扩容： 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务 其配额查看及修改请参见关于配额。
