概述-华为云

MAPREDUCE服务 MRS-用户账号一览表:数据库用户

数据库用户系统数据库用户包含OMS数据库用户、DBService数据库用户。类别默认用户初始密码描述密码修改方法 OMS数据库 ommdba MRS 3.2.0之前版本：dbChangeMe@123456 MRS 3.2.0及之后版本：随机密码 OMS数据库管理员用户，用于创建、启动和停止等维护操作。请参见修改OMS数据库管理员密码。 omm MRS 3.2.0之前版本：ChangeMe@123456 MRS 3.2.0及之后版本：随机密码 OMS数据库数据访问用户。请参见修改OMS数据库访问用户密码。 DBService数据库 omm MRS 3.2.0之前版本：dbserverAdmin@123 MRS 3.2.0及之后版本：随机密码 DBService组件中GaussDB数据库的管理员用户。请参见重置DBService数据库omm用户密码。 compdbuser 随机密码 MRS 3.1.2及之后版本中存在，DBService组件中GaussDB数据库的管理员用户，用于业务运维场景。该账户密码首次使用需重置。请参见修改DBService数据库compdbuser用户密码。 hetu 随机密码 HetuEngine连接DBService数据库hetumeta的用户。该用户仅在MRS 3.1.2及之后版本中存在。 MRS 3.1.2之前版本：请参见修改组件数据库用户密码。 MRS 3.1.2及之后版本：请参见重置组件数据库用户密码。 hive MRS 3.1.2之前版本：HiveUser@ MRS 3.1.2及之后版本：随机密码 Hive连接DBService数据库hivemeta的用户。 hue MRS 3.1.2之前版本：HueUser@123 MRS 3.1.2及之后版本：随机密码 Hue连接DBService数据库hue的用户。 sqoop MRS 3.1.2之前版本：SqoopUser@ MRS 3.1.2及之后版本：随机密码 Loader连接DBService数据库sqoop的用户。 oozie MRS 3.1.2之前版本：OozieUser@ MRS 3.1.2及之后版本：随机密码 Oozie连接DBService数据库oozie的用户。 rangeradmin MRS 3.1.2之前版本：Admin12! MRS 3.1.2及之后版本：随机密码 Ranger连接DBservice数据库ranger的用户。 kafkaui 随机密码 KafkaUI连接DBService数据库kafka的用户。该用户仅在MRS 3.1.2及之后版本中存在。 flink 随机密码 Flink连接DBService数据库flink的用户。该用户仅在MRS 3.1.2及之后版本中存在。 cdl 随机密码 CDL连接DBService数据库cdl的用户。该用户仅在MRS 3.2.0及之后版本中存在。 jobgateway 随机密码 JobGateway连接DBService数据库jobmeta的用户。该用户仅在MRS 3.3.0及之后版本中存在。

MAPREDUCE服务 MRS 安全概述

MAPREDUCE服务 MRS-用户账号一览表:系统用户

系统用户需要使用操作系统中root用户，所有节点root用户需设置为统一的密码。需要使用操作系统中ldap用户，此账号不能删除，否则可能导致集群无法正常工作。密码管理策略由操作系统管理员维护。类别用户名称初始密码描述密码修改方法系统管理员 admin 用户创建集群时自定义 FusionInsight Manager的管理员。说明： admin用户默认不具备其他组件的管理权限，例如访问组件原生界面时，需要使用具备对应组件管理权限的用户才可以访问到完整内容。请参见修改admin密码。节点操作系统用户 ommdba 随机密码创建系统数据库的用户。在管理节点生成，属于操作系统用户，无需设置为统一的密码。该用户不能用于远程登录。请参见修改操作系统用户密码。 omm 随机密码系统的内部运行用户。在全部节点生成，属于操作系统用户，无需设置为统一的密码。

MAPREDUCE服务 MRS 安全概述

MAPREDUCE服务 MRS-用户账号一览表:用户分类

用户分类 MRS集群提供以下3类用户，请系统管理员定期修改密码，不建议使用默认密码。本章节介绍MRS集群内的相关默认用户信息。用户类型使用说明系统用户通过FusionInsight Manager创建，是系统操作运维与业务场景中主要使用的用户，包含两种类型： “人机”用户：用于在FusionInsight Manager的操作运维场景，以及在组件客户端操作的场景。创建此类型用户时需要参考创建用户设置“密码”和“确认密码”。 “机机”用户：用于系统应用开发的场景。用于OMS系统进程运行的用户。系统内部用户集群提供的用于Kerberos认证、进程通信、保存用户组信息和关联用户权限的内部用户。系统内部用户不建议在操作与维护的场景下使用。请通过admin用户操作，或联系系统管理员根据业务需要创建新用户。数据库用户用于OMS数据库管理和数据访问的用户。用于业务组件（Hue、Hive、HetuEngine、Loader、Oozie、Ranger、JobGateway和DBService）数据库的用户。

MAPREDUCE服务 MRS 安全概述

云数据库 GAUSSDB-相关概念:事务管理

事务管理在事务管理上，GaussDB采取了MVCC（多版本并发控制）结合两阶段锁的方式，其特点是读写之间不阻塞。GaussDB的astore存储引擎将历史版本数据和当前元组的版本放在了一起。GaussDB的astore存储引擎没有回滚段的概念，但是为了定期清除历史版本数据，GaussDB的astore存储引擎引入了VACUUM线程。一般情况下，除非用户要做性能调优，否则不用特别关注VACUUM线程。GaussDB的ustore存储引擎是将历史版本数据统一存放到undo回滚段里，由undo回收线程统一清理历史版本数据。此外，GaussDB对于单语句查询（没有使用BEGIN等语句显示启动事务块）是自动提交事务的。

云数据库 GAUSSDB 数据库系统概述

云数据库 GAUSSDB-数据库逻辑结构图

数据库逻辑结构图集群的每个DN负责存储数据，其存储介质是磁盘，本节主要从逻辑视角介绍每个DN上有哪些对象，以及这些对象之间的关系。另外介绍数据在不同节点的分布方式。数据库逻辑结构如图1所示。图1 数据库逻辑结构图 Tablespace，即表空间，表空间是一个目录，数据库中可以存在多个表空间，其中存储的是它所包含的数据库的各种物理文件。每个表空间可以对应多个Database。 Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。数据库管理的对象可分布在多个Tablespace上。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库，也只能对应到一个Tablespace。每张表对应的数据文件必须在同一个Tablespace中。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。数据在不同的DN上有四种分布方式，可以在建表的时候指定：REPLICATION、HASH、RANGE、LIST。父主题：数据库系统概述

云数据库 GAUSSDB 数据库系统概述

云数据库 GAUSSDB-相关概念:事务管理

事务管理在事务管理上，GaussDB采取了MVCC（多版本并发控制）结合两阶段锁的方式，其特点是读写之间不阻塞。GaussDB的astore存储引擎将历史版本数据和当前元组的版本放在了一起。GaussDB的astore存储引擎没有回滚段的概念，但是为了定期清除历史版本数据，GaussDB的astore存储引擎引入了VACUUM线程。一般情况下，除非用户要做性能调优，否则不用特别关注VACUUM线程。GaussDB的ustore存储引擎是将历史版本数据统一存放到undo回滚段里，由undo回收线程统一清理历史版本数据。此外，GaussDB对于单语句查询（没有使用BEGIN等语句显示启动事务块）是自动提交事务的。

云数据库 GAUSSDB 数据库系统概述

云数据库 GAUSSDB-数据库逻辑结构图

数据库逻辑结构图 GaussDB的数据库节点负责存储数据，其存储介质也是磁盘，本节主要从逻辑视角介绍数据库节点都有哪些对象，以及这些对象之间的关系。数据库逻辑结构如图1。图1 数据库逻辑结构图 Tablespace，即表空间，表空间是一个目录，数据库中可以存在多个表空间，其中存储的是它所包含的数据库的各种物理文件。每个表空间可以对应多个Database。 Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。数据库管理的对象可分布在多个Tablespace上。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库，也只能对应到一个Tablespace。每张表对应的数据文件必须在同一个Tablespace中。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。父主题：数据库系统概述

云数据库 GAUSSDB 数据库系统概述

云容器引擎 CCE-集群基本信息:集群的网络

集群的网络集群的网络可以分成三个部分：节点网络：为集群内节点分配IP地址。容器网络：为集群内容器分配IP地址，负责容器的通信，当前支持多种容器网络模型，不同模型有不同的工作机制。服务网络：服务（Service）是用来解决访问容器的Kubernetes对象，每个Service都有一个固定的IP地址。在创建集群时，您需要为各个网络选择合适的网段，确保各网段之间不存在冲突，每个网段下有足够的IP地址可用。集群创建后不支持修改容器网络模型，您需要在创建前做好规划和选择。强烈建议您在创建集群前详细了解集群的网络以及容器网络模型，具体请参见容器网络模型。

云容器引擎 CCE 集群概述

MAPREDUCE服务 MRS-CarbonData主要规格:二级索引表规格

二级索引表规格表2 二级索引表规格实体测试值二级索引表数量 10 二级索引表中的组合列的列数 5 二级索引表中的列名长度（单位：字符） 120 二级索引表名长度（单位：字符） 120 表中所有二级索引表的表名+列名的累积长度*（单位：字符） 3800** * Hive允许的上限值或可用资源的上限值。 ** 二级索引表使用hive注册，并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符，无法更改。

MAPREDUCE服务 MRS CarbonData概述

MAPREDUCE服务 MRS-CarbonData主要规格:CarbonData主要规格

CarbonData主要规格表1 CarbonData主要规格实体测试值测试环境表数 10000 3个节点，每个executor 4个CPU核，20GB。Driver内存5GB，3个Executor。总列数：107 String：75 Int：13 BigInt：7 Timestamp：6 Double：6 表的列数 2000 3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。原始CSV文件大小的最大值 200GB 17个cluster节点，每个executor 150GB，25个CPU核。Driver内存10 GB，17个Executor。每个文件夹的CSV文件数 100个文件夹，每个文件夹10个文件，每个文件大小50MB。 3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。加载文件夹数 10000 3个节点，每个executor4个CPU核，20GB。Driver内存5GB，3个Executor。

MAPREDUCE服务 MRS CarbonData概述

MAPREDUCE服务 MRS-开发流程:Spark应用程序开发流程

Spark应用程序开发流程 Spark包含Spark Core、Spark SQL和Spark Streaming三个组件，其应用开发流程都是相同的。开发流程中各阶段的说明如图1和表1所示。图1 Spark应用程序开发流程表1 Spark应用开发的流程说明阶段说明参考文档了解基本概念在开始开发应用前，需要了解Spark的基本概念，根据实际场景选择需要了解的概念，分为Spark Core基本概念、Spark SQL基本概念和Spark Streaming基本概念。常用概念准备开发和运行环境 Spark的应用程序支持使用Scala、Java、Python三种语言进行开发。推荐使用IDEA工具，请根据指导完成不同语言的开发环境配置。Spark的运行环境即Spark客户端，请根据指导完成客户端的安装和配置。准备开发和运行环境准备开发用户开发用户用于运行样例工程。用户需要有HDFS、YARN、Kafka和Hive权限，才能运行Spark样例工程。准备MRS应用开发用户准备工程 Spark提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。或者您可以根据指导，新建一个Spark工程。配置并导入样例工程新建工程（可选）准备安全认证如果您使用的是安全集群，需要进行安全认证。准备安全认证根据场景开发工程提供了Scala、Java、Python三种不同语言的样例工程，还提供了Streaming、SQL、JDBC客户端程序以及Spark on HBase四种不同场景的样例工程。帮助用户快速了解Spark各部件的编程接口。开发程序编译并运行程序指导用户将开发好的程序编译并提交运行。编包并运行程序查看程序运行结果程序运行结果会写在用户指定的路径下。用户还可以通过UI查看应用运行情况。查看调测结果调优程序您可以根据程序运行情况，对程序进行调优，是其性能满足业务场景诉求。调优完成后，请重新进行编译和运行。 Spark2x性能调优

MAPREDUCE服务 MRS 概述

云数据库 GAUSSDB-通用数据库服务层

通用数据库服务层从技术角度来看，存储引擎需要一些基础架构组件，主要包括：并发：不同存储引擎选择正确的锁可以减少开销，从而提高整体性能。此外提供多版本并发控制或“快照”读取等功能。事务：均需满足ACID的要求，提供事务状态查询等功能。内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。。检查点：不同存储引擎一般都支持增量checkpoint/double write或全量checkpoint/full page write模式。应用可以根据不同条件进行选择增量或者全量，这个对存储引擎是透明的。日志：GaussDB Kernel采用的是物理日志，其写入/传输/回放对存储引擎透明。父主题：存储引擎体系架构概述

云数据库 GAUSSDB 存储引擎体系架构概述

云数据库 GAUSSDB-通用数据库服务层

通用数据库服务层从技术角度来看，存储引擎需要一些基础架构组件，主要包括：并发：不同存储引擎选择正确的锁可以减少开销，从而提高整体性能。此外提供多版本并发控制或“快照”读取等功能。事务：均需满足ACID的要求，提供事务状态查询等功能。内存缓存：不同存储引擎在访问索引和数据时一般会对其进行缓存。缓存池允许直接从内存中处理经常使用的数据，从而加快了处理速度。检查点：不同存储引擎一般都支持增量checkpoint/double write或全量checkpoint/full page write模式。应用可以根据不同条件进行选择增量或者全量，这个对存储引擎是透明的。日志：GaussDB Kernel采用的是物理日志，其写入/传输/回放对存储引擎透明。父主题：存储引擎体系架构概述

云数据库 GAUSSDB 存储引擎体系架构概述

内容分发网络 CDN-接入流程:计费方式

计费方式当您开通CDN时，可以选择基础计费方式：流量计费或者峰值带宽计费。具体计费方式及计费示例详见计费说明。流量计费当选择流量计费时：您可以选择通过按量计费，即按照每小时实际使用的流量进行计费。您也可以购买价格更优惠的CDN流量包进行抵扣，购买流量包成功后，系统会一次性按照购买价格对账户余额进行扣费。具体流量包说明请参见预付费流量包。峰值带宽计费当选择峰值带宽计费时：峰值带宽计费采用按量计费方式，即按照每日峰值带宽进行计费。

内容分发网络 CDN 入门概述

内容分发网络 CDN-接入CDN前您需要了解:计费方式

计费方式了解CDN的计费详情，有助于您在开通CDN服务时合理选择计费方式，节约成本。华为云CDN计费分为两个部分：基础服务计费（必选）+增值服务计费（可选）。基础服务计费：用户访问CDN节点产生的流量或带宽费用。增值服务计费：全站加速请求数。表1 计费方式计费项计费方式描述基础服务计费流量计费适用于域名流量曲线波动较大，全天内带宽利用率小于30%，且有带宽尖峰的用户。计费方式是流量计费时可购买流量包抵扣，CDN为您提供多种规格的流量包，详见预付费流量包。峰值带宽计费适用于域名流量曲线比较平稳，全天内带宽利用率大于30%的用户。如果选择此种计费模式，您需要充值余额到CDN账户，每月的使用量会从您的余额扣除。 V0、V1的用户需要提交工单申请开通。月结95峰值带宽计费针对业务量较大的客户提供的两种计费方式，如果您预估您的月消费金额会超过10万元，可联系客户经理进行商务洽谈开通。日峰值月平均计费增值服务计费全站加速请求数如果您需要使用全站加速，会产生增值服务计费：请求次数计费。

内容分发网络 CDN 入门概述

云服务器内容精选

概述

7*24

备案

专业服务

退订

建议反馈

售前咨询热线