华为云用户手册

响应示例 状态码： 200 OK { "app" : { "app_id" : "f29eddd1443e4dceb76898f881c07a4d", "app_name" : "app_xq0XT", "app_remark" : "autotest", "app_key" : "bcb835430eab4c72bd45e2315d98fdb9", "app_secret" : "80dc4ab97b34456fbf73a04e83164a1b", "user_id" : "04f258c8fb00d42a1f65c00df88cc4dc", "project_id" : "04f258c84780d5a52f3bc00dc15aa5e7", "app_type" : "APIG", "app_codes" : [ "6fcc73e9a8d344ce8df47cdd252a532772e9bb762aa74c3ea99f3f2373806174" ], "created_at" : 1698745606957, "updated_at" : 1703162872355, "bounded_api_count" : 0 } }

响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 app ApigAppDetailInfo object 创建的APP基础信息。 表4 ApigAppDetailInfo 参数 参数类型 描述 app_codes Array of strings APP Code列表，当APP类型为APIC时，此参数为空。 app_id String APP编号。 app_key String APP的key。 app_name String APP名称。 app_remark String APP描述，默认为空。不超过200个字符。 app_secret String APP密钥。 app_type String APP类型。可能取值包括： APIC （该APP注册在roma connect网关上） APIG （该APP注册在共享 API网关上） DEDICATE_APIG（该APP注册在专享 API网关上） bounded_api_count Integer APP绑定API数量。 created_at Long APP创建时间。 project_id String 项目ID。 updated_at Long APP更新时间。 user_id String APP创建用户ID。 状态码： 401 表5 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码 error_msg String 具体错误信息 状态码： 403 表6 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码 error_msg String 具体错误信息 状态码： 404 表7 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码 error_msg String 具体错误信息

Notebook基础镜像列表 ModelArts开发环境提供Docker容器镜像，可作为预构建容器运行。预置镜像里面包含PyTorch，Tensorflow，MindSpore等常用AI引擎框架，镜像命名以AI引擎为主，并且每个镜像里面都预置了很多常用包，用户可以直接使用而无需重新安装。 开发环境预置镜像分为X86和ARM两类： 表1 X86预置镜像列表 引擎类型 镜像名称 PyTorch pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 pytorch1.10-cuda10.2-cudnn7-ubuntu18.04 pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 Tensorflow tensorflow2.1-cuda10.1-cudnn7-ubuntu18.04 tensorflow1.13-cuda10.0-cudnn7-ubuntu18.04 MindSpore mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 mindspore1.7.0-py3.7-ubuntu18.04 mindspore1.2.0-cuda10.1-cudnn7-ubuntu18.04 mindspore1.2.0-openmpi2.1.1-ubuntu18.04 无AI引擎（专用于 自定义镜像 的基础镜像） conda3-cuda10.2-cudnn7-ubuntu18.04 conda3-ubuntu18.04 表2 ARM预置镜像列表 引擎类型 镜像名称 TensorFlow tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 MindSpore mindspore_1.10.0-cann_6.0.1-py_3.7-euler_2.8.3 mindspore_1.9.0-cann_6.0.0-py_3.7-euler_2.8.3 mindspore1.7.0-cann5.1.0-py3.7-euler2.8.3 mindspore1.7.0-cuda10.1-py3.7-ubuntu18.04 父主题： Notebook基础镜像介绍

镜像二：tensorflow1.15-cann5.1.0-py3.7-euler2.8.3 表2 tensorflow1.15-cann5.1.0-py3.7-euler2.8.3镜像介绍 AI引擎框架 是否使用昇腾 （CANN版本） URL 包含的依赖项 Tensorflow 1.15 是 （CANN 5.1） swr.{region-id}.{局点域名}./atelier/ tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 例如： swr.cn-central-231.xckpjs.com/atelier/tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 swr.cn-southwest-228.cdzs.cn/atelier/tensorflow_1_15_ascend:tensorflow_1.15-cann_5.1.0-py_3.7-euler_2.8.3-aarch64-d910-20220906 PyPI 程序包 Yum 软件包 tensorflow 1.15.0 tensorboard 1.15.0 ipykernel 5.3.4 ipython 7.34.0 jupyter-client 7.3.4 ma-cau 1.1.2 ma-cau-adapter 1.1.2 ma-cli 1.1.3 matplotlib 3.5.1 modelarts 1.4.7 moxing-framework 2.0.1.rc0.ffd1c0c8 numpy 1.17.5 pandas 0.24.2 pillow 9.2.0 pip 22.1.2 psutil 5.7.0 PyYAML 5.3.1 scipy 1.3.3 scikit-learn 0.20.0 tornado 6.2 ca-certificates.noarch cmake cpp curl gcc-c++ gcc gdb grep nginx python3 rpm tar unzip vim wget zip

镜像一：tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64 表1 tensorflow1.15-mindspore1.7.0-cann5.1.0-euler2.8-aarch64镜像介绍 AI引擎框架 URL 包含的依赖项 Mindspore-Ascend 1.7.0 swr.{region_id}.myhuaweicloud.com/atelier/notebook2.0-mul-kernel-arm-ascend-cp37:5.0.1-c81-20220726 例如： 华北-北京四 swr.cn-north-4.myhuaweicloud.com/atelier/notebook2.0-mul-kernel-arm-ascend-cp37:5.0.1-c81-20220726 PyPI 程序包 Yum 软件包 mindspore-ascend 1.7.0 ipykernel 6.7.0 ipython 7.29.0 jupyter-client 7.0.6 ma-cau 1.1.7 ma-cau-adapter 1.1.3 ma-cli 1.2.3 matplotlib 3.1.2 modelarts 1.4.22 moxing-framework 2.0.0.rc2.4b57a67b numpy 1.17.5 pandas 1.1.3 pillow 7.0.0 pip 21.2.4 psutil 5.7.0 PyYAML 5.3.1 scipy 1.5.4 scikit-learn 0.24.1 tornado 6.1 mindinsight 1.7.0 cmake cpp curl ffmpeg g++ gcc git grep python3 rpm tar unzip wget zip

Nginx Nginx是通过log_format指令来自定义访问日志的格式。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 输入Nginx日志配置”中需要输入Nginx日志配置，根据输入或选择的日志进行配置。其中有默认配置可使用，单击“默认Nginx配置”即可。 标准Nginx配置文件中，日志配置的部分通常以log_format开头。 日志格式 默认配置如下所示。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 用户也可进行自定义配置，具体配置格式要求如下所示。 使用Nginx配置，不可为空 以log_format开头，并且包含（'）和字段名称 长度最大限制为5000 需要与示例日志内容匹配 log_format字段之间的间隔，除大小字母、数字、下划线及中划线外，可使用其他任意字符 以（'）或者（';）结尾 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 39.149.31.187 - - [12/Mar/2020:12:24:02 +0800] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36" "-" 并使用如下Nginx日志配置。 log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; 图4 智能提取结果 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

JSON JSON是通过提取JSON字段将其拆分为键值对。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤2 字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 {"a1": "a1", "b1": "b1", "c1": "c1", "d1": "d1"} 图2 提取结果 当日志提取字段的类型为float时，精度为16位有效数字。如果超过16位有效数字，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 当日志提取字段的类型为long时，日志内容超过16位有效数字，只会精确显示前16位有效数字，后面的数字会变为0。 当日志提取字段的类型为long时，日志内容超过21位有效数字，则会识别为float类型，建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

分隔符 分隔符是使用分隔符（例如：逗号、空格或字符）提取字段。 选择示例日志：应选择一条比较典型的日志作为示例日志。在“步骤1 选择示例日志”中，可单击“从已有日志中选择”，在弹出框中根据业务需求选择待操作的日志，也可以直接在输入框中输入待操作的日志，单击“确定”。通过选择不同时间段筛选日志。 时间范围有三种方式，分别是相对时间、整点时间和自定义。您可以根据自己的实际需求，选择时间范围。 相对时间：表示查询距离当前时间1分钟、5分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置相对时间1小时，表示查询18:20:31~19:20:31的日志数据。 整点时间：表示查询最近整点1分钟、15分钟等时间区间的日志数据。例如当前时间为19:20:31，设置整点时间1小时，表示查询18:00:00~19:00:00的日志数据。 自定义：表示查询指定时间范围的日志数据 在“步骤2 指定分隔符”需要根据原始日志内容选择分隔符，或自定义其他需要的特殊字符作为分隔符。 不可见字符需要输入0x开头的16进制字符，长度为0-4个字符，总共32个不可见字符。 自定义字符支持输入1-10个字符，每个字符都作为独立的分隔符。 自定义字符串支持输入1-30个字符，字符串整体作为一个分隔符。 字段提取。可将输入或选择的日志自动提取为以一个示例字段对应一个字段名称的格式的日志解析结果。 在“步骤3字段提取”下单击“智能提取”。以如下原始日志为例进行分析： 将以下原始日志输入待操作框中。 1 5f67944957444bd6bb4fe3b367de8f3d 1d515d18-1b36-47dc-a983-bd6512aed4bd 192.168.0.154 192.168.3.25 38929 53 17 1 96 1548752136 1548752736 ACCEPT OK 图3 智能提取结果 当日志提取字段的类型为float时，精确度为7位有效数字。 如果超过7位有效数字的话，则会导致提取字段内容不准确，从而影响可视化查看和快速分析，因此建议将字段类型修改为String。 在字段提取完成后，可对日志模板进行设置。结构化字段设置规则请参考设置结构化字段。 单击“保存”，完成日志结构化配置，初次设置完成后将不能对字段类型编辑修改。

设置tag字段 设置结构化配置时，可以对日志维度信息进行tag字段设置，设置完成后可以在可视化界面对设置字段进行SQL查询。 在字段提取步骤中选择“tag字段”页签。 单击“添加字段”。 在tag字段列表中“字段名称”，输入需要设置 tag字段名称，例如hostIP。 tag字段功能上线前设置的结构化配置，在修改结构化配置进行tag字段设置时，系统tag不会带出示例字段。 如需添加多个字段可单击“添加字段”，继续添加。 设置完成后单击“保存”。 tag支持的系统字段包括：category、clusterId、clusterName、containerName、hostIP、hostId、hostName、nameSpace、pathFile、podName。 tag不支持的系统字段包括：groupName、logStream、lineNum、content、logContent、logContentSize、collectTime。 日志提取字段和tag字段可以同时设置。

设置结构化字段 在进行结构化配置字段提取之后，可对结构化字段进行设置，具体设置规则如下表。 表1 结构化字段设置规则 日志提取方式 字段名称 字段类型是否可修改 字段是否可删除 正则分析（自动生成） 用户自定义。 名称必须以字母开始，且仅包含字母和数字。 是 是 正则分析（手动输入） 支持在输入正则表达式时进行命名。 支持使用系统默认命名field1、field2、field3……，或对其修改后的名称。 是 是 JSON格式 智能提取字段名称，可定义别名。 是 是 分隔符 默认名称field1、field2、field3……，可进行修改。 是 是 Nginx 根据Nginx配置生成，可定义别名。 是 是 ELB模板 根据ELB资料中提供的日志字段被定义。 否 否 VPC模板 根据VPC资料中提供的日志字段被定义。 否 否 CTS 模板 字段名称为json日志中的key。 否 否 APIG模板 根据APIG资料中提供的日志字段被定义。 否 否 D CS 审计日志 根据DCS资料中提供的日志字段被定义。 否 否 TOMCAT 根据TOMCAT官网提供的字段名称进行nginx解析的名称 否 否 NGINX 根据NGINX资料中提供的日志字段被定义。 否 否 GAUSSV5审计日志 根据GAUSSV5资料中提供的日志字段被定义。 否 否 DDS审计日志 根据DDS资料中提供的日志字段被定义。 否 否 DDS错误日志 根据DDS资料中提供的日志字段被定义。 否 否 DDS慢日志 根据DDS资料中提供的日志字段被定义。 否 否 CFW访问控制日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW攻击日志 根据CFW资料中提供的日志字段被定义。 否 否 CFW流量日志 根据CFW资料中提供的日志字段被定义。 否 否 MYSQL错误日志 根据MYSQL资料中提供的日志字段被定义。 否 否 MYSQL慢日志 根据MYSQL资料中提供的日志字段被定义。 否 否 POSTGRESQL错误日志 根据POSTGRESQL资料中提供的日志字段被定义。 否 否 SQLSERVER错误日志 根据SQLSERVER资料中提供的日志字段被定义。 否 否 GeminiDB Redis慢日志 根据GeminiDB Redis资料中提供的日志字段被定义。 否 否 CDN 根据CDN资料中提供的日志字段被定义。 否 否 SMN 根据SMN资料中提供的日志字段被定义。 否 否 GAUSSDB_MYSQL错误日志 根据GAUSSDB_MYSQL资料中提供的日志字段被定义。 否 否 GAUSSDB_MYSQL慢日志 根据GAUSSDB_MYSQL资料中提供的日志字段被定义。 否 否 ER企业路由器 根据ER企业路由器资料中提供的日志字段被定义。 否 否 MYSQL审计日志 根据MYSQL审计日志资料中提供的日志字段被定义。 否 否 GeminiDB Cassandra慢日志 根据GeminiDB Cassandra慢日志资料中提供的日志字段被定义。 否 否 GeminiDB Mongo慢日志 根据GeminiDB Mongo慢日志资料中提供的日志字段被定义。 否 否 GeminiDB Mongo错误日志 根据GeminiDB Mongo错误日志资料中提供的日志字段被定义。 否 否 WAF访问日志 根据WAF访问日志资料中提供的日志字段被定义。 否 否 WAF攻击日志 根据WAF攻击日志资料中提供的日志字段被定义。 否 否 DMS重平衡日志 根据DMS重平衡日志资料中提供的日志字段被定义。 否 否 CCE审计日志 根据CCE审计日志资料中提供的日志字段被定义。 否 否 CCE事件日志 根据CCE事件日志资料中提供的日志字段被定义。 否 否 GeminiDB Redis审计日志 根据GeminiDB Redis审计日志资料中提供的日志字段被定义。 否 否 自定义模板 用户自定义。 是 是 正则分析（手动输入）、JSON格式、分隔符、Nginx和自定义模板的字段名称需要满足如下要求： 只支持输入英文、数字、中划线、下划线及小数点。 不能以小数点、下划线开头或以小数点结尾。 长度为1-64个字符。

概述 云日志 服务提供实时日志采集功能，支持ICAgent采集、云服务、API接入、SDK接入等日志采集方式，采集日志后，日志数据可以在云日志控制台以简单有序的方式展示、方便快捷的方式进行查询。 ICAgent采集：云日志服务支持通过ICAgent采集方式进行日志上报。 云服务接入：云日志服务支持多个云服务日志接入，您可以选择不同云服务查看相应的日志接入方式。 API接入：云日志服务API提供了一系列上报日志方法，您可以查看使用API将日志接入云日志服务的方式。 SDK接入：云日志服务SDK提供了一系列上报日志方法，您可以查看使用SDK将日志接入云日志服务的方式。 其他接入方式：支持跨账号接入和自建K8s接入。 单击名称，可以跳转到接入日志配置页面。例如：单击“云主机 ECS - 文本日志”会跳转到主机接入配置页面。 单击名称对应的，可以跳转到对应的资料页面。 父主题： 日志接入

解决方案 方法一：使用主账号重新创建一次任务，主账号默认有Security Administrator权限，可在创建任务后将委托创建出来。 方法二：使用主账号在子账号所在的用户组添加Security Administrator权限后，重新创建任务。添加权限的具体操作请参见：创建用户并授权使用DRS。 方法三：手动添加“账户委托”，添加步骤如下： 使用主账号登录华为云，在右上角单击“控制台”。 在控制台页面，鼠标移动至右上方的账号名，在下拉列表中选择“ 统一身份认证 ”。 在统一身份认证页面，单击左侧导航窗格中“委托”，进入“委托”页面。 在“委托”页面，单击右上方的“+创建委托”进行委托创建。 填写委托名称为“DRS_AGENTCY” ，委托类型为 “普通账号”时， 委托的账号为 “op_svc_rds”；委托类型为“云服务”时，选择“关系型数据库MySQL”；持续时间为“永久”，完成后单击“下一步”。 图1 创建委托 在“选择策略”页面，选择DRS_AGENTCY的授权策略，委托权限需配置全局的 Tenant Administrator，完成后单击右下角的“下一步”。 图2 选择策略 在“设置最小授权范围”页面，先选择全局服务资源授权后，再基于指定区域设置最小授权范围，完成后单击右下角的“确定”。 图3 全局服务资源授权 图4 指定区域项目授权 授权完成后，单击委托名称，在“授权记录”中可看到全局服务和指定区域两条授权记录。 图5 授权记录 权限生效时间提醒，您选中的OBS权限由于系统设计的原因，授权后需等待15-30分钟才可生效，权限生效后重新创建即可。

创建集群时开启安全通信 登录 MRS 管理控制台。 单击“购买集群”，进入购买集群页面。 在购买集群页面，选择“快速购买”或“自定义购买”。 参考快速购买集群或购买自定义集群配置集群信息。 在“通信安全授权”栏，勾选通信安全授权。 图1 通信安全授权 单击“立即购买”创建集群。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。

集群创建成功后关闭安全通信 登录MRS管理控制台。 在现有集群列表中，单击待关闭安全通信的集群名称。 系统跳转至该集群详情页面。 图2 通信安全授权 单击“通信安全授权”右侧的开关关闭授权，在弹出窗口单击“确定”。 关闭授权后将导致集群状态变更为“网络通道未授权”，集群部分功能不可用，请谨慎操作。 图3 关闭通信安全授权 若用户已开启敏感操作保护（详见 IAM 服务的敏感操作）,则输入选择的对应验证方式获取的验证码进行进行验证，避免误操作带来的风险和损失。 图4 身份验证

快速购买实时分析集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20201130”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“实时分析集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 企业项目：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 实时分析集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

快速购买Kafka流式集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20200321”。 集群类型：选择“流式集群”。 版本类型：选择“普通版”。 集群版本：根据实际需求选择集群版本。 组件选择：选择“Kafka流式集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。MRS 3.x版本无该参数。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 LVM：默认即可。MRS 3.x版本暂时不支持该参数。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 Kafka流式集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

快速购买ClickHouse集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20201121”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“ClickHouse集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 ClickHouse集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

自定义集群拓扑调整说明 表3 拓扑调整说明 服务名称 依赖关系 角色名称 角色业务部署建议 说明 OMS Server - OMSServer 部署在Master节点上，不支持修改。 - ClickHouse 依赖ZooKeeper CHS（ClickHouseServer） 所有节点均可部署。 角色实例部署数量范围：偶数个，2~256。 部署了该角色的非Master节点组会被认为是Core节点类型。 CLB（ClickHouseBalancer） 所有节点均可部署。 角色实例部署数量范围：2~256。 - ZooKeeper - QP(quorumpeer) 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 - Hadoop 依赖ZooKeeper NN(NameNode) 只能部署在Master节点上。 角色实例部署数量范围：2。 - HFS（HttpFS） 只能部署在Master节点上。 角色实例部署数量范围：0~10。 - JN(JournalNode) 只能部署在Master节点上。 角色实例部署数量范围：3~60，步长为2。 - DN(DataNode) 所有节点均可部署。 角色实例部署数量范围：3~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 RM(ResourceManager) 只能部署在Master节点上。 角色实例部署数量范围：2。 - NM(NodeManager) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - JHS(JobHistoryServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - TLS(TimelineServer) 只能部署在Master节点上。 角色实例部署数量范围：0~1。 - Presto 依赖Hive PCD(Coordinator) 只能部署在Master节点上。 角色实例部署数量范围：2。 - PWK(Worker) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Spark2x 依赖Hadoop 依赖Hive 依赖ZooKeeper JS2X(JD BCS erver2x) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 - JH2X(JobHistory2x) 只能部署在Master节点上。 角色实例部署数量范围：2。 - SR2X(SparkResource2x) 只能部署在Master节点上。 角色实例部署数量范围：2~50。 - IS2X(IndexServer2x) （可选）只能部署在Master节点上。 角色实例部署数量范围：0~2，步长为2。 - HBase 依赖Hadoop HM(HMaster) 只能部署在Master节点上。 角色实例部署数量范围：2。 - TS(ThriftServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 - RT(RESTServer) 所有节点均可部署。 角色实例部署数量范围：0~10000。 - RS(RegionServer) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - TS1(Thrift1Server) 所有节点均可部署。 角色实例部署数量范围：0~10000。 若集群安装了Hue服务并且需要在Hue WebUI使用HBase，HBase服务需安装此实例。 Hive 依赖Hadoop 依赖DBService MS(MetaStore) 只能部署在Master节点上。 角色实例部署数量范围：2~10。 - WH（WebHCat） 只能部署在Master节点上。 角色实例部署数量范围：1~10。 - HS(HiveServer) 只能部署在Master节点上。 角色实例部署数量范围：2~80。 - Hue 依赖DBService H(Hue) 只能部署在Master节点上。 角色实例部署数量范围：2。 - Sqoop 依赖Hadoop SC(SqoopClient) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Kafka 依赖ZooKeeper B(Broker) 所有节点均可部署。 角色实例部署数量范围：3~10000。 - Flume - MS(MonitorServer) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - F(Flume) 所有节点均可部署。 角色实例部署数量范围：1~10000。 部署了该角色的非Master节点组会被认为是Core节点类型。 Tez 依赖Hadoop 依赖DBService 依赖ZooKeeper TUI(TezUI) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - Flink 依赖ZooKeeper 依赖KrbServer 依赖DBService 依赖Hadoop FR(FlinkResource) 所有节点均可部署。 角色实例部署数量范围：1~10000。 - FS(FlinkServer) 所有节点均可部署。 角色实例部署数量范围：0~2。 - Oozie 依赖Hadoop 依赖DBService 依赖ZooKeeper O(oozie) 只能部署在Master节点上。 角色实例部署数量范围：2。 - Impala 依赖Hadoop 依赖Hive 依赖DBService 依赖ZooKeeper StateStore 只能部署在Master节点上。 角色实例部署数量范围：1。 - Catalog 只能部署在Master节点上。 角色实例部署数量范围：1。 - Impalad 所有节点均可部署。 角色实例部署数量范围：1~10000。 - Kudu - KuduMaster 只能部署在Master节点上。 角色实例部署数量范围：3或者5。 - KuduTserver 所有节点均可部署。 角色实例部署数量范围：3~10000。 - Ranger 依赖DBservice RA(RangerAdmin) 只能部署在Master节点上。 角色实例部署数量范围：1~2。 - USC(UserSync) 只能部署在Master节点上。 角色实例部署数量范围：1。 - TSC（TagSync） 所有节点均可部署。 角色实例部署数量范围：0~1。 - HetuEngine （仅适用于MRS 3.1.2-LTS.3及以后版本） 依赖Hadoop 依赖DBService 依赖Hive 依赖ZooKeeper 依赖KrbServer 依赖Yarn 依赖HDFS HSB(HSBroker) 所有节点均可部署。 角色实例部署数量范围：2~50。 - HSC(HSConsole) 所有节点均可部署。 角色实例部署数量范围：2。 - HSF(HSFabric) 所有节点均可部署。 角色实例部署数量范围：0~50。 - QAS（仅适用于MRS 3.2.0-LTS.1及以后版本） 所有节点均可部署。 角色实例部署数量范围：0~2。 - IoTDB（仅适用于MRS 3.2.0-LTS.1及以后版本） 依赖KrbServer CN（ConfigNode） 只能部署在Master节点上。 角色实例部署数量范围：3~9，步长为2。 - IoTDBS（IoTDBServer） 所有节点均可部署。 角色实例部署数量范围：3~256。 - CDL（仅适用于MRS 3.2.0-LTS.1及以后版本） 依赖DBService 依赖HDFS 依赖Hive 依赖KrbServer 依赖Kafka 依赖Spark 依赖ZooKeeper 依赖Yarn CC（CDLConnector） 所有节点均可部署。 角色实例部署数量范围：1~256。 - CS（CDLService） 所有节点均可部署。 角色实例部署数量范围：1~2。 -

自定义集群模板说明 表1 自定义集群常用模板说明 常用模板 说明 节点数量范围 管控合设 管理角色和控制角色共同部署在Master节点中， 数据实例 合设在同一节点组。该部署方式适用于100个以下的节点，可以减少成本。 Master节点数量大于等于3个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 管控分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例合设在同一节点组。该部署方式适用于100-500个节点，在高并发负载情况下表现更好。 Master节点数量大于等于5个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 数据分设 管理角色和控制角色分别部署在不同的Master节点中，数据实例分设在不同节点组。该部署方式适用于500个以上的节点，可以将各组件进一步分开部署，适用于更大的集群规模。 Master节点数量大于等于9个，小于等于11个。 节点组数量总和小于等于10个，非Master节点组中节点数量总和小于等于10000个。 表2 MRS自定义集群节点部署方案 节点部署原则 适用场景 组网规则 管理节点、控制节点和数据节点分开部署 （此方案至少需要8个节点） MN × 2 + CN × 9 + DN × n （推荐）数据节点数500-2000时采用此方案 集群节点数超过200时，各节点划分到不同子网，各子网通过核心交换机三层互联，每个子网的节点数控制在200个以内，不同子网中节点数量请保持均衡。 集群节点数低于200时，各节点部署在同一子网，集群内通过汇聚交换机二层互联。 MN × 2 + CN × 5 + DN × n （推荐）数据节点数100-500时采用此方案 MN × 2 + CN × 3 + DN × n （推荐）数据节点数30-100时采用此方案 管理节点和控制节点合并部署，数据节点单独部署 (MN+CN) × 3 + DN × n （推荐）数据节点数3-30时采用此方案 集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。 管理节点、控制节点和数据节点合并部署 节点数小于6的集群使用此方案 此方案至少需要3个节点 说明： 生产环境或商用环境不推荐使用此场景： 管理节点、控制节点和数据节点合并部署时，集群性能和可靠性都会产生较大影响。 如节点数量满足需求，建议将数据节点单独部署。 如节点数量不满足将数据节点单独部署的要求，必须使用此场景时，需要使用双平面组网方式。将管理网络与业务网络流量隔离，防止业务平面的数据量过大，导致管理操作不能正常下发。 集群内节点部署在同一子网，集群内通过汇聚交换机二层互联。

创建自定义集群 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”页签。 参考下列参数说明配置集群软件信息，参数详细信息请参考软件配置。 区域：默认即可。 计费模式：选择“包年/包月”或者“按需计费”。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群版本：目前仅MRS 3.x版本支持。 集群类型：选择“自定义”并根据需要勾选对应组件。 单击“下一步”，并配置硬件信息。 可用区：默认即可。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：选择“自动创建”。 弹性公网IP：选择“暂不绑定”。 常用模板：具体说明请参见自定义集群模板说明。 节点数：请根据业务量调整集群实例数量。具体可参考表2。 实例规格：单击配置实例规格、系统盘和数据盘存储类型和存储空间。 拓扑调整：若常用模板中的部署方式不满足需求或者需要手动安装部分默认安装不部署的实例或者需要手动安装部分实例时，请设置“拓扑调整”为“开启”，然后根据业务需要调整实例部署方式，具体说明请参见自定义集群拓扑调整说明。 单击“下一步”进入高级配置页签。 参数说明请参见高级配置。 单击“下一步”进入确认配置页签。 在“确认配置”页面检查配置集群信息，如需调整配置，可单击，跳转到对应页签后重新设置参数。 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

创建集群时配置RDS数据连接 该操作指导用户在创建MRS集群时配置RDS数据连接。 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”。 在软件配置中，参考表2配置“元数据 ”，其他参数请参考购买自定义集群进行配置并创建集群。 表2 数据连接参数说明 参数 参数说明 元数据 选择“外置数据连接”。使用外部数据源元数据，若集群异常或删除时将不影响元数据，适用于存储计算分离的场景。 支持Hive或Ranger组件的集群支持该功能。 组件名 当“外置数据连接”功能开启时，该参数有效。用于表示可以设置外部数据源的组件类型。 Hive Ranger 数据连接类型 当“外置数据连接”功能开启时，该参数有效。用于表示外部数据源的类型。 Hive组件支持的数据连接类型： RDS服务PostgreSQL数据库 RDS服务MySQL数据库 “云数据库 GaussDB (for MySQL)”（仅MRS 3.1.2-LTS.3和MRS 3.1.5版本支持） 本地数据库 Ranger组件支持的数据连接类型： RDS服务MySQL数据库 本地数据库 数据连接实例 当“数据连接类型”选择“本地数据库”时无需配置该参数。用于表示MRS集群与RDS服务数据库连接的名称，该实例必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考数据连接前置操作和创建RDS数据连接进行操作。 图2 创建集群时配置数据连接

快速购买HBase查询集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“HBase查询集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 企业项目：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 HBase查询集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

集群状态 登录MRS管理控制台，可在现有集群列表的“状态”列查看已有集群的状态，可在状态筛选框中勾选集群状态查看指定集群，MRS集群可筛选状态如表1所示。 表1 集群状态说明 状态 说明 启动中 集群正在创建，则其状态为“启动中”。 运行中 集群创建成功且运行正常，则其状态为“运行中”。 扩容中 集群Master节点、Core节点或者Task节点正在扩容，则其状态为“扩容中”。 说明： 如果集群扩容失败，用户可重新进行扩容操作。 缩容中 当对集群节点进行缩容、弹性缩容、包周期集群退订节点、变更OS和重装OS的操作时，被变更的集群节点正在删除，则其状态为“缩容中”。 异常 集群中部分组件状态异常，导致集群异常，则其状态为“异常”。 删除中 在集群现有列表单击“删除”按钮并确认后，按需购买的集群节点正在删除中，则集群状态为“删除中”。 说明： 包年包月集群无法执行删除操作。 冻结 包年/包月资源宽限期到期未续费、按需资源扣费失败且在宽限期到期前未充值，系统会冻结这些资源，其状态为“冻结”。本文提及的冻结一般指欠费冻结，其它冻结场景请参见资源冻结的类型有哪些？。 说明： 冻结期间集群不可用且关闭集群中所有云主机，解冻后集群自动恢复为“运行中”状态。如果用户没有续费，冻结期限到期后集群会被删除，状态更新为“已删除” 故障节点修复中 集群中故障的节点正在修复，则其状态为“故障节点修复中”。

快速购买Hadoop分析集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：选择“按需计费”时，可能需要冻结一定的保证金。具体内容请参见 计费说明。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群类型：默认即可。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“Hadoop分析集群”。 可用区：默认即可。 当您为IES购买MRS时，请选择可用区为“边缘可用区”。 企业项目：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 Kerberos认证：选择是否开启Kerberos认证。购买集群后，不支持修改。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 图1 Hadoop分析集群 图2 集群节点配置 勾选通信安全授权，通信安全授权详情请参考授权安全通信。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。购买集群后，不支持修改。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

自定义购买集群高级配置（可选） 表6 MRS集群高级配置 参数 参数说明 标签 具体请参考添加集群/节点标签。 弹性伸缩 请在“硬件配置”页签指定Task节点的规格，然后参考配置弹性伸缩规则配置。 引导操作 具体请参考添加引导操作。 委托 通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。 MRS_ECS_DEFAULT_AGENCY委托拥有 对象存储服务 的OBS OperateAccess权限和在集群所在区域拥有 CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。 指标共享 用于采集大数据组件的监控指标，当用户使用集群过程中出现问题时，供华为云支持人员定位问题。 OBS权限控制 开启细粒度权限控制的用户可以通过该功能实现不同的MRS用户对OBS文件系统下的不同目录有不同的权限。具体请参见配置MRS多用户访问OBS细粒度权限。 数据盘加密 是否对集群挂载的数据盘中的数据进行加密，默认关闭。如需使用该功能，当前用户必须拥有“Security Administrator”和“KMS Administrator”权限。 加密数据盘使用的密钥由 数据加密 服务（DEW，Data Encryption Workshop）中的密钥管理（KMS，Key Management Service）功能提供，无需您自行构建和维护密钥管理基础设施，安全便捷。 通过单击“数据盘加密”开启或关闭数据盘加密功能，详情请参考云硬盘加密。 密钥ID 当“数据盘加密”功能开启时，显示该参数。用于显示已选择的密钥名称对应的密钥ID。 密钥名称 当“数据盘加密”功能开启时，需要配置该参数。选择用来加密数据盘的密钥名称，默认选择密钥名称为“evs/default”的默认主密钥，在下拉框中可以选择其他用户主密钥。 使用用户主密钥加密云硬盘，若对用户主密钥执行禁用、计划删除等操作，将会导致云硬盘不可读写，甚至数据永远无法恢复，请谨慎操作。 单击“查看密钥列表”，进入密钥管理页面可以创建及管理密钥。 告警 开启告警功能可在集群运行异常或系统故障时，及时通知集群维护人员定位问题。 规则名称 用户自定义发送告警消息的规则名称，只能包含数字、英文字符、中划线和下划线。 主题名称 选择已创建的主题，也可以单击“创建主题”重新创建。新创建的主题请参考向主题添加订阅向该主题添加订阅者才能接收发布至主题的消息。 主题是发送消息和订阅通知的信道，为发布者和订阅者提供一个可以相互交流的通道。

自定义购买专属云MRS集群 登录MRS管理控制台。 单击“购买集群”，进入“购买集群”页面。 在购买集群页面，选择“自定义购买”页签。 参考自定义购买集群软件配置配置集群信息后，单击“下一步”。 参考自定义购买集群硬件配置配置集群信息后，单击“下一步”。 参考自定义购买集群高级配置（可选）配置集群信息后，单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。 集群创建的状态过程请参见表1中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

快速购买专属云MRS集群 进入购买MRS集群页面。 在购买集群页面，选择“快速购买”页签。 参考下列参数说明配置集群基本信息，参数详细信息请参考购买自定义集群。 区域：默认即可。 计费模式：根据需要选择“按需计费”或“包年/包月”模式。 购买时长：购买集群的时长，最短时长为1个月，最长时长为一年。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：根据需要选择“Hadoop分析集群”、“HBase查询集群”或“Kafka流式集群”。 磁盘类型：默认即可。MRS 3.x版本暂时没有该参数。 集群节点：请根据自身需要选择集群节点规格数量等。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 单击“立即购买”。 如果您对价格有疑问，可以单击页面左下角“了解计费详情”，根据计费详情来了解产品价格。 单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

操作步骤 进入购买MRS集群页面。 在购买集群页面，选择“自定义购买”页签。 创建集群时需要注意配额提醒。当资源配额不足时，建议按照界面提示申请足够的资源，再创建集群。 配置集群软件信息。 区域：默认即可。 计费模式：默认即可。 购买时长：按需即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs_20180321”。 集群类型：选择“分析集群”即可。 版本类型：提供普通版和LTS版两种版本类型，默认版本类型为普通版。 集群版本：默认最新版本即可。 组件选择：分析集群勾选Spark2x、HBase和Hive等组件。流式集群勾选Kafka和Storm等组件。混合集群可同时勾选分析集群流式集群的组件。 针对MRS 3.x之前版本，分析集群勾选Spark、HBase和Hive等组件。 元数据：默认即可。MRS 3.x版本支持。 组件端口：当前MRS集群内各组件默认通讯端口值的策略。 单击“下一步”。 可用区：默认即可。 当您为IES购买MRS时，默认可用区为“边缘可用区”。 企业项目：选择“default”即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 安全组：默认即可。 弹性公网IP：默认即可。 集群节点： 节点数：需要购买的节点数量，3.x版本默认为3或根据业务情况选择合适的规格。 实例规格：Master和Core节点保持默认或根据业务情况选择合适的规格。 系统盘：存储类型选择“超高IO”，存储空间默认即可。 数据盘：存储类型选择“超高IO”，存储空间默认即可，数据盘数量默认即可。 单击“下一步”进入高级配置页签，配置参数，其他参数保持默认。 Kerberos认证： Kerberos认证：关闭Kerberos认证。 用户名：Manager管理员用户，目前默认为admin用户。 密码：Manager管理员用户的密码。 确认密码：再次输入密码。 登录方式：选择登录ECS节点的登录方式。 密码：设置登录ECS节点的登录密码。 密钥对：从下拉框中选择密钥对，如果已获取私钥文件，请勾选“我确认已获取该密钥对中的私钥文件SSHkey-xxx，否则无法登录弹性云服务器”。如果没有创建密钥对，请单击“查看密钥对”创建或导入密钥，然后再获取私钥文件。 主机名前缀：用作集群中ECS机器或BMS机器主机名的前缀。 只能包含大写字母、小写字母、数字和中划线，中划线不能在开头或末尾，最大支持20个字符。 集群创建时会为节点注册DNS域名，集群创建完成后完整的主机名和节点域名为：[prefix]-hostname.mrs-{XXXX}.com。XXXX为根据UUID生成的四位字符串。 高级配置：如果需要设置，请勾选“现在配置”进行配置。 单击“下一步”进入确认配置页签。 配置：确认软件配置、硬件配置及高级配置信息。 通信安全授权：勾选确认授权。 单击“立即购买”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 单击“返回集群列表”，可以查看到集群创建的状态。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。

执行Spark程序 本小节提供执行Spark程序的操作指导，旨在指导用户在安全集群模式下运行程序。 前提条件 已编译好待运行的程序及对应的数据文件，如FemaleInfoCollection.jar、input_data1.txt和input_data2.txt，Spark程序开发及数据准备请参见Spark应用开发。 操作步骤 采用远程登录软件（比如：MobaXterm）通过ssh登录（使用集群弹性IP登录）到安全集群的master节点。 登录成功后分别执行下列命令，在/opt/Bigdata/client目录下创建test文件夹，在test目录下创建conf文件夹： cd /opt/Bigdata/client mkdir test cd test mkdir conf 使用上传工具（比如：WinScp）将样FemaleInfoCollection.jar、input_data1.txt和input_data2.txt复制到test目录下，将“创建角色和用户”中的步骤5获得的keytab文件和krb5.conf文件复制到conf目录。 执行如下命令配置环境变量并认证已创建用户，例如test。 cd /opt/Bigdata/client source bigdata_env export YARN_USER_CLASSPATH=/opt/Bigdata/client/test/conf/ kinit test 然后按照提示输入密码，无异常提示返回，则完成了用户的kerberos认证。 执行如下命令将数据导入到HDFS中： cd test hdfs dfs -mkdir /tmp/input hdfs dfs -put input_data* /tmp/input 执行如下命令运行程序： cd /opt/Bigdata/client/Spark/spark bin/spark-submit --class com.huawei.bigdata.spark.examples.FemaleInfoCollection --master yarn-client /opt/Bigdata/client/test/FemaleInfoCollection-1.0.jar /tmp/input 程序运行成功后，会显示如下： 图14 程序运行结果

创建安全集群并登录其Manager 创建安全集群，请参见创建集群页面，开启“Kerberos认证”参数开关，并配置“密码”、“确认密码”参数。该密码用于登录Manager，请妥善保管。 图1 安全集群参数配置 登录MRS管理控制台页面。 单击“集群列表”，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 单击“集群管理页面”后的“前往Manager”，打开Manager页面。 若用户创建集群时已经绑定弹性公网IP，如图2所示。 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” 图2 访问Manager页面 若用户创建集群时暂未绑定弹性公网IP，如图3所示。 在弹性公网IP下拉框中选择可用的弹性公网IP或单击“管理弹性公网IP”购买弹性公网IP。 添加安全组规则，默认填充的是用户访问公网IP地址9022端口的规则。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致，属于正常现象，无需处理。 9022端口为knox的端口，需要开启访问knox的9022端口权限，才能访问Manager服务。 勾选“我确认xx.xx.xx.xx为可信任的公网访问IP，并允许从该IP访问MRS Manager页面。” 图3 访问Manager页面设置 单击“确定”，进入Manager登录页面，如需给其他用户开通访问Manager的权限，请参见访问Manager章节，添加对应用户访问公网的IP地址为可信范围。 输入创建集群时默认的用户名“admin”及设置的密码，单击“登录”进入Manager页面。