华为云用户手册

MoXing MoXing是ModelArts自研的组件，是一种轻型的分布式框架，构建于TensorFlow、PyTorch、MXNet、MindSpore等深度学习引擎之上，使得这些计算引擎分布式性能更高，同时易用性更好。MoXing包含很多组件，其中MoXing Framework模块是一个基础公共组件，可用于访问OBS服务，和具体的AI引擎解耦，在ModelArts支持的所有AI引擎(TensorFlow、MXNet、PyTorch、MindSpore等)下均可以使用。 MoXing Framework模块提供了OBS中常见的数据文件操作，如读写、列举、创建文件夹、查询、移动、复制、删除等。 在ModelArts Notebook中使用MoXing接口时，可直接调用接口，无需下载或安装SDK，使用限制比ModelArts SDK和OBS SDK少，非常便捷。

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.908-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练(ModelLink) llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b mistral-7b mixtral-8x7b 支持如下模型适配PyTorch-NPU的训练(LlamaFactory) llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b llama3.1-8b llama3.1-70b qwen1.5-0.5b qwen1.5-1.8b qwen1.5-4b qwen1.5-7b qwen1.5-14b yi-6b yi-34b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b falcon-11B glm4-9b LLM开源大模型基于DevServer适配ModelLinkPyTorch NPU训练指导（6.3.908） LLM开源大模型基于DevServer适配LLamaFactory PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.908） LLM开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.908） 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B falcon2-11b qwen2-57b-a14b llama3.1-8b llama3.1-70b llama-3.1-405B llava-1.5-7b llava-1.5-13b llava-v1.6-7b llava-v1.6-13b llava-v1.6-34b ascend-vllm支持如下推理特性： 支持分离部署 支持多机推理 支持投机推理 支持chunked prefill特性 支持automatic prefix caching 支持multi-lora特性 支持W4A16、W8A16和W8A8量化 LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.908） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.908） AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： Wav2Lip OpenSora1.2 OpenSoraPlan1.0 支持如下框架或模型基于DevServer的PyTorch NPU的训练： Diffusers Kohya_ss Wav2Lip InternVL2 OpenSora1.2 OpenSoraPlan1.0 SDXL基于Standard适配PyTorch NPU的LoRA训练指导（6.3.908） SD1.5&SDXL Diffusers框架基于DevServer适配PyTorch NPU训练指导（6.3.908） SD1.5&SDXL Kohya框架基于DevServer适配PyTorch NPU训练指导（6.3.908） 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 无

配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 西南-贵阳一 PyTorch： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc3-py_3.9-hce_2.0.2312-aarch64-snt9b-20240824153350-cebb080 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_2_ascend:pytorch_2.2.0-cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0、pytorch_2.2.0 MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是 CCE Turbo v1.28及以上

常见问题 为什么要下线旧版自动学习？ ModelArts自动学习是帮助用户实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。ModelArts团队对自动学习模块进行了架构与前端页面的升级，新版自动学习已于2023年6月上线，并已作为主入口面向用户开放，用户可实现在租户账号下管理个人的作业与资源。 下线旧版自动学习对现有用户的使用是否有影响？ 用户将无法再使用旧版自动学习的功能，且因旧版自动学习文件均存储于ModelArts统一管理账号下，用户无法找回旧版自动学习的作业记录。 旧版自动学习如何升级到新版自动学习？ 请参考新版自动学习指导文档来体验新版自动学习。

ModelArts版本配套关系表 当前华为云中国站和国际站所有Region均已上线ModelArts 6.8.0版本。 ModelArts 6.8.0版本中针对Ascend Snt9B资源的周边依赖组件配套版本关系如下表所示。 表1 ModelArts 6.8.0版本配套关系表 强依赖组件 Ascend Snt9B配套版本 CCE 1.28（推荐）/1.25/1.23（存量） Volcano插件 1.15.8 ModelArts Device-Plugin 1.2.0 huawei-npu 2.1.22 Lite模式DevServer节点操作系统 HCE2.0（推荐）/EulerOS 2.10 Lite模式Cluster节点操作系统 EulerOS 2.10（CCE标准版）/HCE2.0（CCE Turbo） Standard模式集群节点操作系统 EulerOS 2.10（CCE标准版） NPU固件&驱动 7.1.0.9.220-23.0.6（推荐） 7.3.0.1.231-24.1.rc2（白名单） NPU CANN 8.0.RC3（推荐） 8.0.RC2 8.0.RC1 NPU MindSpore 2.4.0（推荐） 2.3.0 2.2.12 NPU PyTorch 2.1.0（推荐） 预置统一镜像 mindspore_2.4.0-cann_8.0.rc3-py_3.9-euler_2.10.10-aarch64-snt9b pytorch_2.1.0-cann_8.0.rc3-py_3.9-euler_2.10.10-aarch64-snt9b SFS Turbo Client+ 23.09.03 AI Turbo SDK 23.12.3 父主题： 产品发布说明

配套的基础镜像 镜像地址 获取方式 配套关系镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240606190017-b881580 镜像发布到SWR，从SWR拉取 固件驱动：23.0.5 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 FrameworkPTAdapter：6.0.RC2 如果用到CCE，版本要求是CCE Turbo v1.25及以上

支持的特性 表1 本版本支持的特性说明 分类 软件包特性说明 参考文档 三方大模型，包名：AscendCloud-LLM 支持如下模型适配PyTorch-NPU的训练。 llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b glm4-9b LLM开源大模型基于DevServer适配PyTorch NPU训练指导（6.3.906） LLM开源大模型基于Standard适配PyTorch NPU训练指导（6.3.906） 支持如下模型适配PyTorch-NPU的推理。 llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b qwen2-0.5b qwen2-1.5b qwen2-7b qwen2-72b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b glm-4-9b gemma-2b gemma-7b mistral-7b mixtral 8*7B ascend-vllm支持如下推理特性： vllm版本升级至0.4.2 llama、qwen系列模型支持w8a8、w4a16量化 支持prefix caching、投机推理特性 LLM开源大模型基于DevServer适配PyTorch NPU推理指导（6.3.906） LLM开源大模型基于Standard适配PyTorch NPU推理指导（6.3.906） AIGC，包名：AscendCloud-AIGC 支持如下框架或模型基于DevServer的PyTorch NPU推理： ComfyUI LLaVA Qwen-VL Wav2Lip 支持如下模型基于DevServer的PyTorch NPU的训练： Qwen-VL LLaVA SDXL&SD1.5 ComfyUI插件基于DevServer适配PyTorch NPU推理指导（6.3.906） LLaVA模型基于DevServer适配PyTorch NPU推理指导（6.3.906） Qwen-VL基于DevServer适配PyTorch NPU的推理指导(6.3.906) Wav2Lip基于DevServer适配PyTorch NPU推理指导 LLaVA模型基于DevServer适配PyTorch NPU训练指导（6.3.906） Qwen-VL基于DevServer适配PyTorch NPU训练指导(6.3.906) 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE训练场景 matmul、swiglu、rope等算子性能提升，支持vllm推理场景 新增random随机数算子，优化FFN算子，满足AIGC等场景 新增自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 新增CopyBlocks算子，满足vllm框架beam search解码场景 无

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.906-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM AIGC代码包：AscendCloud-AIGC 算子依赖包：AscendCloud-OPP 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。

软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-3rdLLM-6.3.905-20240611214128.zip 三方大模型训练和推理代码包 获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-3rdAIGC-6.3.905-20240529154412.zip AIGC场景训练和推理代码包 AscendCloud-LLMFramework-6.3.905-20240611151643.zip 大模型推理框架代码包 AscendCloud-OPP-6.3.905-20240611170314.zip 算子依赖包

配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 镜像发布到SWR，从SWR拉取 固件驱动：23.0.5 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2.1.0 FrameworkPTAdapter：6.0.RC2 如果用到CCE，版本要求是CCE Turbo v1.25及以上

常见问题 为什么要下线模型转换？ ModelArts模型转换向AI开发者提供了便捷的模型转换页面，将Tensorflow和Caffe框架的模型格式转换为MindSpore的模型格式，即模型后缀为.om，使之能在昇腾硬件中进行推理。由于产品演进规划，后续昇腾硬件推理时主要使用后缀为.mindir的模型格式，因此ModelArts下线.om格式的模型转换能力，在ModelArts中逐步增加.mindir格式的支持能力。 下线模型转换后是否有替代功能？ 您可以通过链接下载ATC模型转换工具，按照指导，在线下转换成.om格式模型。 ModelArts中是否还会增加模型转换的能力？ ModelArts开发环境中在贵阳一Region，支持将ONNX或PyTorch模型转换到.mindir格式。其它能力在持续增加中。如果您暂时无法在该region中使用该能力，您可以通过链接下载MindSpore Lite离线转换模型工具，线下将其转换为.mindir格式模型。

常见问题 为什么要下线旧版训练管理？ ModelArts旧版训练全面上线以后为众多开发者提供了AI训练能力，其中训练服务作为基础服务之一，经过持续迭代已经无法完全满足众多开发者的新特性需求。基于服务演进，ModelArts团队已于2021年上线新版训练，力求解决存在的历史问题，并为新特性提供高性能、高易用、可扩展、可演进的底座，给用户提供更好的AI训练体验，打造易用、高效的AI平台。 下线旧版训练管理对现有用户的使用是否有影响？ 正在使用的训练作业不受影响，但是用户无法使用旧版训练创建新的作业。 旧版训练管理是否停止新购？ 是的，旧版训练管理将于2023年6月30日 00:00(北京时间)正式退市。 旧版训练管理如何升级到新版训练？ 请参考新版训练指导文档（模型训练）来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题？ 新版训练和旧版训练的差异主要体现在以下3点。 新旧版创建训练作业方式差异 新旧版训练代码适配的差异 新旧版训练预置引擎差异

集群Master节点规格升级（一键升级） 登录 MRS 管理控制台。 选择“现有集群”，选中一个运行中的集群并单击集群名称，进入集群信息页面。 在“节点管理”页签Master节点组的“操作”列选择“升级规格”，进入“升级Master规格”页面。 选择升级后的规格，单击“提交”成功提交升级Master规格任务。 节点规格升级过程需要时间，升级成功后集群状态更新为“运行中”，请您耐心等待。 升级过程中集群会自动关闭升级的虚拟机，升级完成后自动开启该虚拟机 。 因用户对组件使用需求不同，节点规格升级成功后不会自动更新组件内存配置，用户可根据实际使用情况自行调整各组件内存配置。

升级MRS集群Master节点规格使用限制 支持2个及以上Master节点的集群升级Master节点规格 。 不支持使用BMS类型规格的集群升级Master节点规格 。 不支持本地盘规格升级规格。 MRS 1.8.2及之后版本至MRS 3.x之前版本、MRS 3.1.0及之后版本，请参考集群Master节点规格升级（一键升级）。 MRS 1.8.2之前版本和MRS 3.0.5版本，请参考集群Master节点规格升级（分步升级）操作。 升级过程中请勿对集群进行其他操作。 升级Master节点规格会导致业务中断，请尽量安排业务空闲期升级Master节点规格。

创建对接E CS /BMS云服务委托 登录华为云管理控制台，选择“ 统一身份认证 服务”。 在左侧导航栏选择“委托”，单击右上角的“创建委托”，设置相关参数，单击“下一步”。 参数选择如下： 委托名称：例如“lakeformation_test” 委托类型：选择“云服务” 云服务：选择“ECS BMS” 持续时间：根据实际情况自定义 在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：自定义 策略配置方式：选择JSON视图 策略内容：配置如下信息 { "Version": "1.1", "Statement": [ { "Action": [ "iam:agencies:assume" ], "Resource": { "uri": [ "/iam/agencies/授予给自身账号具备访问LakeFormation权限的委托ID", "/iam/agencies/授予给自身账号具备访问OBS权限的委托ID" ] }, "Effect": "Allow" } ] } 授予给自身账号具备访问LakeFormation权限的委托ID：可参考6获取。 授予给自身账号具备访问OBS权限的委托ID：可参考6获取。 选择新创建的自定义委托名称，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托完成。

创建对接OBS权限的委托 登录华为云管理控制台，选择“统一身份认证服务”。 在左侧导航栏选择“委托”，单击右上角的“创建委托”，选择相关参数，单击“下一步”。 参数选择如下： 委托名称：例如“visit_obs_agency” 委托类型：选择“普通账号” 委托的账号：输入被委托的华为云账号名称 持续时间：根据实际情况自定义 在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：例如“dev_visit_obs” 策略配置方式：JSON视图 策略内容：填入如下信息。 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "obs:bucket:GetBucketLocation", "obs:bucket:ListBucketMultipartUploads", "obs:object:GetObject", "obs:object:ModifyObjectMetaData", "obs:object:DeleteObject", "obs:object:ListMultipartUploadParts", "obs:bucket:HeadBucket", "obs:object:AbortMultipartUpload", "obs:bucket:ListBucket", "obs:object:PutObject" ], "Resource": [ "OBS:*:*:bucket:*", "OBS:*:*:object:*" ] } ] } Resource参数中“bucket”的参数值表示OBS桶名称，“object”的参数值表示OBS对象名称，可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。 其他参数按照实际需求进行配置。 勾选新建的策略名称例如“dev_visit_obs”，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。 在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问OBS权限的委托ID。

创建LakeFormation数据连接 创建LakeFormation数据连接的功能，需要联系技术支持申请开通白名单。 登录MRS控制台，在导航栏选择“数据连接”。 单击“新建数据连接 ”。 参考表1配置相关参数，单击“确定”完成创建。 表1 配置LakeFormation数据连接 参数 示例 说明 类型 LakeFormation 选择“LakeFormation”，当前仅MRS 3.3.0-LTS及之后版本支持连接该类型。 名称 mrs_LakeFormation 数据连接的名称。 LakeFormation实例 - 选择LakeFormation实例名称。 该实例需要先在LakeFormation实例创建后在此处引用，具体请参考创建LakeFormation实例。单击“查看LakeFormation实例”查看已创建的实例。 虚拟私有云 - 需要与待对接的MRS集群在同一虚拟私有云。 子网 - 选择子网名称。 VPC终端节点 - 选择VPC终端节点，或单击“创建对应LakeFormation实例的VPC终端节点”进行创建。 选择VPC终端节点后，产生的费用将由VPCEP服务收取。 LakeFormation委托 现有委托 选择“现有委托”，并选择创建对接LakeFormation权限的委托创建的委托，例如“visit_lakeformation_agency”。 图3 新建LakeFormation数据连接 创建完成后，在“数据连接”页面记录已创建数据连接的ID。

创建对接LakeFormation权限的委托 登录华为云管理控制台，选择“统一身份认证服务 IAM ”。 在左侧导航栏选择“委托”，单击右上角的“创建委托”，配置相关参数，单击“下一步”。 参数配置如下： 委托名称：例如“visit_lakeformation_agency” 委托类型：选择“普通账号” 委托的账号：输入被委托的华为云账号名称 持续时间：根据实际情况自定义 图1 创建委托 在选择策略界面右上角单击“新建策略”，配置如下信息，单击“下一步”。 策略名称：例如“dev_visit_lakeformation” 策略配置方式：“可视化视图”或“JSON视图” 策略内容： 策略中必须包含“lakeformation:policy:export”和“lakeformation:role:describe”。其他参数按照实际需求进行配置。 可视化视图：“云服务”选择“ 湖仓构建 ”；“操作”中选择所需操作权限。其他参数按照实际需求进行配置。 JSON视图，例如配置策略内容如下： { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "lakeformation:table:create", "lakeformation:database:alter", "lakeformation:table:alter", "lakeformation:database:drop", "lakeformation:database:create", "lakeformation:role:describe", "lakeformation:policy:create", "lakeformation:policy:export", "lakeformation:function:alter", "lakeformation:function:describe", "lakeformation:table:drop", "lakeformation:catalog:describe", "lakeformation:table:describe", "lakeformation:function:drop", "lakeformation:database:describe", "lakeformation:function:create", "lakeformation:transaction:operate", "lakeformation:policy:drop" ] } ] } 勾选新建的策略名称例如“dev_visit_lakeformation”，单击“下一步”。 “设置最小授权范围”根据实际情况选择授权的资源范围，单击“确定”，创建委托。 在“委托”页面，将鼠标移动到新创建的委托名称上，获取具备访问LakeFormation权限的委托ID。 图2 查看委托ID

授权 GaussDB (DWS)通过GRANT语法对角色和用户进行授权操作，普通用户如果要访问某张表，如果没有系统管理员dbadmin或者表的owner进行GRANT授权，是无法访问的，此默认机制有效地控制用户对数据的访问，防止数据泄露。 使用GRANT命令进行用户授权包括以下三种场景： 将系统权限授权给角色或用户 系统权限又称为用户属性，包括SYSADMIN、CREATEDB、CREATEROLE、AUDITADMIN和 LOG IN。 系统权限一般通过CREATE/ALTER ROLE语法来指定。其中，SYSADMIN权限可以通过GRANT/REVOKE ALL PRIVILEGE授予或撤销。但系统权限无法通过ROLE和USER的权限被继承，也无法授予PUBLIC。 将数据库对象授权给角色或用户 将数据库对象（表和视图、指定字段、数据库、函数、模式等）的相关权限授予特定角色或用户； GRANT命令将数据库对象的特定权限授予一个或多个角色。这些权限会追加到已有的权限上。 GaussDB(DWS)会将某些类型的对象上的权限授予PUBLIC。默认情况下，对表、表字段、序列、外部数据源、外部服务器、模式或表空间对象的权限不会授予PUBLIC，而以下这些对象的权限会授予PUBLIC：数据库的CONNECT权限和CREATE TEMP TABLE权限、函数的EXECUTE特权、语言和数据类型（包括域）的USAGE特权。当然，对象拥有者可以撤销默认授予PUBLIC的权限并专门授予权限给其他用户。为了更安全，建议在同一个事务中创建对象并设置权限，这样其他用户就没有时间窗口使用该对象。另外，这些初始的默认权限可以使用ALTER DEFAULT PRIVILEGES命令修改。 将角色或用户的权限授权给其他角色或用户 将一个角色或用户的权限授予一个或多个其他角色或用户。在这种情况下，每个角色或用户都可视为拥有一个或多个数据库权限的集合。 当声明了WITH ADMIN OPTION，被授权的用户可以将该权限再次授予其他角色或用户，以及撤销所有由该角色或用户继承到的权限。当授权的角色或用户发生变更或被撤销时，所有继承该角色或用户权限的用户拥有的权限都会随之发生变更。 数据库系统管理员可以给任何角色或用户授予/撤销任何权限。拥有CREATEROLE权限的角色可以赋予或者撤销任何非系统管理员角色的权限。

GaussDB(DWS)权限 默认情况下，IAM管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 GaussDB(DWS)部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如华北-北京四）对应的项目（cn-north-4）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问GaussDB(DWS)时，需要先切换至授权区域。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对GaussDB(DWS)服务，IAM管理员能够控制IAM用户仅能对某一类资源进行指定的管理操作。 多数细粒度策略以API接口为粒度进行权限拆分，GaussDB(DWS)支持的API授权项请参见权限策略和授权项。 细粒度策略的创建方法，请参见GaussDB(DWS)自定义策略。 如表1所示，包括了GaussDB(DWS)的所有系统权限。 表1 GaussDB(DWS)系统权限 系统角色/策略名称 描述 类别 依赖关系 DWS ReadOnlyAccess 数据仓库 服务只读权限，拥有该权限的用户仅能查看数据仓库服务资源。 系统策略 无 DWS FullAccess 数据仓库服务数据库管理员权限，拥有数据仓库服务所有权限。 系统策略 无 DWS Administrator DWS数据库管理员权限，拥有对数据仓库服务的所有执行权限。 拥有VPC Administrator权限的GaussDB(DWS)用户可以创建VPC或子网。 拥有 云监控 Administrator权限的GaussDB(DWS)用户，可以查看GaussDB(DWS)集群的监控指标信息。 使用此权限场景下，如果使用到创建委托场景，还需配置对应Security Administrator权限。 系统角色 依赖Tenant Guest和Server Administrator策略，需要在同项目中勾选依赖的策略。 DWS Database Access GaussDB(DWS)数据库访问权限，拥有该权限的用户，可以基于IAM用户生成临时数据库用户凭证以连接GaussDB(DWS)集群数据库。 系统角色 依赖DWS Administrator，需要在同项目中勾选依赖的策略。 表2列出了GaussDB(DWS)常用操作与系统权限的授权关系，您可以参照该表选择合适的系统策略。 每个区域的每个项目首次使用弹性IP绑定功能时，系统将提示创建名称为“DWSAccessVPC”委托以授权GaussDB(DWS)访问VPC。授权成功后，GaussDB(DWS)可以在绑定弹性IP的虚拟机故障时切换至健康虚拟机。 在实际业务中，除了具备策略权限外还需要给不同角色的用户授予不同的资源操作权限。例如创建快照、重启集群等操作，详情请参见策略语法：细粒度策略。 默认情况下，只有华为云账号或拥有Security Administrator权限的用户才具备查询委托和创建委托的权限。账号中的IAM用户，默认没有查询委托和创建委托的权限，在使用弹性IP绑定功能时页面会屏蔽绑定按钮，此时需联系有“DWS Administrator”权限的用户在当前页面完成对GaussDB(DWS)的委托授权，详情请参见委托GaussDB(DWS)管理资源。 表2 GaussDB(DWS)常用操作与系统权限的关系 操作 DWS FullAccess DWS ReadOnlyAccess DWS Administrator DWS Database Access 创建/恢复集群 √ x √ x 获取集群列表 √ √ √ x 获取单个集群详情 √ √ √ x 设置自动快照 √ x √ x 设置安全参数/参数组 √ x √ x 重启集群 √ x √ x 扩容集群 √ x √ x 重置密码 √ x √ x 删除集群 √ x √ x 设置可维护时间段 √ x √ x 绑定EIP x x √ x 解绑EIP x x √ x 创建DNS 域名 √ x √ x 释放DNS域名 √ x √ x 修改DNS域名 √ x √ x 创建MRS连接 √ x √ x 更新MRS连接 √ x √ x 删除MRS连接 √ x √ x 添加/删除标签 √ x √ x 编辑标签 √ x √ x 创建快照 √ x √ x 获取快照列表 √ √ √ √ 删除快照 √ x √ x 复制快照 √ x √ x

产品类型概述 存算一体：面向数据分析场景，为用户提供高性能、高扩展、高可靠、高安全、低时延、易运维的企业级数仓服务，支持2048节点、20PB级超大规模数据分析能力，适用于“库、仓、市、湖”一体化的融合分析业务。 存算分离：采用存算分离云原生架构，计算、存储分层弹性伸缩，极致性价比，采用多逻辑集群（Virtual Warehouse，以下简称VW）共享存储技术，实现不同负载的计算隔离和并发扩展，适用于OLAP分析场景。 GaussDB(DWS)数仓之间暂不支持互相访问，用户可通过创建的OBS外表，将两个数据库关联在同一个数据目录下进行数据查询。

功能特性对比 表1 功能特性对比 功能模块 功能模块 存算一体 存算分离 总览 资源 支持 支持 告警 支持 支持 近期事件 支持 支持 集群监控指标（DMS） 支持（单机版不支持） 支持 数据 - 支持 支持 集群管理 SQL编辑器 支持 支持 监控面板（DMS） 支持（单机版不支持） 支持 查看监控指标（Cloud Eye） 支持（单机版不支持） 支持 重启 支持 支持 启动 支持 支持 停止 支持 支持 扩容 支持（单机版不支持） 支持 缩容 支持（单机版不支持） 支持 重分布 支持（单机版不支持） 支持，备注1 查看重分布详情 支持（单机版不支持） 支持 弹性变更规格 支持 支持 经典变更规格 支持（单机版不支持） 不支持 重置密码 支持 支持 创建快照 支持（单机版不支持） 支持 解除只读 支持 支持 删除 支持 支持 管理CN节点 支持（单机版不支持） 支持 磁盘扩容 支持 支持 集群详情 基本信息 支持 支持 ELB负载均衡 支持（单机版不支持） 支持 资源管理 支持（单机版不支持） 支持 智能运维 支持（单机版不支持） 支持 逻辑集群 支持（单机版不支持） 支持 快照 支持（单机版不支持） 支持 参数修改 支持 支持 安全设置 支持 支持 MRS数据源 支持（单机版不支持） 支持 标签 支持 支持 节点管理 支持（单机版不支持） 支持 升级管理 支持（单机版不支持） 支持 日志服务 支持（单机版不支持） 支持 用户管理 支持（单机版不支持） 支持 集成 数据迁移 支持（单机版不支持） 支持 容灾管理 容灾管理 支持（单机版不支持） 不支持 快照管理 恢复 支持（单机版不支持） 支持 删除 支持（单机版不支持） 支持 复制 支持（单机版不支持） 支持 事件管理 事件管理（通用） 支持 支持 告警管理 告警管理 支持 支持 连接客户端 连接客户端 支持 支持 其他模块 巡检 支持（单机版不支持） 支持 智能运维 支持（单机版不支持） 支持 节点修复 支持（单机版不支持） 支持 租户侧温备 支持（单机版不支持） 支持 备注1：存算分离表数据存储在OBS上，无需重分布，但是元数据和索引存储在本地，仍然需要进行重分布。存算分离表在重分布时，表只支持读，元数据的重分布时间一般比较短，但是，如果表上创建了索引，索引会影响重分布的性能，重分布完成时间与索引的数据量成正比关系，在此期间，表只支持读。 存算一体（单机部署）不支持分布式模式，因此不支持扩缩容、逻辑集群、资源管理等操作。 存算一体（单机部署）不支持快照、监控面板、MRS数据源等功能。 存算一体（单机部署）中，原有指定分布列语法将被忽略，此外不支持job定时任务、SEQUENCE类型、HDFS/OBS外表导入导出（其中OBS外表导入导出8.2.0及以上版本支持）、多温存储、自增分区表等功能。 存算分离集群仅9.0.2及以上集群版本支持快照功能。

资源访问控制（IAM权限控制） 如果您需要对华为云上的GaussDB(DWS)资源，为企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制华为云资源的访问。通过IAM，您可以在华为云账号中给员工创建IAM用户，并授权控制他们对华为云资源的访问范围。 场景一：您的员工中有负责软件开发的人员，您希望他们拥有GaussDB(DWS)的使用权限，但是不希望他们拥有删除集群等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用GaussDB(DWS)，但是不允许删除集群的权限，控制他们对GaussDB(DWS)资源的使用范围。 场景二：您希望您的员工只有GaussDB(DWS)的资源使用权限，不希望拥有其他云资源的权限，以防止资源滥用。例如只开通GaussDB(DWS)的操作权限，不能使用其他云服务。 通过IAM权限控制，有效达到云资源访问控制，避免云资源误操作。了解更多请参见创建用户并授权使用GaussDB(DWS)。 父主题： 身份认证与访问控制

存算一体与存算分离产品形态对比 表2 存算分离与存算一体差异 数仓类型 存算一体 存算分离 存储介质 数据存储在计算节点的本地磁盘。 列存数据存储在华为云对象存储，本地磁盘主要作为OBS数据的查询缓存，行存仍然存储在计算节点本地磁盘。 产品优势 数据存储在计算节点本地，性能高。 存算分离，计算、存储分层弹性，存储按需使用，计算快速伸缩，无限算力、无限容量。 数据存储在对象存储上，存储成本更低，多VW支持的并发更高。 支持数据共享，支持湖仓一体。

存算分离架构 GaussDB(DWS)全新推出云原生数仓存算分离版本，利用云基础设施提供的资源池化和海量存储能力，结合MPP数据库技术，采用计算存储分离架构，实现了极致弹性、实时入库、数据实时共享和湖仓一体等特性。 云原生数仓存算分离采用计算存储分离架构，解决了计算存储必须等比例缩放的问题。赋能用户面向业务峰谷时，对计算能力进行快速且独立的扩缩要求，同时保证存储无限扩展、按需付费，快速、敏捷的响应业务变化，同时具有更高的性价比，进一步助力企业降本增效。 存算分离具有以下优势： 湖仓一体：提供简单、易维护的湖仓一体体验，无缝对接 DLI ，支持元数据自动导入、外部表查询加速、内外表关联查询，支持 数据湖 格式读写，简化数据入湖入仓。 实时写入：提供H-Store存储引擎，对实时写入场景进行了设计优化，支持高吞吐实时写入与更新，同时支持大批量写入场景。 极致弹性：计算资源快速伸缩，存储空间按需使用，同时大幅度降低存储成本。历史数据无需再迁移到其他存储介质上，让数据分析更简单，一站式解决金融、互联网等行业快速增长的数据分析需求。 数据共享：一份数据承载多样负载，数据实时共享，多写多读的使用模式，在支持不同业务数据快速共享的同时，具备良好的计算资源隔离能力。 图5 存算分离架构 极致弹性 逻辑集群（Virtual Warehouse） 随业务需求并发扩展。 多VW间数据实时共享，一份数据承载多样负载，无需拷贝。 通过多VW实现吞吐/并发的线性提升，同时具备良好的读写分离、负载隔离能力。 湖仓一体 数据湖与数据仓库数据无缝混合查询。 数据湖分析体验数仓的极致性能和精准管控度。

存算一体架构 GaussDB(DWS)基于Shared-nothing分布式架构，具备MPP（Massively Parallel Processing）大规模并行处理引擎，由众多拥有独立且互不共享的CPU、内存、存储等系统资源的逻辑节点组成。在这样的系统架构中，业务数据被分散存储在多个节点上，数据分析任务被推送到数据所在位置就近执行，并行地完成大规模的数据处理工作，实现对数据处理的快速响应。 图4 产品架构 应用层 数据加载工具、ETL（Extract-Transform-Load）工具、以及商业智能BI工具、数据挖掘和分析工具，均可以通过标准接口与GaussDB(DWS)集成。GaussDB(DWS)兼容PostgreSQL生态，且SQL语法进行了兼容MySQL、Oracle和Teradata的处理。应用只需做少量改动即可向GaussDB(DWS)平滑迁移。 接口 支持应用程序通过标准JDBC和ODBC连接GaussDB(DWS)。 GaussDB(DWS) 一个GaussDB(DWS)集群由多个在相同子网中的相同规格的节点组成，共同提供服务。集群的每个DN负责存储数据，其存储介质是磁盘。协调节点（Coordinator）负责接收来自应用的访问请求，并向客户端返回执行结果。此外，协调节点还负责分解任务，并调度任务分片在各DN上并行执行。 自动数据备份 支持将集群快照自动备份到EB级 对象存储服务 OBS（Object Storage Service）中，方便利用业务空闲期对集群做周期备份以保证集群异常后的数据恢复。 快照是GaussDB(DWS)集群在某一时间点的完整备份，记录了该时刻指定集群的所有配置数据和业务数据。 工具链 提供了数据并行加载工具GDS（General Data Service）、SQL语法迁移工具DSC（Database Schema Convertor）、SQL开发工具Data Studio、迁移工具GDS-Kafka，并支持通过控制台对集群进行运维监控。

集群逻辑架构 GaussDB(DWS)集群逻辑架构如图1所示。实例的详细介绍请参见表1。 图1 集群逻辑架构图 表1 集群架构说明 名称 描述 说明 CM 集群管理模块（Cluster Manager）。管理和监控分布式系统中各个功能单元和物理资源的运行情况，确保整个系统的稳定运行。 CM由CM Agent、OM Monitor和CM Server组成。 CM Agent：负责监控所在主机上主备GTM、CN、主备DN的运行状态并将状态上报给CM Server。同时负责执行CM Server下发的仲裁指令。集群的每台主机上均有CM Agent进程。 OM Monitor：看护CM Agent的定时任务，其唯一的任务是在CM Agent停止的情况下将CM Agent重启。如果CM Agent重启不了，则整个主机不可用，需要人工干预。 说明： CM Agent重启的情况很少发生，如果出现可能是因为系统资源不够用导致无法启动新进程。 CM Server：根据CM Agent上报的实例状态判定当前状态是否正常，是否需要修复，并下发指令给CM Agent执行。 GaussDB(DWS)提供了CM Server的主备实例方案，以保证集群管理系统本身的高可用性。正常情况下，CM Agent连接主CM Server，在主CM Server发生故障的情况下，备CM Server会主动升为主CM Server，避免出现CM Server单点故障。 GTM 全局事务管理器（Global Transaction Manager），负责生成和维护全局事务ID、事务快照、时间戳等全局唯一的信息。 整个集群只有一组GTM：主、备GTM各一个。 WLM 工作负载管理器（Workload Manager）。控制系统资源的分配，防止过量业务负载对系统的冲击而导致业务拥塞和系统崩溃。 不同于集群中的实例（GTM、CM、CN、DN）模块，不需要在安装过程中指定主机名称。安装程序会自动在各主机上安装此模块。 CN 协调节点（Coordinator）。负责接收来自应用的访问请求，并向客户端返回执行结果；负责分解任务，并调度任务分片在各DN上并行执行。 集群中，CN有多个并且CN的角色是对等的（执行DML语句时连接到任何一个CN都可以得到一致的结果）。只需要在CN和应用程序之间增加一个负载均衡器，使得CN对应用是透明的。CN故障时，由负载均衡自动路由连接到另外一个CN，请参见集群绑定和解绑ELB。 当前分布式事务框架下无法避免CN之间的互连，为了减少GTM上线程过多导致负载过大，建议CN配置数目≤10个。 GaussDB(DWS)通过CCN（Central Coordinator ）负责集群内的资源全局负载控制，以实现自适应的动态负载管理。CM在第一次集群启动时，通过集群部署形式，选择编号最小的CN作为CCN。若CCN故障之后，由CM选择新的CCN进行替换。 DN 数据节点（Datanode）。负责存储业务数据（支持行存、列存、混合存储）、执行数据查询任务以及向CN返回执行结果。 在集群中，DN有多个。每个DN存储了一部分数据。GaussDB(DWS)对DN提供了高可用方案：主DN、备DN、从备DN。三者的工作原理如下： 主、备DN同步数据期间，如果主DN突然故障不可用，备DN会升为主DN。 在原主DN恢复前，新升为主的DN会将数据日志同步到从备DN。 原主DN恢复后将成为备DN，并且会使用“从备DN”上的数据日志恢复异常期间的数据。 也就是说从备DN永远只作为从备使用，不会因为主DN或备DN故障而升级为主DN或备DN，从备DN只存放原主DN故障时，新升为主的DN同步到从备DN的Xlog数据和数据通道复制产生的数据。因此从备DN不额外占用存储资源，相比传统三副本节约了三分之一的存储空间。 Storage 服务器的本地存储资源，持久化存储数据。 - 集群的每个DN上负责存储数据，其存储介质也是磁盘。图2从逻辑上介绍了每个DN上都有哪些对象，以及这些对象之间的关系，其中： Database，即数据库，用于管理各类数据对象，各数据库间相互隔离。 Datafile Segment，即数据文件，通常每张表只对应一个数据文件。如果某张表的数据大于1GB，则会分为多个数据文件存储。 Table，即表，每张表只能属于一个数据库。 Block，即数据块，是数据库管理的基本单位，默认大小为8KB。 数据有三种分布方式，可以在建表的时候指定：REPLICATION、ROUNDROBIN 、HASH。 图2 数据库逻辑结构图

责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击，华为云在遵从法律法规业界标准的基础上，以安全生态圈为护城河，依托华为独有的软硬件优势，构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任，如图1所示。 华为云：负责云服务自身的安全，提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施，包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题： 安全

数据库安全设置 账户说明 您在创建DWS集群时，系统会自动为集群创建如下账户，用于给数据库提供完善的后台运维管理服务。 dbadmin：系统管理员账户，首次登录DWS数据库使用，用于业务数据库创建、普通用户创建、权限分配等。 如果开通了三权分立，则除了系统管理员dbadmin，还会生成安全管理员、审计管理员账户，账户名称由用户自定义，详情参见开启DWS数据库用户三权分立。 Ruby：系统默认运维账户，非云服务提供商运维人员不可使用。 om_user_集群ID前8位：其他运维账户，且系统赋予了gs_role_analyze_any，gs_role_vacuum_any，gs_role_read_all_stats，gs_role_signal_backend等预置权限，用于故障定位，非云服务提供商运维人员不可使用，详情参见授权DWS集群运维账号 。 账户密码复杂度设置 数据仓库服务的数据库系统管理员dbadmin密码在创建DWS集群时进行设定，且DWS控制台为dbadmin用户提供了密码复杂度校验，校验不通过，无法设定密码。 其复杂度要求请参见创建DWS集群中描述的密码复杂度要求。 其他普通数据库用户也相应设置了密码安全策略，系统默认安全策略如下： 长度为8~32个字符。 至少包含大写字母、小写字母、数字或特殊字符中三种的组合。 不能是用户名和用户名反序，此条要求为非大小写敏感。 不能是当前密码、当前密码的反序。 为避免恶意人员轻易破解您的数据库密码，请按照界面提示和要求设置足够复杂度密码，并定期修改。 自定义密码策略 以上默认安全策略支持用户修改，详情参见自定义密码策略。 账户锁定及设置密码过期策略 数据库用户密码有效期：通过password_effect_time控制，一旦密码过了有效期，则系统会提醒修改密码，修改此参数请联系技术支持。 数据库用户密码输入错误次数：通过failed_login_attempts控制，当用户输错次数超过该设定值，账户会自动锁定，需要系统管理员进行解锁，该参数可在DWS管理控制台进行设定，设定方法参见修改GaussDB(DWS)集群GUC参数。 账户锁定后自动解锁时间：通过password_lock_time控制，锁定时间超过设定值，账户会自行解锁，修改此参数请联系技术支持。 重置账户密码 系统管理员dbadmin账户被锁定或忘记密码时，可通过DWS控制台进行重置密码操作。 普通用户密码重置可通过系统管理员dbadmin在后台通过SQL命令重置，重置命令示例如下。参见密码设置和修改。 1 ALTER USER joe IDENTIFIED BY 'password';