约束与限制 该解决方案部署前，需 注册华为账号 并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。 如果选用 IAM 委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。

方案架构 该解决方案帮助您快速部署Dify LLM应用开发平台。 图1 方案架构图（社区版单机部署） 图2 方案架构图（知识库搜索增强版） 图3 方案架构图（CCE容器高可用版） 该解决方案将会部署如下资源： 社区版单机部署： 创建1台华为云Flexus云服务器X实例（FlexusX），用于搭建Dify-LLM应用开发平台。 创建1个弹性公网IP EIP并关联FlexusX实例，提供访问公网和被公网访问能力。 创建1个安全组，通过配置安全组规则，为云服务器提供安全防护。

方案优势 成本优化 提供高性价比的云服务器，按需选择资源规格、支持自动扩展，减少资源闲置，优化成本投入，进一步降低客户的运营成本。 高可用性 通过云容器引擎 CCE、云数据库 RDS for PostgreSQL、 云搜索服务 CSS OpenSearch部署应用，更好地托管与简化维护应用实例，确保系统的高性能和可扩展性。 一键部署 一键轻松部署，即可完成云服务资源的创建及Dify-LLM应用开发平台的搭建。

创建工作流 单击“工作室”，访问dify平台工作室。 图28 工作室 导入工作流。在工作室页面，单击“导入DSL文件”，在弹出的页面中选择“URL”，复制下面的地址，粘贴到DSL URL路径里，如下图所示： https://documentation-samples.obs.cn-north-4.myhuaweicloud.com/solution-as-code-publicbucket/solution-as-code-moudle/building-a-dify-llm-application-development-platform/workflow/DeepSeek_searXNG%E8%81%94%E7%BD%91%E6%90%9C%E7%B4%A2_%E7%9F%A5%E8%AF%86%E5%BA%93.yml 图29 导入工作流 图30 工作流模板 配置知识库。添加知识库：单击“知识检索”节点，单击“+”按钮添加知识库，选择知识库，单击“添加”。 图31 配置知识库 选择联网搜索插件，单击授权按钮，并添加URL。单机版部署填写Dify服务器私网IP：http://{E CS 私网IP}:8080；高可用部署填写URL：http://searxng:8080。如下图所示，单击“保存”后，即可设置成功。(ECS私网IP是部署Dify的虚机的内网ip，如连接不通，请检查虚机的安全组是否放通8080端口号）。 图32 授权联网搜索 图33 单机版URL 图34 高可用版URL 调整模型。若大模型处有提示感叹号如下图所示，即表示该模型不存在，需要调整为Dify平台已经添加好的模型。单击大模型名称，在右侧弹窗继续单击模型名称旁边的下拉列表，继续单击模型名称，在下拉列表中选择一个模型即可。其余大模型按照此步骤重复操作即可。 图35 模型不存在提示 图36 替换模型 至此，工作流配置已完成，单击右上角“预览”进行对话。 图37 联网搜索 图38 知识检索

Dify配置公网 域名 （社区版单机部署） 您需要在域名解析系统中，添加一条A记录，值为Dify服务器的公网IP。本文档以华为云云解析服务 DNS为例。如在华为云购买域名，默认直接添加到公网域名，可供管理华为云域名购买链接：https://www.huaweicloud.com/product/domain.html。如果不是通过华为云购买的域名，可参考创建公网域名。 进入公网域名列表页面，选择要使用的域名，单击“管理解析”。 图46 管理解析 单击“添加记录集”，填写配置信息如下 记录类型：“A – 将域名指向IPv4地址” 主机记录：解析域名的前缀。 例如创建的域名为“example.com”，其“主机记录”设置包括： www：用于网站解析，表示解析的域名为“www.example.com”。 空：用于网站解析，表示解析的域名为“example.com”。 主机记录置为空，还可用于为空头域名“@”添加解析。 abc：用于子域名解析，表示解析的域名为“example.com”的子域名“abc.example.com”。 mail：用于邮箱解析，表示解析的域名为“mail.example.com”。 *：用于泛解析，表示解析的域名为“*.example.com”，匹配“example.com”的所有子域名。 记录值：域名对应的IPv4地址。最多可以输入50个不重复地址，多个地址之间以换行符分隔。本文值为Dify的公网ip地址。 图47 添加记录集 登录弹性云服务 ECS控制台，选择部署Dify的服务器，单击“远程登录”。选择“VNC登录”，输入服务器密码，登录服务器。 图48 远程登录 图49 VNC登录 将SSL证书文件命名为dify.crt、dify.key并上传至：/dify/docker/nginx/ssl 图50 上传SSL证书 修改环境变量，在命令行执行如下命令，解析的域名为步骤二获取，例如www.example.com： sh /dify/docker/configure_dify_domain_name.sh ${解析的域名} 图51 配置环境变量 浏览器即可通过配置的域名访问Dify平台。 图52 访问Dify平台

安全组规则修改（可选） 该解决方案使用80端口用来访问Dify，默认全放通，请参考修改安全组规则，配置IP地址白名单。 该解决方案使用22端口用来以SSH方式远程登录云服务器，若需远程登录云服务器，请参考修改安全组规则，配置IP地址白名单，以便能正常访问服务。 该解决方案部署成功后，环境初始化预计5-10分钟，受网络、带宽影响，部署时间会有波动部署完成之后方可正常访问。 安全组实际是网络流量访问策略，包括网络流量入方向规则和出方向规则，通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求，比如需要添加、修改、删除某个TCP端口，请参考以下内容进行修改。 添加安全组规则：根据业务使用需求需要开放某个TCP端口，请参考添加安全组规则添加入方向规则，打开指定的TCP端口。 修改安全组规则：安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则，来修改安全组中不合理的规则，保证云服务器等实例的网络安全。 删除安全组规则：当安全组规则入方向、出方向源地址/目的地址有变化时，或者不需要开放某个端口时，您可以参考删除安全组规则进行安全组规则删除。

与一键部署DeepSeek对接 该章节为成功部署快速搭建DeepSeek推理系统解决方案后，将DeepSeek大模型对接至Dify平台时参考使用。 右侧单击用户名称，下拉并单击“设置”。 图14 设置 单击左侧“模型供应商”，在Ollama下单击“添加模型”。 图15 添加Ollama模型 模型名称填写快速部署中选择部署的模型，如“deepseek-r1:7b”，基础URL填写中获取的私网IP地址（如果部署的Dify应用和DeepSeek-R1蒸馏版模型不在同一服务器且不在同一VPC下，需填写DeepSeek-R1蒸馏版模型所在服务器的公网IP），端口号11434（使用公网连接时，模型服务器所在安全组需放通11434端口），单击右下角“保存”并关闭“设置”。 图16 模型配置

与MaaS服务对接 登录ModelArts Studio 平台，本文以部署华东二的DeepSeek-R1-Distill-Qwen-32B-4K为例。 图4 ModelArts Studio 在ModelArts Studio左侧导航栏中，选择“在线推理”进入“预置服务”服务列表，选择“免费服务”。 图5 免费服务 领取免费调用额度。在免费服务列表，选择所需的服务，单击右侧操作列的“领取额度”。当领取置灰时，表示该服务的免费额度已领取。 图6 领取额度 成功领取后，在免费服务列表，选择所需的服务，单击“调用说明”，在调用弹窗中接口类型选择“OpenAI SDK”获取API地址和模型名称。 图7 调用说明 免费服务中单个模型提供200万token推理额度，额度消耗完后可开通使用商用级别的推理 API服务 （仅限贵阳一），或前往我的服务部署为我的服务后付费使用。 图8 商用服务 图9 调用说明 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。在左侧导航栏，单击“API Key管理”（最多可创建30个密钥。每个密钥仅在创建时显示一次，请确保妥善保存。如果密钥丢失，无法找回，需要重新创建API Key以获取新的访问密钥）。 图10 API Key管理 在“API Key管理”页面，单击右上角“创建API Key”，填写标签（自定义API Key的标签，标签具有唯一性，不可重复。仅支持大小写英文字母、数字、下划线、中划线，长度范围为1~100个字符）和描述（自定义API Key的描述，长度范围为1~100个字符）信息后，单击“确定”。标签和描述信息在创建完成后，不支持修改。 图11 创建API Key 对接Dify平台。打开您的Dify平台界面，单击右上角用户名称，下拉并单击“设置”。 进入模型供应商页签，选择OpenAI-API-compatible供应商。 图12 选择供应商 Dify 1.0版本以上，需先安装模型供应商插件再添加模型。 配置模型信息：“模型名称”及“API endpoint URL”填写上述本节步骤4或步骤5“调用说明”中的“模型名称”及“API地址”；"API Key"填写步骤7中创建的API Key，填写完成后单击“保存”。 图13 设置

CCE容器高可用版 表5 资源和成本规划（按需计费） 华为云服务 配置示例 数量 每月预估花费 虚拟私有云 VPC 区域：华北-北京四 VPC网段：192.168.0.0/16 1 0.00 子网 Subnet 区域：华北-北京四 子网网段：192.168.1.0/24， 192.168.2.0/24， 192.168.3.0/24， 192.168.4.0/24 网关：192.168.0.1， 192.168.1.1，192.168.2.1，192.168.3.1 4 0.00 安全组 SecurityGroup 区域：华北-北京四 4 0.00 华为云Flexus云服务器X实例 按需计费：1.42元/小时 区域：华北-北京四 规格：Flexus云服务器X实例 | 性能模式（关闭）| x1.16u.16g | 16核 | 16 GB 镜像：Ubuntu 22.04 server 64bit 系统盘：高IO | 40GB 数据盘：高IO | 100 GiB 3 3064.18元 华为云Flexus云服务器X实例 按需计费：4.53元/小时 区域：华北-北京四 规格：Flexus云服务器X实例 | 性能模式（开启）| x1e.32u.32g | 32核 | 32 GB 镜像：Ubuntu 22.04 server 64bit 系统盘：通用型SSD | 40GB 1 3262.18元 弹性公网IP EIP 区域：华北-北京四 计费模式：按需计费 线路：动态BGP 公网带宽：按流量计费 带宽大小：300Mbit/s 3 0.80元/GB 对象存储服务 OBS 区域：华北-北京四 存储空间：数据存储（多AZ存储） 默认存储类别：标准存储 桶策略：私有 请求费用：GET/PUT 0.01元/万次，DELETE 免费 存储空间：0.1390元/GB/月 流量费用： 内/公网流入流量（数据上传到OBS）：0元 内网流出流量（通过 ECS云服务器 下载OBS的数据）： 0元公网流出流量 / 00:00-08:00（闲时）：0.2500元/GB 公网流出流量 / 08:00-24:00（忙时）： 0.5000元/GB 1 详细请参考每月账单。计费说明参考价格详情 云容器引擎 CCE 按需计费：2.91元/小时 区域：华北-北京四 计费模式：按需计费 规格：cce.s2.small（50节点） 集群 master 实例数： 3 集群 node 实例数： 3 类型：CCE 1 2095.20元 分布式缓存服务Redis®*版 按需计费：0.58元/小时 区域：华北-北京四 计费模式：按需计费 规格：4G (基础版）| 副本数：2 实例类型：Redis(主备) 1 414.72元 云数据库 RDS for PostgreSQL 按需计费：1.24元/小时 区域：华北-北京四 计费模式：按需计费 规格：rds.pg.n1.large.2.ha | 2 vCPU | 4 GB (通用型） 储存：SSD云盘 | 100GB 数据库引擎：PostgreSQL(主备) 1 892.80元 云搜索 服务 CSS 按需计费：3.98元/小时 区域：华北-北京四 计费模式：按需计费 规格： ess.spec-4u8g | 4 vCPUs | 8 GB 节点存储总容量：超高I/O | 120GB 集群类型：OpenSearch 节点数：3 1 2864.16元 弹性负载均衡 ELB 区域：华北-北京四 可用区数量：2 计费模式：按需计费 独享型负载均衡 网络型 | 弹性规格、应用型 | 弹性规格 按需计费：¥0.15/小时+应用型LCU费用：¥0.05/个·小时（按实际使用量收取LCU费用） 1 108元 + 应用型LCU费用 NAT网关 NAT 按需计费：12元/天 区域：华北-北京四 规格：小型 SNAT规则数：3 1 360元 合计 - - 13061.24元 + 应用型LCU费用 + 弹性公网IP EIP费用 + 对象存储服务OBS存储及流量费用

（可选）创建rf_admin_trust委托 进入华为云官网，打开控制台管理界面，鼠标移动至个人账号处，打开“ 统一身份认证 ”菜单。 图1 控制台管理界面 图2 统一身份认证菜单 进入“委托”菜单，搜索“rf_admin_trust”委托。 图3 委托列表 如果委托存在，则不用执行接下来的创建委托的步骤 如果委托不存在时执行接下来的步骤创建委托 单击步骤2界面中的“创建委托”按钮，在委托名称中输入“rf_admin_trust”，委托类型选择“云服务”，输入“ RFS ”，单击“完成”。 图4 创建委托 单击“立即授权”。 图5 委托授权 在搜索框中输入”Tenant Administrator”并勾选搜索结果，单击“下一步”。 图6 选择策略 选择“所有资源”，并单击“确定”完成配置。 图7 设置最小授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。 图8 委托列表

大模型微调需要的数据有要求吗？ AI原生应用引擎用于大模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组，例如： [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction": "bbb", "input": "bbb", "output": "bbb"}] 父主题： AI原生应用引擎

Step5 在ModelArts上创建Notebook并调试 将上传到SWR上的镜像注册到ModelArts的镜像管理中。 登录ModelArts管理控制台，在左侧导航栏中选择“镜像管理 ”，单击“注册镜像”，根据界面提示注册镜像。注册后的镜像可以用于创建Notebook。 在Notebook中使用自定义镜像创建Notebook并调试，调试成功后，保存镜像。 在Notebook中使用自定义镜像创建Notebook操作请参见基于自定义镜像创建Notebook实例。 保存Notebook镜像操作请参见保存Notebook镜像环境。 已有的镜像调试成功后，再使用ModelArts训练模块训练作业。

训练mindspore-verification.py文件 mindspore-verification.py文件内容如下： import os import numpy as np from mindspore import Tensor import mindspore.ops as ops import mindspore.context as context print('Ascend Envs') print('------') print('JOB_ID: ', os.environ['JOB_ID']) print('RANK_TABLE_FILE: ', os.environ['RANK_TABLE_FILE']) print('RANK_SIZE: ', os.environ['RANK_SIZE']) print('ASCEND_DEVICE_ID: ', os.environ['ASCEND_DEVICE_ID']) print('DEVICE_ID: ', os.environ['DEVICE_ID']) print('RANK_ID: ', os.environ['RANK_ID']) print('------') context.set_context(device_target="Ascend") x = Tensor(np.ones([1,3,3,4]).astype(np.float32)) y = Tensor(np.ones([1,3,3,4]).astype(np.float32)) print(ops.add(x, y))

场景描述 目标：构建安装如下软件的容器镜像，并在ModelArts平台上使用Ascend规格资源运行训练作业。 ubuntu-18.04 cann-8.0.0 (商用版本) python-3.7.13 mindspore-2.1.1 本教程以cann-8.0.0、mindspore-2.1.1为例介绍。 本示例仅用于示意Ascend容器镜像制作流程，且在匹配正确的Ascend驱动/固件版本的专属资源池上运行通过。

Step2 准备脚本文件并上传至OBS中 准备本案例所需训练脚本mindspore-verification.py文件和Ascend的启动脚本文件（共5个）。 训练脚本文件具体内容请参见训练mindspore-verification.py文件。 Ascend的启动脚本文件包括以下5个，具体脚本内容请参见Ascend的启动脚本文件。 run_ascend.py common.py rank_table.py manager.py fmk.py mindspore-verification.py和run_ascend.py脚本文件在创建训练作业时的“启动命令”参数中调用，具体请参见启动命令。 run_ascend.py脚本运行时会调用common.py、rank_table.py、manager.py、fmk.py脚本。 上传训练脚本mindspore-verification.py文件至OBS桶的“obs://test-modelarts/ascend/demo-code/”文件夹下。 上传Ascend的启动脚本文件（共5个）至OBS桶的“obs://test-modelarts/ascend/demo-code/run_ascend/”文件夹下。