云服务器内容精选
-
昇腾云服务6.3.904版本说明 昇腾云服务6.3.904版本发布支持的软件包和能力说明如下，软件包获取路径：Support-E网站。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 三方大模型，包名：AscendCloud-3rdLLM PyTorch框架下支持如下模型训练： llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b PyTorch框架下支持如下模型推理： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b gemma-2b gemma-7b mistral-7b 配套CANN8.0.RC1镜像 训练参考文档： LLama2系列（PyTorch）基于DevServer训练指导 Qwen系列（PyTorch）基于DevServer训练指导 GLM3-6B（PyTorch）基于DevServer训练指导 Baichuan3-13B（PyTorch）基于DevServer训练指导 推理参考文档： 主流开源大模型（PyTorch）基于DevServer推理部署 AIGC，包名：ascendcloud-aigc Controlnet插件支持NPU推理（适配ComfyUI） Open-Clip模型昇腾适配 SD1.5 Finetune 高性能训练 moondream2推理适配昇腾 BERT、YOLO等8个常用模型适配 配套CANN8.0.RC1镜像 参考文档 SDXL文生图ComfyUI插件基于DevServer适配NPU推理指导 Open-Clip 基于 DevServer 适配 PyTorch NPU 训练指导 SD1.5文生图Finetune高性能训练适配NPU指导 moondream2 基于 DevServer 适配 PyTorch NPU 推理指导 大模型推理框架，包名：ascendcloud-llmframework VLLM调度层适配ATB、pybind 支持LLAMA7B/13B/65B 支持单机多卡推理 ATB模式支持w8a16量化，推理性能提升 配套CANN8.0.RC1镜像 无 算子，包名：AscendCloud-OPP Scatter、Gather算子性能提升，满足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子 FFN推理算子支持geglu激活函数 支持配套pybind推理的10+算子（matmul 、swiglu、rope等） 配套CANN8.0.RC1镜像 无 基础镜像 CANN8.0.RC1商发版本 MindSpore： 西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 华北-乌兰察布一：swr.cn-north-9.myhuaweicloud.com/atelier/mindspore_2_3_ascend:mindspore_2.3.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 PyTorch： 西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 华北-乌兰察布一：swr.cn-north-9.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 商发镜像发布到SWR 无 父主题： 产品发布说明
-
昇腾云服务6.3.T041版本发布说明 昇腾云服务6.3.T041版本发布支持的软件包和能力如下。 发布包 软件包特性说明 镜像配套说明 对应操作指导 昇腾云模型代码 包名：AscendCloud-3rdLLM-6.3.T041-20240424144057.zip 包含大语言模型，具体如下： 1.Qwen-7b 2.Qwen-14b 3.Qwen-72b 4.Llama2-7b 5.Llama2-13b 6.Llama2-70b 7.GLM3-6b 配套CANN7.0的商发基础镜像，地址： swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b-20240411153110-ca68771 无 包名：ascendcloud-aigc-6.3.T041-20240425172135.tar.gz 包含AIGC模型，具体如下： 1.SD 1.5 2.SD XL 配套CANN8.0.RC1镜像，见基础镜像Beta包： mindspore_2.3.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b-20240422202644-39b975b.tar.partxx 无 基础镜像Beta包 包含模型代码运行的基础镜像，具体如下： mindspore_2.3.0-cann_8.0.rc1-py_3.9-euler_2.10.7-aarch64-snt9b-20240422202644-39b975b.tar.partxx 此基础镜像是非商发版本，仅适配了SD1.5和SD XL模型，后续用CANN8.0.RC1的商发版本收编 镜像为分卷压缩，需要合并后使用 临时镜像（生态伙伴用） 包含SD 1.5自研模型，代码以及镜像 anime_vid2vid_code_split.tar.gzxx 此镜像仅提供给伙伴使用。 镜像为分卷压缩，需要合并后使用 昇腾云服务6.3.T041版本目前仅适用于部分企业客户，如需使用请联系您所在企业的华为方技术支持。 父主题： 产品发布说明
-
昇腾云服务6.3.T051版本说明 昇腾云服务6.3.T051版本发布支持的软件包和能力说明如下，软件包获取路径：Support网站。 此版本仅支持部分客户的beam-search、AWQ量化和SmoothQuant量化特性使用。 发布包 软件包特性说明 配套说明 备注 昇腾云模型代码 包名：AscendCloud-3rdLLM 三方大模型，包名：AscendCloud-3rdLLM PyTorch框架下支持如下模型训练： llama2-7b llama2-13b llama2-70b qwen-7b qwen-14b qwen-72b baichuan2-13b chatglm3-6b llama3-8b llama3-70b yi-6B yi-34B qwen1.5-7B qwen1.5-14B qwen1.5-32B qwen1.5-72B PyTorch框架下支持如下模型推理： llama-7B llama-13b llama-65b llama2-7b llama2-13b llama2-70b llama3-8b llama3-70b yi-6b yi-9b yi-34b deepseek-llm-7b deepseek-coder-instruct-33b deepseek-llm-67b qwen-7b qwen-14b qwen-72b qwen1.5-0.5b qwen1.5-7b qwen1.5-1.8b qwen1.5-14b qwen1.5-32b qwen1.5-72b qwen1.5-110b baichuan2-7b baichuan2-13b chatglm2-6b chatglm3-6b gemma-2b gemma-7b mistral-7b 配套CANN8.0.RC2镜像（非商发） 其中Llama/Llama2/Llama3系列、Qwen系列、Qwen1.5系列推理支持AWQ（W4A16）, SmoothQuant(W8A8)量化 所有推理请求均支持beam-search短期方案。 无 算子，包名：AscendCloud-OPP 配套W4A16和W8A8的算子 配套CANN8.0.RC2镜像(非商发） 无 基础镜像 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240518201626-e439695 镜像发布到SWR（非商发） 无 父主题： 产品发布说明
-
ModelArts 6.5.0版本配套关系表 当前华为云中国站和国际站所有Region均已上线ModelArts 6.5.0版本。 ModelArts 6.5.0版本中针对Ascend snt9B资源的周边依赖组件配套版本关系如下表所示。 表1 ModelArts 6.5.0版本配套关系表 强依赖组件 Ascend snt9B配套版本 CCE 1.25/1.23（推荐）/1.21 Volcano插件 1.11.9 Device-Plugin 2.1.5 Lite模式DevServer节点操作系统 EulerOS 2.10 Lite模式Cluster节点操作系统 EulerOS 2.10（CCE标准版）/HCE2.0（CCE Turbo） Standard模式集群节点操作系统 EulerOS 2.10（CCE标准版） BMS BMC 3.10.02.49（推荐）/3.10.02.29 BMS BIOS 7.09（推荐）/6.63 BMS CPLD 主板CPLD：3.03 背板CPLD：2.07 NPU MCU 23.3.5 NPU 固件&驱动 7.1.0.7.220-23.0.5（推荐） 7.1.0.5.220-23.0.3 NPU CANN 7.0.1.1（推荐） 7.0.1 8.0.RC1 NPU MindSpore 2.2.12（推荐） 2.2.10 2.3.0rc1 NPU PyTorch 2.1.0（推荐） 2.2.0 1.11.0 预置统一镜像 pytorch_2.1.0-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b mindspore_2.2.12-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b pytorch_1.11.0-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b SFS Turbo Client+ 23.09.03 AI Turbo SDK 23.12.3 父主题： 产品发布说明
-
软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-3rdLLM-6.3.905-20240611214128.zip 三方大模型训练和推理代码包 获取路径：Support-E 说明： 如果没有下载权限，请联系您所在企业的华为方技术支持下载获取。 AscendCloud-3rdAIGC-6.3.905-20240529154412.zip AIGC场景训练和推理代码包 AscendCloud-LLMFramework-6.3.905-20240611151643.zip 大模型推理框架代码包 AscendCloud-OPP-6.3.905-20240611170314.zip 算子依赖包
-
配套的基础镜像 镜像地址 获取方式 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240528150158-b521cc0 镜像发布到SWR，从SWR拉取 cann_8.0.rc2 pytorch_2.1.0 hce_2.0
-
准备工作 本地已安装PyCharm 2019.2或以上版本，推荐Windows版本，社区版或专业版均可，请单击PyCharm工具下载地址获取工具并在本地完成安装。 使用PyCharm ToolKit远程连接Notebook开发环境，仅限PyCharm专业版。 使用PyCharm ToolKit提交训练作业，社区版和专业版都支持。 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 已创建当前使用账号的访问密钥，并获得对应的AK和SK。如果未创建，请参见创建访问密钥（AK和SK）。 当前账号已完成访问授权的配置。如未完成，请参考使用委托授权。
-
步骤2：使用PyCharm进行本地开发调试 下载代码至本地 本案例中，以图像分类模型resnet50模型为例，路径为“./models/official/cv/resnet/” # 在本地电脑Terminal下载代码至本地 git clone https://gitee.com/mindspore/models.git -b v1.5.0 图3 下载代码至本地 配置本地PC开发环境 修改“models/official/cv/resnet/requirements.txt”文件，改为： numpy==1.17.5 scipy==1.5.4 easydict==1.9 执行pip命令安装： # 在PyCharm的Terminal安装mindspore pip install mindspore==1.7.0 --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple # 在PyCharm的Terminal安装resnet依赖 pip install -r .\official\cv\resnet\requirements.txt --trusted-host https://repo.huaweicloud.com -i https://repo.huaweicloud.com/repository/pypi/simple 图4 安装resnet依赖 准备数据集 本样例使用的数据集为类别数为五类的花卉识别数据集，下载数据集并解压数据到工程目录。新建dataset文件夹，将解压后数据集保存在dataset文件夹下。 图5 准备数据集 配置PyCharm解释器和入参 单击右上角“Current File”，选择“Edit Configuration”，打开“Run/Debug Configuration”对话框。在对话框中单击“+”，选择“Python”。 图6 前往PyCharm解释器 “Script path”选择train.py文件，“Parameters”命令如下所示，并选择Python解释器，然后单击“OK”： --net_name=resnet50 --dataset=imagenet2012 --data_path=../../../dataset/flower_photos/ --class_num=5 --config_path=./config/resnet50_imagenet2012_config.yaml --epoch_size=1 --device_target="CPU" 图7 配置PyCharm解释器 根据README说明文档，配置Parameter参数device_target="CPU"表示CPU环境运行，device_target="Ascend"表示在Ascend环境运行。 本地代码开发调测 一般本地CPU算力较低并且内存较小，可能出现内存溢出的报错，因此可以把“models/official/cv/resnet/config/resnet50_imagenet2012_config.yaml”的“batch_size”由“256”改为“32”，使得训练作业可以快速运行。 图8 修改batch_size AI开发过程中的数据集开发及模型开发是和硬件规格无关的，而且这一部分的开发耗时是最长的，因此可以先在本地PC的CPU环境进行数据集和模型开发调试。 本例中，因为样例代码已经支持在CPU上进行训练，因此用户能够在CPU上完成整个训练流程。如果代码只支持在GPU或者Ascend上训练，那么可能会报错，需要使用Notebook进行云端调试。 设置断点后单击“调试”，可实现代码逐步调试，查看中间变量值。 图9 “调试”按钮 图10 通过设置断点实现代码调试 可单击“运行”按钮，通过日志观察是否能正常训练。 图11 “运行”按钮 图12 训练日志
-
子用户启动其他用户的SSH实例 子用户可以看到所有用户的Notebook实例后，如果要通过SSH方式远程连接其他用户的Notebook实例，需要将SSH密钥对更新成自己的，否则会报错ModelArts.6786。更新密钥对具体操作请参见修改Notebook SSH远程连接配置。 具体的错误信息提示：ModelArts.6789: 在ECS密钥对管理中找不到指定的ssh密钥对xxx，请更新密钥对并重试。
-
应用场景 Notebook等线上开发工具工程化开发体验不如IDE，但是本地开发服务器等资源有限，运行和调试环境大多使用团队公共搭建的CPU或GPU服务器，并且是多人共用，这带来一定的环境搭建和维护成本。因此使用本地IDE+远程Notebook结合的方式，可以同时享受IDE工程化开发和云上资源的即开即用，优势互补，满足开发者需求。 VS Code在Python项目开发中提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。本文以Ascend Model Zoo为例，介绍如何通过VS Code插件及ModelArts Notebook进行云端数据调试及模型开发。
-
Step1 检查环境 请参考DevServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装NPU设备和驱动，或释放被挂载的NPU。 检查是否安装docker。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker-engine.aarch64 docker-engine-selinux.noarch docker-runc.aarch64 配置IP转发，用于容器内的网络访问。执行以下命令查看net.ipv4.ip_forward配置项的值，如果为1，可跳过此步骤。 sysctl -p | grep net.ipv4.ip_forward 如果net.ipv4.ip_forward配置项的值不为1，执行以下命令配置IP转发。 sed -i 's/net\.ipv4\.ip_forward=0/net\.ipv4\.ip_forward=1/g' /etc/sysctl.conf sysctl -p | grep net.ipv4.ip_forward
-
Step4 下载模型和数据集 数据集下载地址：https://huggingface.co/datasets/lambdalabs/pokemon-blip-captions。 启动脚本前两个声明为本次训练的模型和数据集，第一次执行程序时若本地没有模型和数据集，会自动下载。但由于lambdalabs/pokemon-blip-captions数据集下载现在需要登录HuggingFace账号，请先下载到本地，再挂载到对应目录。 export MODEL_NAME="runwayml/stable-diffusion-v1-5" export DATASET_NAME="lambdalabs/pokemon-blip-captions"
-
Step2 启动镜像 获取基础镜像。建议使用官方提供的镜像。镜像地址{image_url}为： 西南-贵阳一：swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b-20240411153110-ca68771 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。 export work_dir="自定义挂载的工作目录" export container_work_dir="自定义挂载到容器内的工作目录" export container_name="自定义容器名称" export image_name="swr.cn-southwest-2.myhuaweicloud.com/atelier/pytorch_2_1_ascend:pytorch_2.1.0-cann_7.0.1.1-py_3.9-euler_2.10.7-aarch64-snt9b-20240411153110-ca68771" // 启动一个容器去运行镜像 docker run -itd \ --device=/dev/davinci0 \ --device=/dev/davinci1 \ --device=/dev/davinci2 \ --device=/dev/davinci3 \ --device=/dev/davinci4 \ --device=/dev/davinci5 \ --device=/dev/davinci6 \ --device=/dev/davinci7 \ --device=/dev/davinci_manager \ --device=/dev/devmm_svm \ --device=/dev/hisi_hdc \ -v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \ -v /usr/local/dcmi:/usr/local/dcmi \ -v /etc/ascend_install.info:/etc/ascend_install.info \ -v /sys/fs/cgroup:/sys/fs/cgroup:ro \ -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \ --shm-size 32g \ --net=bridge \ -v ${work_dir}:${container_work_dir} \ --name ${container_name} \ ${image_name} bash 参数说明： work_dir：工作目录，目录下存放着训练所需代码、数据等文件。 container_work_dir：容器工作目录，一般同work_dir。 container_name：自定义容器名。 image_name：容器镜像的名称。 进入容器。需要将${container_name}替换为实际的容器名称。 docker exec -it ${container_name} bash
-
Step3 获取SD1.5插件代码包并安装依赖 下载SD1.5插件代码包ascendcloud-aigc-6.3.T041-*.tar.gz文件，上传到容器的/home/ma-user/目录下，解压并安装相关依赖。获取路径参见获取软件和镜像。 mkdir -p /home/ma-user/stable_diffusers_1.5 #创建stable_diffusers_1.5目录 cd /home/ma-user/stable_diffusers_1.5 #进入stable_diffusers_1.5目录 tar -zxvf ascendcloud-aigc-6.3.*-*.tar.gz tar -zxvf ascendcloud-aigc-poc-stable_diffusers_1.5.tar.gz rm -rf ascendcloud-aigc-* pip install -r requirements.txt #安装依赖 启动前配置。有两种方式修改配置文件： 方式一：可以参考解压出来的default_config.yaml或者deepspeed_default_config.yaml文件，再通过在启动脚本命令中增加--config_file=xxx.yaml参数来指定其为配置文件。 方式二：通过命令accelerate config进行配置，如下图所示。 图1 通过命令accelerate config进行配置 （可选）文件替换。 因增加nfa和使用npu_geglu算子，将diffusers源码包中的attention.py和attention_processor.py替换成代码包中对应的文件。 图2 文件替换 可以使用find命令来查找diffusers源码包位置。 find / -name attention.py find / -name attention_processor.py 图3 查找diffusers源码包位置 找到具体位置后可以cp替换，替换前可对diffusers原始文件做备份，如果没有备份则可以通过删除diffusers包重新安装获取原始文件。 执行bash stable_diffusers_train.sh。 bash stable_diffusers_train.sh
-
Step5 启动训练服务 train_text_to_image_0304.py是训练的核心代码，通过stable_diffusers_train.sh来启动。 sh stable_diffusers_train.sh 如果启动前配置采用的是•可以参考解压出来的default_config...方式指定配置文件，就是在此stable_diffusers_train.sh脚本中增加--config_file=xxx.yaml参数。 刚开始会报一些Warning，可忽略。正常启动如下图所示，出现Steps: 1%字样。 图4 启动服务 如果启动过程中报SSL相关错误，如下图所示。 图5 启动过程中报SSL相关错误 修改相应路径下的/home/ma-user/anaconda3/envs/PyTorch-2.1.0/lib/python3.9/site-packages/requests/sessions.py文件，将self.verify的值由True改成False，如下图所示。 图6 修改self.verify参数值
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
