检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
" ports: - containerPort: 8000 volumeMounts: - name: models mountPath: /workspace
用于拉取Llama-3.1-405B模型 command: # 启动命令,用于加载Llama-3.1-405B模型 - sh - -c - "bash /vllm-workspace
Workspace Volume(工作空间卷):agent的工作目录,建议做持久化。选择“Host Path Workspace Volume”,主机路径填写/home/jenkins/agent。 填写完成后,单击“Save”保存。
CCE Turbo集群 图形加速型 G6 NVIDIA T4(GPU直通) 2560 8.1TFLOPS 单精度浮点计算 130INT8 TOPS 260INT4 TOPS 云桌面、图像渲染、3D可视化、重载图形设计。