Huawei Cloud EulerOS-安装并使用XGPU:XGPU服务使用示例

时间:2023-11-01 16:16:54

XGPU服务使用示例

影响XGPU服务的环境变量如下表所示,您可以在创建容器时指定环境变量的值。容器引擎可以通过XGPU服务获得算力和显存。

表1 影响XGPU服务的环境变量

环境变量名称

取值类型

说明

示例

GPU_IDX

Integer

指定容器可使用的GPU显卡。

为容器分第一张显卡:

GPU_IDX=0

GPU_CONTAINER_MEM

Integer

设置容器内可使用的显存大小,单位 MB。

为容器分配的显存大小为5120MB:

GPU_CONTAINER_MEM=5120

GPU_CONTAINER_QUOTA_PERCENT

Integer

指定显卡算力分配百分比。

以5%粒度向上取整,即申请 51%算力,实际分配 55%算力。

为容器分配50%的算力比例:

GPU_CONTAINER_QUOTA_PERCEN=50

以nvidia的docker创建两个容器为例,介绍XGP服务的使用方法。

本示例中,两个容器共用一张显卡,通过设置环境变量GPU_IDX指定使用第一张显卡。通过变量GPU_CONTAINER_QUOTA_PERCENT和GPU_CONTAINER_MEM,为容器1分配50%算力,5120MB显存;为容器2分配30%算力,1024MB显存。

docker run --rm -it --runtime=nvidia -e GPU_CONTAINER_QUOTA_PERCENT=50  -e GPU_CONTAINER_MEM=5120 -e GPU_IDX=0 --shm-size 16g -v /mnt/:/mnt nvcr.io/nvidia/tensorrt:19.07-py3 bashdocker run --rm -it --runtime=nvidia -e GPU_CONTAINER_QUOTA_PERCENT=30  -e GPU_CONTAINER_MEM=1024 -e GPU_IDX=0 --shm-size 16g -v /mnt/:/mnt nvcr.io/nvidia/tensorrt:19.07-py3 bash
support.huaweicloud.com/usermanual-hce/hce_02_0082.html