云服务器内容精选

  • 镜像制作(仿真) Octopus仿真服务平台定义了一些proto接口,用于支持用户自定义评测等功能。这些自定义功能通常以镜像的形式上传到云仿真平台,然后参与到业务运行流程中。 本文档对常见业务功能的镜像制作进行指导说明。 自定义评测镜像涉及的样例代码,如有需要,请联系相关人员。 算法镜像和评测镜像cmd以用户创建项目时输入的运行命令为准,仿真器镜像不支持cmd自定义以后台默认的运行命令为准。Entrypoint只在算法镜像生效,评测镜像和仿真器镜像不支持配置entrypoint。 目前自定义算法、自定义评测、自定义脚本的镜像制作使用的基础镜像版本要求为:ubuntu18.04及以上。算法与仿真器需要采用TCP协议进行通信。 自定义评测镜像制作 与datahub对接的算法镜像制作 评测算法的自研proto接口 父主题: 镜像仓库
  • 创建镜像仓库 用平台管理员账号登录Octopus平台。 在左侧菜单栏中,单击“镜像仓库 ”。 单击“新建”,填写基本信息。 图1 创建镜像仓库 名称:输入镜像仓库的名称,只能包含数字、英文、中文、下划线、中划线。 用途:根据需求,下拉框选择用途。 描述:简单描述镜像仓库,最大长度为255。 使用范围:仅支持团队,即租户内所有配置了该镜像相关权限的用户都可见可编辑。 单击“确定”,在镜像仓库列表即可查看新建的镜像仓库。
  • 镜像制作(训练) Octopus平台依赖算子镜像内的/bin/bash、stdbuf、tee软件,请确保基础镜像内包含上述软件且能通过PATH找到。 一般情况下,训练与评测定义为同一个引擎,主要包括算法或评测脚本运行所需要的基本依赖环境。用户可使用命令行模式或Dockerfile模式进行构建。以训练、评测镜像为例,一般的镜像制作Dockerfile示例如下(xxx替换为实际路径): # 载入基础镜像,训练或评测引擎一般需包含cuda/cudnn等算法基础环境。用户可手动制作或拉取官方镜像 FROM xxx/cuda:11.0.3-devel-ubuntu18.04 # 设置工作目录【可选】默认为ROOT,用户可修改USER及PATH WORKDIR /root/workspace # 安装用户APT环境。如果需要修改/etc/apt/sources.list可替换 COPY /path/to/sources.list /etc/apt/sources.list RUN apt-get install vim # 安装用户算法环境。如果需要修改~/.pip/pip.conf可替换。用户也可安装miniconda进行包管理 COPY /path/to/pip.conf /root/.pip/pip.conf COPY /path/to/requirements.txt /root RUN pip install –r /root/requirements.txt # 设置环境变量【可选】 ENV PYTHONUNBUFFERED 1 编译镜像类似上述训练、评测镜像制作方式,但一般不包含cuda/cudnn库,需替换为用户的编译环境。 对于Dockerfile的统一构建方式如下: docker build –f [DockerfileName] –t [ImageName:ImageVersion] . 镜像运行时,会向运行环境注入部分默认文件配置: 表1 环境变量说明 任务名称 文件名 环境变量 训练任务 增量模型目录 MODEL_PATH="/tmp/data/model" 训练产物目录 TMP_RESULT_PATH= "/tmp/result" 数据集目录 DATASET_PATH=" ['/tmp/data/dataset/dataset-0']" 评测任务 评测结果目录 TMP_RESULT_PATH= "/tmp/result" 模型版本文件目录 MODEL_PATH="/tmp/data/model" 数据集目录 DATASET_PATH= "/tmp/data/dataset/dataset-0" 编译任务 模型版本文件目录 MODEL_PATH="/tmp/data/model" 编译产物目录 TMP_RESULT_PATH= "/tmp/result" 预标注任务 数据集目录 OCTPS_DATASET_DIR="/tmp/…/data" 模型版本文件目录 OCTPS_MODEL_DIR="/tmp/…/model" 模型版本关联标注物文件路径 OCTPS_META_PATH="/tmp/…/meta/label_meta_infos.json" 预标注结果数据目录 TARGET_RESULT_DIR="/tmp/…/result/data" 预标注日志文件目录 TARGET_LOG_DIR="/tmp/…/result/log" 父主题: 镜像仓库
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Content-Type 是 String 消息体的类型(格式),下方类型可任选其一使用: application/json;charset=utf-8 application/json 缺省值:application/json X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 repository 是 String 镜像仓库名称。小写字母或数字开头,后面跟小写字母、数字、小数点、斜杠、下划线或中划线(其中下划线最多允许连续两个,小数点、斜杠、下划线、中划线不能直接相连),小写字母或数字结尾,1-128个字符。 is_public 是 Boolean 是否为公共仓库,可选值为true或false。 category 否 String 仓库类型,可设置为app_server, linux, framework_app, database, lang, other, arm。 description 否 String 镜像仓库的描述信息。
  • 相关说明 容器镜像服务(Software Repository for Container,SWR)是一种支持容器镜像全生命周期管理的服务, 提供简单易用、安全可靠的镜像管理功能,帮助用户快速部署容器化服务。容器镜像服务提供的镜像仓库是用于存储、管理docker容器镜像的场所,可以让使用人员轻松存储、管理、部署docker容器镜像。 容器镜像服务相关问题汇总 https://support.huaweicloud.com/swr_faq/swr_faq_0001.html