检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当自定义镜像更新以后需要同步更新的镜像版本号或者使用该镜像创建AI应用的时候打开镜像复制,否则会存在使用新创建的AI应用部署在线服务时使用的还是旧版本镜像的情况。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。
例如,“代码目录”对应的OBS路径下,包含模型文件,同时还存在“pip-requirements.txt”文件。“代码目录”的结构如下所示: |---模型启动文件所在OBS文件夹 |---model.py #模型启动文件。
该容器即为服务端。
服务器在进行过“切换或者重置操作系统”操作后,EVS系统盘ID发生变化,和下单时订单中的EVS ID已经不一致, 因此EVS系统盘将不支持扩容,并显示信息:“当前订单已到期,无法进行扩容操作,请续订”。
例如,当训练代码启动脚本在OBS路径为“obs://bucket-name/app/code/train.py”,创建作业时配置代码目录为“/bucket-name/app/code/”。
Administrator CCE Administrator BMS FullAccess IMS FullAccess DEW KeypairReadOnlyAccess VPC FullAccess ECS FullAccess SFS Turbo FullAccess OBS
修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整,创建模型。
在“在线推理”页面的“我的服务”页签,在“状态”为“运行中”的模型服务右侧,单击操作列下的“更多 > 调用说明”。 在“调用说明”页面,获取调用该服务所需要的模型名称。 父主题: ModelArts Studio(MaaS)
数据集版本文件目录结构 由于数据集是基于OBS目录管理的,发布为新版本后,对应的数据集输出位置,也将基于新版本生成目录。 以图像分类为例,数据集发布后,对应OBS路径下生成,其相关文件的目录如下所示。
准备ModelArts Studio(MaaS)资源 在使用MaaS服务时,需要先完成资源池等准备工作。 准备资源池 在ModelArts Studio大模型即服务平台进行模型部署时,需要选择资源池。MaaS服务支持专属资源池。 专属资源池不与其他用户共享,资源更可控。
由于Server是一台裸金属服务器,在ModelArts管理控制台购买Server后,会在BMS管理控制台上创建一台与Server对应的裸金属服务器,后续挂载磁盘、绑定弹性网络IP等操作可在BMS服务控制台上完成。 更多裸金属服务器的介绍请见裸金属服务器BMS。
模型包结构介绍 创建模型时,如果是从OBS中导入元模型,则需要符合一定的模型包规范。 模型包规范适用于单模型场景,如果是多模型场景(例如含有多个模型文件)推荐使用自定义镜像方式。 ModelArts推理平台不支持的AI引擎,推荐使用自定义镜像方式。
数据保护技术 ModelArts通过多种数据保护手段和特性,保障存储在ModelArts中的数据安全可靠。 数据保护手段 说明 静态数据保护 对于AI Gallery收集的用户个人信息中的敏感信息,如用户邮箱和手机号,AI Gallery在数据库中做了加密处理。其中,加密算法采用了国际通用的
表6 ContainerHooks 参数 是否必选 参数类型 描述 post_start 否 Config object 启动服务后脚本配置。 pre_start 否 Config object 启动服务前脚本配置。
代码目录 选择训练代码文件所在的OBS目录。如果自定义镜像中不含训练代码则需要配置该参数,如果自定义镜像中已包含训练代码则不需要配置。 需要提前将代码上传至OBS桶中,目录内文件总大小要小于或等于5GB,文件数要小于或等于1000个,文件深度要小于或等于32。
查询训练作业的运行指标 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式一:根据指定的job_id查询。 from modelarts.session import Session
枚举值如下: SFS:弹性文件服务 EVS:云硬盘 mount_path String 存储挂载至Notebook实例的目录,当前固定在/home/ma-user/work/下。 ownership String 资源所属,枚举值如下: MANAGED:托管,即资源在服务上。
(libnss_systemd.so.2),导致服务端进入90秒拒绝服务状态,正常用户无法访问。
网络配置主要分为以下两个场景: 单个弹性公网IP用于单个Server服务器:为单台Server服务器绑定一个弹性公网IP,该Server服务器独享网络资源。
监控安全风险 ModelArts支持监控ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作。 云监控可以帮助用户更好地了解服务和模型的各项性能指标。 详细内容请参见ModelArts支持的监控指标。 父主题: 安全