检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
父主题: 服务管理
使用CTS审计ModelArts Standard服务 ModelArts支持云审计的关键操作 查看ModelArts相关审计日志
父主题: 服务管理
Method Not Allowed 问题现象 服务预测报错:Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法,APIG(API网关)将会拦截请求。 处理方法 使用POST方法调用。 父主题: 服务预测
ModelArts Studio(MaaS)在线推理服务 在ModelArts Studio(MaaS)模型广场查看预置模型 使用ModelArts Studio(MaaS)部署模型服务 在ModelArts Studio(MaaS)管理我的服务 调用ModelArts Studio
准备工作 使用专属资源池部署在线服务,服务状态为“运行中”。 只有专属资源池部署的服务才支持VPC直连的高速访问通道。 VPC直连的高速访问通道,目前只支持访问在线服务。
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”,则表示在线服务已部署成功,部署成功的在线服务,将为用户提供一个可调用的API,此API为标准Restful API。
获取在线服务信息 在调用接口时,需获取在线服务的调用地址,以及在线服务的输入参数信息。步骤如下: 登录ModelArts管理控制台,在左侧导航栏中选择“模型部署 > 在线服务”,默认进入“在线服务”列表。 单击目标服务名称,进入服务详情页面。
在部署为在线服务时,即“部署”页面,填写部署服务相关参数时,开启支持APP认证功能。 针对已部署完成的在线服务,进入在线服务管理页面,单击目标服务名称“操作”列的“修改”按钮,进入修改服务页面开启支持APP认证功能。 图1 部署页面开启支持APP认证功能 选择APP授权配置。
访问在线服务 公网访问在线服务有以下认证方式,API调用请参见认证详情: 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 访问在线服务支持的访问通道
同时wss只支持客户端对服务端的单向认证,不支持服务端对客户端的双向认证。
通过VPC访问通道的方式访问在线服务 背景说明 如果您希望在自己账号的VPC内部节点访问ModelArts推理的在线服务,可以使用VPC访问通道的功能,用户通过在自己账号的指定VPC下创建终端节点,连接到ModelArts的终端节点服务,即可在自己的VPC节点中访问在线服务。
(可选)本地服务器安装ModelArts SDK 如果需要在个人PC或虚拟机上使用ModelArts SDK,则需要在本地环境中安装ModelArts SDK,安装后可直接调用ModelArts SDK轻松管理数据集、创建ModelArts训练作业及创建AI应用,并将其部署为在线服务
父主题: 服务预测
ModelArts Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。
使用Server-Sent Events协议的方式访问在线服务 背景说明 Server-Sent Events(SSE)是一种服务器向客户端推送数据的技术,它是一种基于HTTP的推送技术,服务器可以向客户端推送事件。
父主题: 服务管理
ModelArts Studio大模型即服务平台(后续简称为MaaS服务)作为一个面向客户的大模型服务化平台,提供简单易用的模型开发工具链,支持大模型定制开发,让模型应用与业务系统无缝衔接,显著降低了企业AI落地的成本与难度。
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/{
图3 选择计算节点规格 运行中服务出现告警时,需要分析是您的代码是否出现漏洞导致内存溢出、是否因为业务使用量太大需要更多的内存。如果因业务原因需要更多内存,请升级在线服务选择更大内存规格的计算节点。 父主题: 服务部署