检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
该容器即为服务端。
场景描述 当用户使用MaaS部署的模型服务进行数据请求、模型推理等操作时,系统通过验证API Key来确认用户的身份与访问权限,只有具备有效API Key的用户才能成功调用模型服务,防止未经授权的访问。 首次接入服务:用户首次调用模型接口时需要创建API Key完成身份认证。
修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整,创建模型。
在“在线推理”页面的“我的服务”页签,在“状态”为“运行中”的模型服务右侧,单击操作列下的“更多 > 调用说明”。 在“调用说明”页面,获取调用该服务所需要的模型名称。 父主题: ModelArts Studio(MaaS)
准备ModelArts Studio(MaaS)资源 在使用MaaS服务时,需要先完成资源池等准备工作。 准备资源池 在ModelArts Studio大模型即服务平台进行模型部署时,需要选择资源池。MaaS服务支持专属资源池。 专属资源池不与其他用户共享,资源更可控。
下载好后将包上传到服务器并进行安装。 chmod 700 *.run .
(libnss_systemd.so.2),导致服务端进入90秒拒绝服务状态,正常用户无法访问。
网络配置主要分为以下两个场景: 单个弹性公网IP用于单个Server服务器:为单台Server服务器绑定一个弹性公网IP,该Server服务器独享网络资源。
监控安全风险 ModelArts支持监控ModelArts在线服务和对应模型负载,执行自动实时监控、告警和通知操作。 云监控可以帮助用户更好地了解服务和模型的各项性能指标。 详细内容请参见ModelArts支持的监控指标。 父主题: 安全
表5 服务管理支持审计的关键操作列表 操作名称 资源类型 事件名称 部署服务 service addService 删除服务 service deleteService 更新服务 service updateService 启停服务 service startOrStopService
由于Server是一台裸金属服务器,在ModelArts管理控制台购买Server后,会在BMS管理控制台上创建一台与Server对应的裸金属服务器,后续挂载磁盘、绑定弹性网络IP等操作可在BMS服务控制台上完成。 更多裸金属服务器的介绍请见裸金属服务器BMS。
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。
但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: Standard自动学习
在ModelArts的在线服务中添加标签。 可以在创建在线服务页面添加标签,也可以在已经创建完成的在线服务详情页面的“标签”页签中添加标签。 在ModelArts的专属资源池中添加标签。
配置Lite Cluster网络 本章节介绍如何申请弹性公网IP并绑定到弹性云服务器。通过本文档,您可以实现弹性云服务器访问公网的目的。 使用账号登录CCE管理控制台。
API的认证方式必须为APP认证,APP的创建用户必须是API所属服务的创建者,且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
API的认证方式必须为APP认证,APP的创建用户必须是API所属服务的创建者,且请求用户对API所属服务必须有更新权限。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式,以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格,请参见ModelArts价格详情。
支持对昇腾服务器的带宽测试、算力测试、功耗测试、诊断压测等,为AI训练、推理等高负载场景提供硬件保障,同时可批量在多台服务器上均可并行,大幅度提升效率。 约束限制 当前仅支持Ascend Snt9b和Ascend Snt9b23节点。
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制,帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用,对云服务每个区域的用户资源数量和容量做了配额限制。