检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
object:*", "obs:bucket:ListBucket" ] } ] } 可以执行推理相关的业务,包括注册模型,创建推理服务,进行推理。
用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题: 大模型推理场景
创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题: 大模型推理场景
创建推理端点 注册模型 用户可以将存储在OBS的微调模型文件,在模型管理的界面注册为自己的微调模型。
在保留期内资源将停止服务。保留期满仍未续费或充值,存储在云服务中的数据将被删除、云服务资源将被释放。详细说明请参考资源停止服务说明。 资源到期 如果账号欠费,会根据“客户等级”定义不同的保留期时长。
在左侧菜单栏选择“资源与资产 > 模型”,然后在页面右上角单击“创建模型”,填写模型的基本信息,包括名称、描述等,并选择模型文件的OBS路径,然后单击“立即创建”。
全新的无服务器架构可以让您在使用SQL语言处理组织复杂业务时,无需管理基础架构。 DataArtsFabric SQL架构基于华为云DataArtsFabric平台,主要由服务接入层、计算层与存储层组成。
创建推理端点 用户在创建推理服务之前,需要先创建推理端点。创建推理端点的时候可以配置最大资源数,然后在推理端点之上创建推理服务,推理端点上的所有推理服务的总资源数不能超过推理端点的最大资源数,方便用户控制推理端点的资源使用量; 前提条件 已有可正常使用的华为云账号。
父主题: 创建我的推理服务进行推理
已开通公共推理服务,开通流程请参见开通推理服务。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”。 在左侧菜单栏中选择“推理服务> 公共推理服务”,进入“公共推理服务”"页面。
Ray场景 Ray资源管理 镜像包管理 Ray集群管理 管理Ray服务
运维管理 设置消息通知 删除消息通知
在云服务控制台DataArtsFabric首页,查看对应的工作空间,获取工作空间ID。 在云服务控制台SQL端点页面获取公共端点ID。 拼接对应的资源ID,资源ID在费用中心查看资源账单。详细操作,请参考费用中心的通过云服务资源名称/ID查询账单明细。
变更配置 当前DataArtsFabric服务计费项仅支持修改RAY资源和SQL预热资源,其他业务场景都是按使用量按需计费,不涉及订单变更流程,且暂时不支持计费方式变更,因此变更配置只涉及Ray资源和SQL预热大小变更场景。
根据上一步的信息,在云服务的控制台找到云服务资源。 将资源停止计费。 具体操作如下: RAY资源:停止RAY资源的计费,需要删除/退订RAY资源,删除后可能导致已有的RAY集群不可用。 JOB端点: 对于公共端点,不使用公共端点执行作业则不会产生费用。
计费概述 Ray、XDS计费概述 DataArtsFabric SQL计费概述
准备工作 创建IAM用户并授权使用DataArtsFabric 配置DataArtsFabric服务委托权限 创建接入客户端 创建工作空间
表1 DataArtsFabric服务计费模式 计费模式 付费方式 计费周期 适用计费项 包年包月 预付费 按照订单的购买周期结算。 按订单的购买周期计费。 RAY资源。 按需 后付费 按照云服务器实际使用时长计费。 按照资源实际使用量,每小时出话单扣费。
计费项 Ray、XDS计费项 DataArtsFabric SQL计费项
开箱即用,资源弹性,按需使用 预置开源主流三方大模型的推理服务,客户可直接调用预置推理服务API下发文本对话等任务,无需购买资源,按需付费。 推理服务支持自动扩缩。 全托管Ray支持Pod级自动扩缩,应对客户请求波峰压力,实现资源动态分配。