检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看公共推理服务 推理端点试用期内,可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的,列表如下(实际的推理服务以服务为准): 表1 公共推理服务 名称 描述 免费额度 最大上下文长度 prompt模板长度 最大输出token QWEN_2_72B Qwen2
使用推理服务进行推理 部署完推理服务之后,用户可以在试验场选择已有的推理服务进行推理,也可以调用API进行推理,具体请参考API文档(API链接到API参考)。下面是使用试验场进行推理的步骤: 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务
用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题: 大模型推理场景
创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题: 大模型推理场景
在左侧菜单栏选择“资源与资产 > 模型”,然后在页面右上角单击“创建模型”,填写模型的基本信息,包括名称、描述等,并选择模型文件的OBS路径,然后单击“立即创建”。
到期与续费 客户欠费后,可以查看欠费详情。为防止相关资源被停止或者释放,需要客户及时进行充值,账号将进入欠费状态,需要在约定时间内支付欠款,详细操作请参考充值和还款。 如果没有及时地进行续费或充值,将进入宽限期。如宽限期满仍未续费或充值,将进入保留期。在保留期内资源将停止服务。保留期满仍未续费或充值
DataArtsFabric SQL功能介绍 DataArtsFabric SQL介绍 DataArtsFabric SQL是一个全托管式数据平台,利用华为云基础设施提供的资源池化和海量存储能力,结合并行执行、元数据解耦、计算持久化分离架构,实现了极致弹性和湖仓一体等能力,提供先进软件及服务
创建推理端点 用户在创建推理服务之前,需要先创建推理端点。创建推理端点的时候可以配置最大资源数,然后在推理端点之上创建推理服务,推理端点上的所有推理服务的总资源数不能超过推理端点的最大资源数,方便用户控制推理端点的资源使用量; 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间
删除推理端点 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理端点。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产->推理端点”。 单击想要删除的推理端点右上角的垃圾桶标记
在试验场进行推理 DataArtsFabric提供了试验场,方便用户在页面上选择推理服务进行推理。试验场支持流式推理,支持用户配置max_tokens等不同的推理参数,还支持不同的推理服务对比。 约束与限制 使用公共推理服务时的通用约束限制如下: Token配额约束:每种公共推理服务都有免费配额限制
Ray场景 Ray资源管理 镜像包管理 Ray集群管理 管理Ray服务
费用账单 账单上报周期 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算。 示例:按小时结算的云服务器在8:30删除资源,但是8:00~9:00期间产生的费用,通常会在10:00左右才进行扣费。
变更配置 当前DataArtsFabric服务计费项仅支持修改RAY资源和SQL预热资源,其他业务场景都是按使用量按需计费,不涉及订单变更流程,且暂时不支持计费方式变更,因此变更配置只涉及Ray资源和SQL预热大小变更场景。 修改Ray资源或者SQL预热资源大小对费用影响如表1所示
停止计费 在查看账单后,如果您需要对某些资源停止计费可参考以下步骤: 在账单中获取资源ID或资源名称等其他资源信息。 根据上一步的信息,在云服务的控制台找到云服务资源。 将资源停止计费。 具体操作如下: RAY资源:停止RAY资源的计费,需要删除/退订RAY资源,删除后可能导致已有的
计费项 Ray、XDS计费项 DataArtsFabric SQL计费项
计费概述 Ray、XDS计费概述 DataArtsFabric SQL计费概述
产品优势 DataArtsFabric服务具有以下优势: 数智一站式开发,提供统一的开发体验 一个工作空间,提供多种工作负载,包含SQL、基于Ray的数据工程、模型推理。 基于LakeFormation统一管理结构化、半结构化、非结构化数据,数智开发全流程,一份元数据和一份权限控制
准备工作 创建IAM用户并授权使用DataArtsFabric 配置DataArtsFabric服务委托权限 创建接入客户端 创建工作空间
运维管理 设置消息通知 删除消息通知
计费模式 DataArtsFabric服务提供包年包月、按需计费两种计费模式供您灵活选择。 包年包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。 按需:一种后付费模式,即先使用再付费,按照计算资源的实际使用时长计费