运行推理服务 前提条件 已有可正常使用的华为云账号。具体操作,请参见创建IAM用户并授权使用DataArtsFabric和配置DataArtsFabric服务委托权限。 已有至少一个正常可用的工作空间。具体操作,请参见创建工作空间。 已有至少一个Ray服务。具体操作,请参见创建Ray
Iceberg表服务 DataArtsFabric SQL提供一系列表服务,用户可以根据需要使用,例如清理旧快照,整理元数据、数据文件等,以提高存储、查询的效率。具体语法可参考ICEBERG表服务函数。 示例: 清理旧快照 select * from iceberg_expire_snapshots
服务健康检查 健康检查 父主题: API
spec_code" : "string" }, "requests" : { "spec_code" : "string" } }, "worker_group_specs
查看公共推理服务 推理端点试用期内,可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的,列表如下(实际的推理服务以服务为准): 表1 公共推理服务 名称 描述 免费额度 最大上下文长度 prompt模板长度 最大输出token QWEN_2_72B Qwen2
ICEBERG表服务函数 iceberg_expire_snapshots 描述:Iceberg每个commit都会生成一个新快照,同时保留旧数据和元数据,以便进行快照隔离和time travel。expire snapshots可以用来清理不再需要的旧快照以及仅被不需要快照包含的数据文件
删除服务实例 功能介绍 删除服务实例,释放该实例的资源。用户可以通过该接口删除服务实例,释放该实例的资源。此接口为异步接口,配套使用接口ShowServiceInstanceDetail,ListServicesInstances来查询服务实例具体情况,无特殊场景。 URI DELETE
约束限制:资源规格编码,从查询规格列表ListSpecs接口获取。 取值范围:不涉及。 默认取值:不涉及。 warm_up_num Integer 参数解释:预热资源量。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。
但当数据库服务器的CPU核数较少,CPU利用率已经比较高的情况下,如果打开SMP并行,不仅性能提升不明显,反而可能因为多线程间的资源竞争而导致性能劣化。 内存资源 查询并行后会导致内存使用量的增长,但每个算子使用内存上限仍受到work_mem等参数的限制。
使用推理服务进行推理 部署完推理服务之后,用户可以在试验场选择已有的推理服务进行推理,也可以调用API进行推理,具体请参考API文档(API链接到API参考)。下面是使用试验场进行推理的步骤: 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务
创建一个推理服务 概述 本文指导用户通过调用API的方式,介绍创建一个推理服务的完整流程。 本流程假设终端租户已经在Console界面完成DataArtsFabric的服务授权。API的调用方法请参见如何调用API。 前提条件 hostname:通过地区和终端节点查询服务的终端节点获取
配置DataArtsFabric服务委托权限 当前云服务提供多种功能,不同的功能需要不同的委托权限。详细见表1。 前提条件 已有可正常使用的华为云账号。 操作步骤 登录DataArtsFabric工作空间管理台,单击“服务授权”。 在“服务授权”页面配置授权委托。用户可以根据实际需要参照委托策略进行配置委托权限
用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题: 大模型推理场景
创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题: 大模型推理场景
使用推理服务的权限配置示例 场景描述 假设某个公司需要使用DataArtsFabric服务,有如下需求: 张三作为IAM权限管理员,需要在DataArtsFabric页面进行服务授权并为各种不同的角色配置好对应的IAM权限。 李四作为开发工程师,需要创建工作空间,搭建一套Ray集群
查看部署的服务实例详情 功能介绍 查看部署后的服务实例的详情。返回服务实例的详情信息。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/workspaces/{workspace_id}/services/instances/{instance_id} 表1 路径参数
更新已部署的服务实例 功能介绍 更新已部署的服务实例。用户可以通过该接口更新已部署的服务实例,包括名称和描述等。此接口为异步接口,配套使用接口ShowServiceInstanceDetail,ListServicesInstances来查询服务实例具体情况。目前暂不支持更新实例最小数和模型版本
获取推理服务实例ID 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > 推理服务”。 按需选择“我的推理服务”或“公共推理服务”页签,单击推理服务名称。 在“概览”页面,获取推理实例ID。 父主题: 附录
列举已部署的服务实例 功能介绍 列举已部署的服务实例列表。用户可通过该接口列举已部署的服务实例列表,接口支持分页查询、支持通过名称、服务实例ID、端点ID、可见性查询。支持排序。返回为符合过滤条件的服务实例列表。此接口为同步接口,无配套使用接口。支持查询公共的服务实例。 URI GET
使用前必读 欢迎使用Fabric服务。您可以通过控制台或API实现大模型推理、Ray作业等服务。 您可以使用本文档提供的API对数智融合计算服务进行相关操作,例如创建删除推理、作业端点等。支持的全部操作请参见API概览。 终端节点 终端节点即调用API的请求地址,不同服务不同区域的终端节点不同