用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题: 大模型推理场景
创建我的推理服务进行推理 创建模型 管理模型 创建推理端点 创建推理服务 使用推理服务进行推理 删除推理服务 删除推理端点 父主题: 大模型推理场景
查看部署的服务实例详情 功能介绍 查看部署后的服务实例的详情。返回服务实例的详情信息。此接口为同步接口,无配套使用接口和特殊场景。
更新已部署的服务实例 功能介绍 更新已部署的服务实例。用户可以通过该接口更新已部署的服务实例,包括名称和描述等。此接口为异步接口,配套使用接口ShowServiceInstanceDetail,ListServicesInstances来查询服务实例具体情况。
ICEBERG表服务函数 iceberg_expire_snapshots 描述:Iceberg每个commit都会生成一个新快照,同时保留旧数据和元数据,以便进行快照隔离和time travel。
创建推理端点 用户在创建推理服务之前,需要先创建推理端点。创建推理端点的时候可以配置最大资源数,然后在推理端点之上创建推理服务,推理端点上的所有推理服务的总资源数不能超过推理端点的最大资源数,方便用户控制推理端点的资源使用量; 前提条件 已有可正常使用的华为云账号。
父主题: 创建我的推理服务进行推理
列举已部署的服务实例 功能介绍 列举已部署的服务实例列表。用户可通过该接口列举已部署的服务实例列表,接口支持分页查询、支持通过名称、服务实例ID、端点ID、可见性查询。支持排序。返回为符合过滤条件的服务实例列表。此接口为同步接口,无配套使用接口。支持查询公共的服务实例。
已开通公共推理服务,开通流程请参见开通推理服务。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”。 在左侧菜单栏中选择“推理服务> 公共推理服务”,进入“公共推理服务”"页面。
服务器信号函数 服务器信号函数向其他服务器进程发送控制信号。只有系统管理员才能使用这些函数。 pg_cancel_backend(pid int) 描述:取消一个后端的当前查询。
附录 状态码 错误码 获取项目ID 获取账号ID 获取工作空间ID 获取端点ID 获取模型ID 获取推理服务实例ID 获取企业项目ID
Ray场景 Ray资源管理 镜像包管理 Ray集群管理 管理Ray服务
运维管理 设置消息通知 删除消息通知
变更配置 当前DataArtsFabric服务计费项仅支持修改RAY资源和SQL预热资源,其他业务场景都是按使用量按需计费,不涉及订单变更流程,且暂时不支持计费方式变更,因此变更配置只涉及Ray资源和SQL预热大小变更场景。
在云服务控制台DataArtsFabric首页,查看对应的工作空间,获取工作空间ID。 在云服务控制台SQL端点页面获取公共端点ID。 拼接对应的资源ID,资源ID在费用中心查看资源账单。详细操作,请参考费用中心的通过云服务资源名称/ID查询账单明细。
根据上一步的信息,在云服务的控制台找到云服务资源。 将资源停止计费。 具体操作如下: RAY资源:停止RAY资源的计费,需要删除/退订RAY资源,删除后可能导致已有的RAY集群不可用。 JOB端点: 对于公共端点,不使用公共端点执行作业则不会产生费用。
计费概述 Ray、XDS计费概述 DataArtsFabric SQL计费概述
什么是项目 云的每个区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以区域默认单位为项目进行授权,IAM用户可以访问您账号中该区域的所有资源。 如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中购买资源
部署服务 部署服务。 更新已部署的服务实例 更新已部署的服务实例。 删除服务实例 删除服务实例。 发起调用请求 发起调用请求。
应用示例 创建一个推理服务