检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行推理服务 前提条件 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArtsFabric和配置DataArtsFabric服务委托权限。 已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。 已有至少一个Ray服务。具体操作，请参见创建Ray
查看公共推理服务 推理端点试用期内，可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的，列表如下（实际的推理服务以服务为准）： 表1 公共推理服务 名称 描述 免费额度 最大上下文长度 prompt模板长度 最大输出token QWEN_2_72B Qwen2
使用推理服务进行推理 部署完推理服务之后，用户可以在试验场选择已有的推理服务进行推理，也可以调用API进行推理，具体请参考API文档（API链接到API参考）。下面是使用试验场进行推理的步骤： 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务
针对OBS的权限，用户可以在IAM的委托界面手动修改fabric_admin_trust委托中OBS相关的部分，限制服务可以访问的OBS资源，具体如何设置参考IAM权限，OBS自定义策略样例。
用公共推理服务进行推理 查看公共推理服务 开通推理服务 在试验场进行推理 父主题： 大模型推理场景
开通推理服务 对于公共推理服务，用户需要先申请开通，开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额，并在一定的时间内有效，超过将无法使用。如果用户想继续使用，建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 操作步骤
删除推理服务 当您不想使用推理服务的时候，您可以删除自己创建的推理服务。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“开发与生产
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题： Ray场景
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作，请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉，且无法恢复。请谨慎操作。 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“资源与资产 > Ray
创建推理服务 在DataArtsFabric进行推理的时候，除了选择已有的公共推理服务进行推理，用户也可以部署自己的推理服务进行推理。 在DataArtsFabric部署推理服务的时候需要先有模型，您可以使用前面自己创建的模型，为了方便您操作，DataArtsFabric也默认提供了一些开源的公共模型
镜像包版本需要和选择的OBS文件的包版本号一致。 版本描述 当前创建版本的描述信息。 版本类型 当前只支持OBS。 路径 当前创建版本所在的OBS路径。请选择到包含metadata.yaml文件的父级目录。 删除镜像包版本 删除镜像包版本后，相关数据将被全部清除，请您谨慎操作。
规划并创建OBS桶并导入数据 创建OBS桶及文件夹，用于数据存储。 规划并创建Catalog、数据库 在LakeFormation界面进行Catalog、数据库的创建，并指定OBS桶目录。 查询数据 在SQL编辑器界面进行SQL查询。
代码目录 执行推理所需的代码目录，支持选择“OBS对象存储”、“镜像内部路径”和“其他”。 部署文件路径 推理实例在代码中的路径。 路由前缀 推理路由前缀，不同Application的路由前缀不可重复。 环境变量 根据业务需求选中“环境变量”，单击“增加”填写环境变量。
表1 权限介绍 业务角色 策略 功能 系统管理员 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "DataArtsFabric:*:*", "obs:bucket;*", "obs:object
升级Ray服务 前提条件 已有可正常使用的华为云账号。具体操作，请参见创建IAM用户并授权使用DataArtsFabric和配置DataArtsFabric服务委托权限。 已有至少一个正常可用的工作空间。具体操作，请参见创建工作空间。 已购买相应的Ray资源。具体操作，请参见购买Ray
创建推理端点 注册模型 用户可以将存储在OBS的微调模型文件，在模型管理的界面注册为自己的微调模型。
创建模型 对象存储服务OBS IAM用户设置了DataArtsFabricFullPolicy之后，还需要设置OBS OperateAccess才能在模型管理界面创建模型并指定模型文件所在的OBS路径。
已创建用于存储模型的OBS桶及文件夹，上传好符合要求的模型文件，并且模型存储的OBS桶与DataArtsFabric在同一区域。具体请参见创建OBS桶。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”。
已创建用于存储模型的OBS桶及文件夹，上传好符合要求的模型文件，并且模型存储的OBS桶与DataArtsFabric在同一区域。具体请参见创建OBS桶。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”。
已根据业务需求开发Job相关代码，并将代码上传至OBS（创建OBS桶及上传文件请参考OBS创建桶）。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间，单击“进入工作空间”，选择“开发与生产 > Job定义”。 单击右上角“创建作业”。
