检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体操作,请参见创建Ray服务。 运行推理服务 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray服务”。 在“Ray服务”页面的“推理地址”列,获取目标Ray服务的推理地址。
查看公共推理服务 推理端点试用期内,可以直接使用公共推理服务进行推理。
如果需要对比多个推理服务时,可以单击右上角的“新增对比”按钮进行新增,最多支持3个推理服务进行对比。 父主题: 创建我的推理服务进行推理
OBS相关权限:服务所有业务,包括作业,推理,都需要OBS文件的读取权限,保证后续能够从用户的OBS桶拉取到作业文件进行执行,模型文件进行部署。
王五 算法工程师 需要拥有DataArtsFabricFullPolicy权限、和必须的OBS权限来在DataArtsFabric服务中使用OBS中的模型文件,OBS权限需要由用户权限管理员张三为其授权 赵六 测试工程师 需要拥有DataArtsFabricReadOnlyPolicy
开通推理服务 对于公共推理服务,用户需要先申请开通,开通后才可以使用。开通公共推理服务之后用户会获得一定的免费配额,并在一定的时间内有效,超过将无法使用。如果用户想继续使用,建议部署推理服务使用。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。
删除推理服务 当您不想使用推理服务的时候,您可以删除自己创建的推理服务。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已创建推理服务。 操作步骤 登录DataArtsFabric工作空间管理台。
管理Ray服务 创建Ray服务 升级Ray服务 运行推理服务 删除Ray服务 父主题: Ray场景
在页面左上角单击图标,选择“存储 > 对象存储服务”,进入对象存储服务页面。 以并行文件系统为例: 选择“并行文件系统 > 创建并行文件系统”,进入创建页面,配置相关参数后单击“立即创建”。
删除Ray服务 前提条件 已有至少一个Ray服务。具体操作,请参见创建Ray服务。 操作步骤 Ray服务一旦删除所有记录都会被清理掉,且无法恢复。请谨慎操作。 登录DataArtsFabric工作空间管理台。
创建推理服务 在DataArtsFabric进行推理的时候,除了选择已有的公共推理服务进行推理,用户也可以部署自己的推理服务进行推理。
类型 镜像包类型,Ray集群场景选择RAY_CLUSTER,Ray服务场景选择RAY_SERVICE。 版本名称 镜像包可有多个版本,根据当前创建信息填入一个版本名称。 版本描述 当前创建版本的描述信息。 版本类型 当前只支持OBS。 路径 当前创建版本所在的OBS路径。
规划并创建OBS桶并导入数据 创建OBS桶及文件夹,用于数据存储。 规划并创建Catalog、数据库 在LakeFormation界面进行Catalog、数据库的创建,并指定OBS桶目录。 查询数据 在SQL编辑器界面进行SQL查询。
代码目录 执行推理所需的代码目录,支持选择“OBS对象存储”、“镜像内部路径”和“其他”。 部署文件路径 推理实例在代码中的路径。 路由前缀 推理路由前缀,不同Application的路由前缀不可重复。 环境变量 根据业务需求选中“环境变量”,单击“增加”填写环境变量。
3.0 5.0 1.0 2.0 4.0 6.0 2.0 3.0 步骤二:将代码脚本上传至OBS桶 登录华为云控制台,在页面左上角单击,选择“存储 > 对象存储服务 OBS”,进入OBS服务。 将步骤一创建的代码脚本上传至OBS桶,详情请参见使用OBS桶上传对象。
升级Ray服务等待时间为3000s,超时会导致升级失败 回退升级Ray服务 如果使用了错误的升级配置或其他原因,可能会导致升级Ray服务失败,此时需要对升级失败的Ray服务进行回退操作。
创建模型 对象存储服务OBS IAM用户设置了DataArtsFabricFullPolicy之后,还需要设置OBS OperateAccess才能在模型管理界面创建模型并指定模型文件所在的OBS路径。
目前支持OBS路径,该路径需要当前用户有读取的权限。 (可选)删除模型版本。 您也可以删除不想要的模型版本。 单击页面操作列的“删除”按钮,再次确认后进行删除。 父主题: 创建我的推理服务进行推理
目前支持OBS路径,该路径需要当前用户有读取的权限。 再次单击“我的模型”,即可在模型列表中看见刚创建的模型。 父主题: 创建我的推理服务进行推理
已根据业务需求开发Job相关代码,并将代码上传至OBS(创建OBS桶及上传文件请参考OBS创建桶)。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 > Job定义”。 单击右上角“创建作业”。