云服务器内容精选

  • 操作步骤 张三进入DataArtsFabric服务的服务授权界面进行授权。具体操作,请参见创建 IAM 用户并授权使用Fabric。 授权李四DataArtsFabricFullPolicy权限和LakeFormation ReadOnly Access权限。 授权王五DataArtsFabricFullPolicy权限,并指定OBS桶“my-obs-bucket”的OBS OperateAccess权限。 授予赵六DataArtsFabricReadOnlyPolicy权限。 李四进入DataArtsFabric页面创建工作空间,并指定MetaStore,具体操作,请参见创建工作空间。 李四在新创建的工作空间中,购买Ray资源并生成订单。具体操作,请参见购买Ray资源。 张三进入待支付订单页面,为订单完成付费,付费完成后,Ray集群自动创建。具体操作,请参见购买Ray资源。 李四在Ray集群上执行Job。具体操作,请参见创建Ray Job。 王五在模型界面创建模型,并指定模型文件的OBS地址。具体操作,请参见创建模型。 王五使用该模型构建推理服务,并在试验场完成试验和调试。具体操作,请参见使用推理服务进行推理。 赵六在Job运行界面检查RayJob的运行结果,在试验场测试王五构建的推理服务。具体操作,请参见管理Ray Job和在试验场进行推理。
  • 身份与权限说明 表1 身份与权限说明 姓名 身份 权限说明 张三 IAM权限管理员 需要拥有DataArtsFabricFullPolicy权限,并且需要IAM Agency Management FullAccess来创建为DataArtsFabric云服务创建委托。 李四 开发工程师 需要拥有DataArtsFabricFullPolicy权限、可以创建工作空间。如果创建工作空间时需要指定LakeFormation Metastore,则还需要LakeFormation ReadOnly Access。 搭建Ray集群时需要实际购买Ray资源,DataArtsFabricFullPolicy权限中包含了创建购买Ray资源订单的权限,但是不包含付费的权限,需要由客户指定的费用管理员来进行付费。 王五 算法工程师 需要拥有DataArtsFabricFullPolicy权限、和必须的OBS权限来在DataArtsFabric服务中使用OBS中的模型文件,OBS权限需要由用户权限管理员张三为其授权 赵六 测试工程师 需要拥有DataArtsFabricReadOnlyPolicy进行只读操作。
  • 场景描述 小模型推理通常指的是在相对较小的机器学习模型上进行推理的过程。这些模型可能由于模型复杂度较低、参数量较少等原因,在单个计算节点上就能高效运行。然而,当需要处理的数据量非常大时,即使是小模型也可能面临性能瓶颈。此时,使用Ray进行并行和分布式推理能帮助您提升推理性能。 在Fabric上使用全托管Ray服务进行小模型推理时,您只需要将您的小模型推理过程定义为Ray可执行的任务,同时在Fabric中创建推理Job并运行,即可开启推理任务。
  • 步骤四:运行Job Job定义完后,确认Job已选择可用的Ray集群,在“Job定义”的“操作”列,单击目标Job对应的“启动”。 图3 启动Job 在“Job定义”的“操作”列,单击目标Job对应的“运行详情”,然后单击“运行”页签,查看Job运行状态。 当Job状态变为“成功”,表示运行完成。 图4 查看Job运行状态 您也可以在运行参数中指定的输出OBS桶路径中查看输出。 图4 在OBS桶路径中查看输出
  • Ray、XDS计费项 Fabric服务根据RAY、推理业务场景有不同的策略进行计费。详细的计费项及说明请参考表1。 表1 计费项信息 计费项 计费说明 RAY资源 此处根据您创建的RAY资源规格和数量按照使用时间进行计费,不同的数据处理单元或AI计算单元规格的价格不同,支持包周期和按需付费两种模式。 模型算力单元时 此处根据您创建推理端点后部署模型实例所消耗的推理模型单元时长进行收费,支持按需付费。按照推理端点下实际的模型实例数量* 算力单元资源数量 * 使用时长按照秒级上报使用量,不同基模型对应的算力单元要求参考公共模型。 父主题: 计费项
  • 计费项 Fabric服务根据Ray、推理业务场景有不同的策略进行计费。 表2 计费项信息 计费项 计费说明 Ray资源 此处根据您创建的RAY资源规格和数量按照使用时间进行计费,不同的数据处理单元或AI计算单元规格的价格不同,支持包周期和按需付费两种模式。 模型算力单元时 此处根据您创建推理端点后部署模型实例所消耗的推理模型单元时长进行收费,支持按需付费。按照推理端点下实际的模型实例数量* 算力单元资源数量 * 使用时长按照秒级上报使用量,不同基模型对应的算力单元要求参考公共模型。
  • 计费模式 Fabric服务提供包年包月、按需计费两种计费模式供您灵活选择。 包年包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。 按需:一种后付费模式,即先使用再付费,按照计算资源的实际使用时长计费,秒级计费,按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。一般适用于资源需求波动的场景,可以即开即停。 表1 Fabric服务计费模式 计费模式 付费方式 计费周期 适用计费项 包年包月 预付费 按照订单的购买周期结算。 按订单的购买周期计费。 RAY资源。 按需 后付费 按照云服务器实际使用时长计费。 按照资源实际使用量,每小时出话单扣费。 RAY资源、MU时、SQL预热资源、SQL算力单元时。 Fabric服务不同业务场景的计费模式如下图所示。
  • 计费样例 以下案例中出现的费用价格仅供参考,实际价格请参见各服务价格详情。 Fabric服务Ray资源 RAY资源的“按需计费”模式都是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一RAY资源按需实例,fabric.ray.dpu.d1x规格价格为0.2元/小时,购买数量为5的按需实例根据规格数量 * 实际使用时长、按秒计费。 使用30分钟,根据实际使用时长按秒计费:(0.2/3600)*5*30*60=0.5元。 使用1小时,根据实际使用时长按秒计费:(0.2/3600)*5*60*60=1元。 Fabric服务模型算力单元MU时 MU时的“按需计费”模式都是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一基模型为LLAMA3_8B推理端点实例,每个实例部署消耗2MU算力,假设MU时价格为30.0元/小时。根据部署模型实例数量 * MU换算比例 * 实际使用时长,按秒计费。 使用30分钟,部署1个模型服务实例且数量无变化,根据实际使用时长按秒计费:(1/3600)*1*2*30*60=30元。 使用1小时,其中一段15分钟时间内,服务实例数为2,剩余时间内实例数为1,根据实际使用时长按秒计费:(30/3600)*1*2*45*60 + (30/3600)*2*2*15*60=75元。
  • 停止计费 在查看账单后,如果您需要对某些资源停止计费可参考以下步骤: 在账单中获取资源ID或资源名称等其他资源信息。 根据上一步的信息,在云服务的控制台找到云服务资源。 将资源停止计费。 具体操作如下: RAY资源:停止RAY资源的计费,需要删除/退订RAY资源,删除后可能导致已有的RAY集群不可用。 JOB端点: 对于公共端点,不使用公共端点执行作业则不会产生费用。 对于自建端点,预热资源在端点创建后会持续产生收费,需要删除端点后才能停止计费,弹性资源则在运行JOB超过预热资源数量后按使用量收费,无JOB运行则不产生费用。 推理MU时:删除推理端点下的推理服务实例或者删除推理端点后,则不会产生费用。 SQL: 对于SQL预热资源,在端点创建后会持续产生费用,需要删除端点后才能停止计费。 对于公共端点的SQL算力单元时,不使用公共端点执行SQL作业则不会产生费用。
  • 计费样例 以下案例中出现的费用价格仅供参考,实际价格请参见各服务价格详情。 SQL预热资源 SQL预热资源的“按需计费”模式是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即可得到每秒价格。 示例:某一SQL预热资源按需实例,fabric.sql.dcu.std规格价格为0.4592元/核/小时,购买预热资源数为4的按需实例,根据预热资源数量 * 实际运行时长秒级计费 运行30分钟,根据实际运行时长按秒计费:(0.4592/3600)*4*30*60=0.9184元。 运行1小时,根据实际运行时长按秒计费:(0.4592/3600)*4*60*60=1.8368元。 SQL算力单元时 SQL算力单元时的“按需计费”模式是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例:Pay By Query(按需查询)的按需实例,fabric.sql.query规格价格为0.597元/核/小时,根据运行SQL占用的DPU时(核秒数)计算费用,按秒计费。 在9:00~10:00 之间,执行了三条SQL语句,语句1占用 2.4秒、语句2占用3.5秒、语句3占用6.3秒,当前小时的总DPU时=2.4+3.5+6.3=12.2秒,根据实际使用量按秒计费:(0.597/3600)*12 =0.00199元 在10:00~11:00之间,执行了一条SQL语句,语句1在执行过程中被取消,语句1在取消之前占用了18秒DPU时,运行中被取消的SQL语句也会被计费,根据实际使用量按秒计费:(0.597/3600)*18=0.002985元。
  • 计费模式 Fabric SQL服务提供Pay By Resource和Pay By Query两种Serverless按需计费模式供您灵活选择。 Pay By Resource:按照创建的SQL端点的预热资源数量*运行时长计费,可以即开即停,秒级计费,按小时结算,每个自然小时出账单并从您的账户余额中扣减费用。专属使用,SLA高。 Pay By Query:按照在公共端点中运行SQL占用的SQL算力单元时计费,秒级计费,按小时结算,每个自然小时出账单并从您的账户余额中扣减费用。共享使用,SLA中。 详细的计费区别请参考表1。 表1 Fabric SQL服务计费模式 计费模式 付费方式 计费周期 适用计费项 Pay By Resource 后付费。按照云服务器购买的预热资源数的运行时长计费。 按照预热资源的运行时间计费,每小时出话单扣费。 SQL预热资源 Pay By Query 后付费。按照在公共端点中运行SQL占用的SQL算力单元时计费。 按每小时运行SQL占用的SQL算力单元时,每小时出话单扣费。 SQL算力单元时
  • 计费项 Fabric SQL服务根据业务场景实际使用的资源进行计费。详细的计费项及说明请参考表2。 表2 计费项信息 计费项 计费说明 SQL预热资源 此处根据您创建的SQL端点的预热资源的运行时长进行收费,按需付费,按照SQL端点实际的预热资源数量*运行时长计算使用量,按照秒级上报使用量。 SQL算力单元时 此处根据您下发SQL执行过程中占用的公共端点中的SQL算力单元资源数量 * 使用时长计算使用量,按需付费,每个自然小时按照秒级上报使用量。
  • 计费模式 Fabric服务提供包年包月、按需计费两种计费模式供您灵活选择。 包年包月:一种预付费模式,即先付费再使用,按照订单的购买周期进行结算。购买周期越长,享受的折扣越大。一般适用于计算资源需求量长期稳定的成熟业务。 按需:一种后付费模式,即先使用再付费,按照计算资源的实际使用时长计费,秒级计费,按小时结算。按需计费模式允许您根据实际业务需求灵活地调整资源使用,无需提前预置资源,从而降低预置过多或不足的风险。一般适用于资源需求波动的场景,可以即开即停。 详细的计费区别请参考表1。 表1 Fabric服务计费模式 计费模式 付费方式 计费周期 适用计费项 包年包月 预付费 按照订单的购买周期结算。 按订单的购买周期计费。 RAY资源。 按需 后付费 按照云服务器实际使用时长计费。 按照资源实际使用量,每小时出话单扣费。 RAY资源、MU时、SQL预热资源、SQL算力单元时。 Fabric服务不同业务场景的计费模式如图1所示。 图1 Fabric计费模式
  • Fabric SQL计费项 Fabric SQL服务根据业务场景实际使用的资源进行计费。详细的计费项及说明请参考表1 SQL计费项信息。 表1 SQL计费项信息 计费项 计费说明 SQL预热资源 此处根据您创建的SQL端点的预热资源的运行时长进行收费,按需付费,按照SQL端点实际的预热资源数量*运行时长计算使用量,按照秒级上报使用量。 SQL算力单元时 此处根据您下发SQL执行过程中占用的公共端点中的SQL算力单元资源数量 * 使用时长计算使用量,按需付费,每个自然小时按照秒级上报使用量。 父主题: 计费项
  • 计费样例 以下案例中出现的费用价格仅供参考,实际价格请参见各服务价格详情。 样例1:Fabric服务Ray资源 Ray资源的“按需计费”模式都是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一Ray资源按需实例,fabric.ray.dpu.d1x规格价格为0.2元/小时,购买数量为5的按需实例根据规格数量 * 实际使用时长、按秒计费。 使用30分钟,根据实际使用时长按秒计费:(0.2/3600)*5*30*60=0.5元。 使用1小时,根据实际使用时长按秒计费:(0.2/3600)*5*60*60=1元。 样例2:Fabric服务模型算力单元MU时 MU时的“按需计费”模式都是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一基模型为LLAMA3_8B推理端点实例,每个实例部署消耗2MU算力,假设MU时价格为30.0元/小时。根据部署模型实例数量 * MU换算比例 * 实际使用时长,按秒计费。 使用30分钟,部署1个模型服务实例且数量无变化,根据实际使用时长按秒计费:(1/3600)*1*2*30*60=30元。 使用1小时,其中一段15分钟时间内,服务实例数为2,剩余时间内实例数为1,根据实际使用时长按秒计费:(30/3600)*1*2*45*60 + (30/3600)*2*2*15*60=75元。 样例31:SQL预热资源(Pay By Resource) SQL预热资源的“按需计费”模式是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即可得到每秒价格。 示例,某一SQL预热资源按需实例,fabric.sql.dcu.std规格价格为0.4592元/核/小时,购买预热资源数为4的按需实例,根据预热资源数量 * 实际运行时长秒级计费 运行30分钟,根据实际运行时长按秒计费:(0.4592/3600)*4*30*60=0.9184元。 运行1小时,根据实际运行时长按秒计费:(0.4592/3600)*4*60*60=1.8368元。 样例42:SQL算力单元时(Pay By Query) SQL算力单元时的“按需计费”模式是秒级计费,Fabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,Pay By Query(按需查询)的按需实例,fabric.sql.query规格价格为0.597元/核/小时,根据运行SQL占用的DPU时(核秒数)计算费用,按秒计费。 在9:00 ~ 10:00 之间,执行了三条SQL语句,语句1占用2.4秒、语句2占用3.5秒、语句3占用6.3秒,当前小时的总DPU时=2.4+3.5+6.3=12.2秒,根据实际使用量按秒计费:(0.597/3600)*12 =0.00199元 在10:00 ~ 11:00之间,执行了一条SQL语句,语句1在执行过程中被取消,语句1在取消之前占用了18秒DPU时,运行中被取消的SQL语句也会被计费,根据实际使用量按秒计费:(0.597/3600)*18=0.002985元。
提示

您即将访问非华为云网站,请注意账号财产安全