什么是区域和可用区 通常用区域和可用区来描述数据中心的位置,您可以在特定的区域、可用区创建资源。 区域(Region)指物理的数据中心。每个区域完全独立,这样可以实现最大程度的容错能力和稳定性。资源创建成功后不能更换区域。 可用区(AZ,Availability Zone)是同一区域内
应用场景 本节介绍DataArtsFabric服务的主要应用场景。 数据工程 高效处理大规模数据,通过并行计算加速数据处理过程,例如数据清洗、转换和聚合。 分布式机器学习 Ray支持分布式训练和调优,可以用于处理大规模数据集和模型,使得模型训练更加高效。 大模型 使用大模型实现智能对话
错误码 调用接口出错后,将不会返回结果数据。调用方可根据每个接口对应的错误码来定位错误原因。当调用出错时,HTTP请求返回一个4xx或5xx的HTTP状态码。返回的消息体中是具体的错误代码及错误信息。在调用方找不到错误原因时,可以联系华为云客服,并提供错误码,以便我们尽快帮您解决问题
镜像包管理 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 请确保您已开通镜像包操作白名单功能。如果有试用需求,请在DataArtsFabric工作空间管理台顶部导航栏选择“工单 > 新建工单”申请权限。 上传镜像压缩包到SWR 登录容器镜像服务SWR控制台
锁管理 在DataArtsFabric SQL中,使用LakeFormation中心锁来保证多计算节点并发写入同一张表时的正确性。本节介绍的参数主要管理LakeFormation中心锁的相关行为。 fq_lflock_wait_timeout 参数说明:控制获取锁的最长等待时间。当申请锁的等待时间超过设定值时
获取项目ID 调用API获取项目ID 项目ID还可以通过调用查询指定条件下的项目列表API获取。 获取项目ID的接口为“GET https://{Endpoint}/v3/projects”,其中{Endpoint}为IAM的终端节点,可以从地区和终端节点获取。接口的认证鉴权请参见认证鉴权
认证鉴权 调用接口有如下两种认证方式,您可以选择其中一种进行认证鉴权。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。 Token认证:通过Token认证调用请求。 AK/SK认证 AK/SK签名认证方式仅支持消息体大小
获取账号ID 在调用接口的时候,部分URL中需要填入账号ID,所以需要先在管理控制台上获取到账号ID。账号ID获取步骤如下: 登录管理控制台。 鼠标移动到右上角的用户名处,在下拉列表中单击“我的凭证”。 在“API凭证”页面中查看账号ID。 父主题: 附录
获取端点ID 登录DataArtsFabric工作空间管理台,在目标工作空间卡片单击“进入工作空间”。 图1 进入工作空间 在左侧导航栏,单击“推理端点”,按需选择“我的端点”或“公共端点”页签。 单击目标端点卡片,在“概览”页面查看端点ID。 图2 获取端点ID 父主题: 附录
返回结果 请求发送以后,您会收到响应,包含状态码、响应消息头和消息体。 状态码 状态码是一组从1xx到5xx的数字代码,状态码表示了请求响应的状态,完整的状态码列表请参见状态码。 对于管理员创建IAM用户接口,如果调用后返回状态码为“201”,则表示请求成功。 响应消息头 对应请求消息头
单表查询 示例表: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 CREATE TABLE newproducts ( product_id INTEGER, product_name VARCHAR2(60), category
使用Ray进行小模型推理 场景描述 小模型推理通常指的是在相对较小的机器学习模型上进行推理的过程。这些模型可能由于模型复杂度较低、参数量较少等原因,在单个计算节点上就能高效运行。然而,当需要处理的数据量非常大时,即使是小模型也可能面临性能瓶颈。此时,使用Ray进行并行和分布式推理能帮助您提升推理性能
更新模型信息 功能介绍 更新模型,会生成新版本。通过该接口可以更新模型信息,包括名称、描述、当前版本ID。支持新增版本,支持传入版本名称、描述、基模型类型和模型地址。此接口为异步接口,配套使用接口ListModelVersions查看模型版本信息。如果版本是失败的,则不允许更新为当前版本
创建模型 功能介绍 创建模型。用户可通过该接口创建模型,支持传入名称、描述、版本名称、版本描述、基模型类型和模型所在的OBS路径,返回模型ID及其版本ID。此接口为异步接口,配套使用接口ListModels查询模型列表。存在同名校验,不支持创建重复名称的模型。 URI POST /
获取工作空间ID 登录DataArtsFabric工作空间管理台,在目标工作空间卡片单击“查看详情”。 图1 查看详情 在“基础信息”页面获取当前工作空间的ID。 图2 获取工作空间ID 图3 英文图 父主题: 附录
PG_AUTHID PG_AUTHID系统表存储有关数据库认证标识符(角色)的信息。角色把“用户”的概念包含在内。一个用户实际上就是一个rolcanlogin标志被设置的角色。任何角色(不管rolcanlogin设置与否)都能够把其他角色作为成员。 在一个集群中只有一份pg_authid
PG_COLLATION PG_COLLATION系统表描述可用的排序规则,本质上从一个SQL名字映射到操作系统本地类别。 表1 PG_COLLATION字段 名字 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 collname name -
PG_OPCLASS PG_OPCLASS系统表定义索引访问方法操作符类。 每个操作符类为一种特定数据类型和一种特定索引访问方法定义索引字段的语义。一个操作符类本质上指定一个特定的操作符族适用于一个特定的可索引的字段数据类型。索引的字段实际可用的族中的操作符集是接受字段的数据类型作为它们的左边的输入的那个
PG_TYPE PG_TYPE系统表存储数据类型的相关信息。 表1 PG_TYPE字段 名称 类型 描述 typname name 数据类型名称。 typnamespace oid 此类型所在的命名空间的OID。 typowner oid 此类型的所有者。 typlen smallint
PG_NAMESPACE PG_NAMESPACE系统表存储命名空间,即存储schema相关的信息。 表1 PG_NAMESPACE字段 名称 类型 描述 nspname name 命名空间的名称。 nspowner oid 命名空间的所有者。 nsptimeline bigint