每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享; 时间约束:有效期为开通90天内,超过时间则失效。同一个推理服务在不同工作空间下面开通,以首次开通为准。 不同的模型有不同的上下文长度约束。 不保证SLA,如果想要更高的性能,建议创建自己的推理服务进行推理。
Python UDF性能调优 DataArtsFabric SQL支持配置Python UDF运行时的资源规格和并发度,并支持统计运行时的关键性能指标。 UDF性能监控 使用explain performance可以打印UDF Actor运行的性能指标。如图1所示,统计了函数calculate
EXPLAIN 功能描述 显示SQL语句的执行计划。 执行计划将显示SQL语句所引用的表采用的扫描方式。如果引用了多个表,执行计划还会显示使用的JOIN算法。 执行计划中最关键的部分是语句的预计执行开销,即计划生成器对执行该语句所需时间的预估。 如果指定了ANALYZE选项,则该语句会被执行
DROP VIEW 功能描述 DROP VIEW的语法功能是删除LakeFormation上指定名称的视图。 语法格式 1 DROP VIEW [IF EXISTS] view_name; 参数说明 IF EXISTS 如果指定的视图不存在,则发出一个提示而不会报错。 view_name
INSERT 功能描述 向表中添加一行或多行数据。 注意事项 只有拥有表INSERT权限的用户,才可以向表中插入数据。 如果使用RETURNING子句,用户必须要有该表的SELECT权限。 如果使用QUERY子句插入来自查询里的数据行,用户还需要拥有在查询里使用的表的SELECT权限
VALUES 功能描述 根据给定的值表达式计算一个或一组行的值。它通常用于在一个较大的命令内生成一个“常数表”。 注意事项 应当避免使用VALUES返回数量非常大的结果行,否则可能会遭遇内存耗尽或者性能低下。尤其对于INSERT INTO VALUES语法,建议使用在小数据量插入的场景
DROP SCHEMA 功能描述 DROP SCHEMA为DataArtsFabric SQL服务下特有语法,该语法功能是在LakeFormation上删除指定名称的Database。 注意事项 在删除Schema数据时,如果用户数据量很大,可能会导致语句执行时间过长。
DROP TABLE 功能描述 DROP TABLE为DataArtsFabric SQL服务下语法,该语法功能是删除LakeFormation上指定名称的表。
值存储 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查目标类型是否有长度转换。长度转换是一个从某类型到自身的转换
实际上,这些类型通常是对于二进制浮点算术(分别是单精度和双精度)的IEEE标准754的具体实现,在一定范围内由特定的处理器,操作系统和编译器所支持。 表3 浮点类型 名称 描述 存储空间 范围 REAL, FLOAT4 单精度浮点数,不精准。 4字节 6位十进制数字精度。
Iceberg简介 Iceberg是一个面向海量数据分析的开放表格式,是元数据和数据文件的一种组织方式,处于计算引擎和存储系统之间,旨在提供一种可扩展且可靠的方式来管理海量的数据表格。Iceberg的设计目标是提供一个可扩展、高性能、易于使用的表格管理解决方案,以满足现代分布式数据处理的需要
DROP FUNCTION 功能描述 删除一个已存在的函数。 注意事项 无法删除内置函数,只支持删除自定义函数。 语法格式 1 DROP FUNCTION [ IF EXISTS ] function_name; 参数说明 表1 DROP FUNCTION参数说明 参数 描述 取值范围
列举基模型 功能介绍 列举基模型。用户可通过该接口查询基模型列表,接口支持分页查询。返回为符合条件的基模型列表。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/base-models 表1 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
取消Statement执行 功能介绍 取消SQL语句执行。用户可通过该接口取消SQL语句执行,输入为端点id、SQL Session id、语句id,返回操作结果。此接口为同步接口,无配套使用接口和特殊场景。 URI POST /v1/workspaces/{workspace_id
执行SQL 功能介绍 在指定的Session下执行SQL语句。用户可通过此接口执行SQL语句,输入为SQL语句、端点id、SQL Session id、绑定参数等信息,返回语句执行结果或语句id。此接口支持异步和同步两种执行模式,由入参is_sync参数决定。如果是异步执行,配套使用接口
取值范围: CREATE_TIME:创建时间,默认值; UPDATE_TIME:更新时间; NAME:服务名称。 默认取值:不涉及。 order_by 否 String 参数解释:排序方式。 约束限制:不涉及。 取值范围: ASC:递增排序; DESC:递减排序。
如果该版本正在被使用,则无法删除,需要删除使用该模型的推理服务才能删除。用户可通过该接口删除模型版本。此接口为同步接口,无配套使用接口。
创建Ray Job 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个可用的Ray集群。 已根据业务需求开发Job相关代码,并将代码上传至OBS(创建OBS桶及上传文件请参考OBS创建桶)。 操作步骤 登录DataArtsFabric工作空间管理台
管理Ray Job 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个可用的Ray集群。 已有至少一个可用的Job作业。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 >
当前DataArtsFabric提供以下两种方式进行推理: 用公共推理服务进行推理:DataArtsFabric提供基于开源大语言模型(Qwen2、GLM4等)的公共推理服务,用户可以在推理端点查看公共端点,选择自己想用的端点进行开通,然后就可以在试验场使用公共推理服务。