全新的无服务器架构可以让您在使用SQL语言处理组织复杂业务时,无需管理基础架构。 DataArtsFabric SQL架构基于华为云DataArtsFabric平台,主要由服务接入层、计算层与存储层组成。
DataArtsFabric SQL计费项 DataArtsFabric SQL服务根据业务场景实际使用的资源进行计费。详细的计费项及说明请参考表1 SQL计费项信息。
列举基模型 功能介绍 列举基模型。用户可通过该接口查询基模型列表,接口支持分页查询。返回为符合条件的基模型列表。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/base-models 表1 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer
取消Statement执行 功能介绍 取消SQL语句执行。用户可通过该接口取消SQL语句执行,输入为端点id、SQL Session id、语句id,返回操作结果。此接口为同步接口,无配套使用接口和特殊场景。 URI POST /v1/workspaces/{workspace_id
如果该版本正在被使用,则无法删除,需要删除使用该模型的推理服务才能删除。用户可通过该接口删除模型版本。此接口为同步接口,无配套使用接口。
SQL调优进阶 子查询调优 算子级调优 SQL语句改写规则 父主题: SQL调优
数值类型 数值类型也叫数字类型。由1、2、4或8字节的整数以及4或8字节的浮点数和可选精度小数组成。 对应的数字操作符和相关函数,请参见数字操作函数和操作符。 DataArtsFabric SQL支持的数值类型按精度可以分为:整数类型,任意精度型,浮点类型和序列整型。 整数类型 SMALLINT
Iceberg简介 Iceberg是一个面向海量数据分析的开放表格式,是元数据和数据文件的一种组织方式,处于计算引擎和存储系统之间,旨在提供一种可扩展且可靠的方式来管理海量的数据表格。Iceberg的设计目标是提供一个可扩展、高性能、易于使用的表格管理解决方案,以满足现代分布式数据处理的需要
DROP FUNCTION 功能描述 删除一个已存在的函数。 注意事项 无法删除内置函数,只支持删除自定义函数。 语法格式 1 DROP FUNCTION [ IF EXISTS ] function_name; 参数说明 表1 DROP FUNCTION参数说明 参数 描述 取值范围
安全和认证 session_timeout 参数说明:表明与服务器建立连接后,不进行任何操作的最长时间。 取值范围:整型,0-86400,最小单位为秒(s),0表示关闭超时设置。 默认值:10min 父主题: 连接和认证
Python UDF性能调优 DataArtsFabric SQL支持配置Python UDF运行时的资源规格和并发度,并支持统计运行时的关键性能指标。 UDF性能监控 使用explain performance可以打印UDF Actor运行的性能指标。如图1所示,统计了函数calculate
EXPLAIN 功能描述 显示SQL语句的执行计划。 执行计划将显示SQL语句所引用的表采用的扫描方式。如果引用了多个表,执行计划还会显示使用的JOIN算法。 执行计划中最关键的部分是语句的预计执行开销,即计划生成器对执行该语句所需时间的预估。 如果指定了ANALYZE选项,则该语句会被执行
JSON/JSONB函数和操作符 条件表达式函数 范围函数和操作符 UUID函数 文本检索函数和操作符 HLL函数和操作符 返回集合的函数 几何函数和操作符 网络地址函数和操作符 系统信息函数 系统管理函数 数据库对象函数 统计信息函数 XML函数 漏斗和留存函数 ICEBERG表服务函数
DROP VIEW 功能描述 DROP VIEW的语法功能是删除LakeFormation上指定名称的视图。 语法格式 1 DROP VIEW [IF EXISTS] view_name; 参数说明 IF EXISTS 如果指定的视图不存在,则发出一个提示而不会报错。 view_name
VALUES 功能描述 根据给定的值表达式计算一个或一组行的值。它通常用于在一个较大的命令内生成一个“常数表”。 注意事项 应当避免使用VALUES返回数量非常大的结果行,否则可能会遭遇内存耗尽或者性能低下。尤其对于INSERT INTO VALUES语法,建议使用在小数据量插入的场景
DROP SCHEMA 功能描述 DROP SCHEMA为DataArtsFabric SQL服务下特有语法,该语法功能是在LakeFormation上删除指定名称的Database。 注意事项 在删除Schema数据时,如果用户数据量很大,可能会导致语句执行时间过长。
DROP TABLE 功能描述 DROP TABLE为DataArtsFabric SQL服务下语法,该语法功能是删除LakeFormation上指定名称的表。
值存储 值存储数据类型解析 查找与目标字段准确的匹配。 试着将表达式直接转换成目标类型。如果已知这两种类型之间存在一个已登记的转换函数,那么直接调用该转换函数即可。如果表达式是一个未知类型文本,该文本字符串的内容将交给目标类型的输入转换过程。 检查目标类型是否有长度转换。长度转换是一个从某类型到自身的转换
管理Ray Job 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个可用的Ray集群。 已有至少一个可用的Job作业。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 >
当前DataArtsFabric提供以下两种方式进行推理: 用公共推理服务进行推理:DataArtsFabric提供基于开源大语言模型(Qwen2、GLM4等)的公共推理服务,用户可以在推理端点查看公共端点,选择自己想用的端点进行开通,然后就可以在试验场使用公共推理服务。