聚集函数 sum(expression) 描述:所有输入行的expression总和。 返回类型: 通常情况下输入数据类型和输出数据类型是相同的,但以下情况会发生类型转换: 对于SMALLINT或INT输入,输出类型为BIGINT。 对于BIGINT输入,输出类型为NUMBER 。
SEQUENCE函数 序列函数为用户从序列对象中获取后续的序列值提供了简单的多用户安全的方法。 实时数仓(单机部署)暂不支持SEQUENCE及相关函数。 nextval(regclass) 递增序列并返回新值。 为了避免从同一个序列获取值的并发事务被阻塞, nextval操作不会回滚
使用Iceberg前准备 设置GUC 本版本新增GUC参数enable_meta_scan,用于优化查询的性能。 该参数默认打开,但在表数据量很小的情况下,关闭可能比打开的时候查询性能更高,请基于实际情况打开或关闭该GUC。 代码示例如下: 1 2 3 4 5 6 SHOW enable_meta_scan
MSCK REPAIR TABLE 功能描述 MSCK REPAIR TABLE为DataArtsFabric SQL服务下特有语法,该语法功能是将数据目录上的分区信息同步到元数据存储引擎上。 注意事项 无。 语法格式 1 MSCK REPAIR TABLE table_name;
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来
修改SQL端点 在使用DataArtsFabric SQL服务的时候,用户可以修改自己创建的端点。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击端点卡片,进入端点详情,单击“编辑SQL端点”,修改内容后保存。 父主题
创建SQL端点 在使用DataArtsFabric SQL服务的时候除了使用公共端点,用户也可以自己创建端点。这些端点是属于用户个人,其他用户不可见。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击“创建端点”",输入
更新vpcep客户端 功能介绍 更新接入客户端。用户可以修改接入客户端的名字。此接口为同步接口,无配套使用接口和特殊场景。 URI PUT /v1/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 client_id 是 String
获取Statement结果、执行状态 功能介绍 查询SQL语句执行结果。用户可通过该接口查询SQL语句执行结果,输入为端点id、SQL Session id、语句id,返回执行结果。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/workspaces/{workspace_id
查询资源实例列表 功能介绍 通过标签查询工作空间。输入without_any_tag=true查询无标签资源,忽略tags字段;without_any_tag=false或未提供时,按tags、matches等条件过滤。tags最多含20个键,每键最多20个值,键不可重复,值可为空但结构不可缺失
查询消息通知策略列表 功能介绍 查询消息通知策略。用户通过调用该接口查询已创建的消息通知策略。支持分页查询,根据传入的工作空间ID,消息匹配样式来查询。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/workspaces/{workspace_id}/messages
创建vpcep客户端 功能介绍 创建vpcep客户端。VPC打通APIG,使用户可以通过内网域名调用到DataArtsFabric接口。此接口为同步接口,无配套使用接口和特殊场景。 URI POST /v1/access-clients 请求参数 表1 请求Body参数 参数 是否必选
删除vpcep客户端 功能介绍 删除接入客户端。用户可以删除不再使用的接入端。此接口为同步接口,无配套使用接口和特殊场景。 URI DELETE /v1/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 client_id 是 String
算子级调优 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。通用的优化手段是EXPLAIN ANALYZE/PERFORMANCE命令查看执行过程的瓶颈算子,然后进行针对性优化。 如下面的执行过程信息中
WITH ARGUMENTS语法 WITH ARGUMENTS语法扩展了现有用户定义函数(UDF)的功能,主要作用是允许用户在UDF运行时设置初始状态。通过这一功能,用户可以: 配置运行时资源和并发度:用户可以指定UDF运行时所需的资源(如内存、CPU等)以及并发执行的实例数量,从而优化性能和资源利用率
查询和写入Iceberg表 查询Iceberg 可以查询Iceberg表中的数据。具体语法可参考SELECT。 注意事项: 当前仅支持查询最新全量数据。 示例: 1 SELECT * FROM iceberg_ext order by col1; 写入Iceberg表 可以向Iceberg
快速开始 以下代码使用ibis库连接DataArtsFabric数据湖并执行数据查询,将结果转换为DataFrame格式的基本语法。 示例仅供参考,请您根据实际情况进行修改。 关于Ibis更详细的用法,请参见Ibis官方文档。 import ibis # 导入ibis依赖 con
UDF配置函数 update_udf_runtime_config 描述:用户可以执行内置函数指定某些UDF对应的Python UDF actor配置参数,或者指定所有UDF执行时的配置参数,包括actor使用的CPU核数,内存占用量和并行度。 语法: 1 update_udf_runtime_config
UNION,CASE和相关构造 SQL UNION构造把不相同的数据类型进行匹配输出为统一的数据类型结果集。因为SELECT UNION语句中的所有查询结果必须在一列里显示出来,所以每个SELECT子句中的元素类型必须相互匹配并转换成一个统一的数据类型。类似地,一个CASE构造的结果表达式必须转换成统一的类型
二进制类型 DataArtsFabric SQL支持的二进制类型请参见表1。 表1 二进制类型 名称 描述 存储空间 BYTEA 变长的二进制字符串 4字节加上实际的二进制字符串。最大为1G-8203B(即1073733621B)。 除了每列的大小限制以外,每个元组的总大小也不可超过