Hint的错误、冲突及告警 Plan Hint的结果会体现在计划的变化上,可以通过explain来查看变化。 Hint中的错误不会影响语句的执行,只是不能生效,该错误会根据语句类型以不同方式提示用户。对于explain语句,hint的错误会以warning形式显示在界面上,对于非explain
内存管理函数 内存管理函数仅25.5.0及以上集群版本支持。 pgxc_total_memory_detail() 描述:用于查看所有后端actor节点的内存使用情况。 返回值类型:record 函数返回信息如下: 表1 pgxc_total_memory_detail()输出结果的字段
不带UDF的DF示例 下文以tpch的query1为例,展示DataFrame的用法。 查询SQL为: SELECT l_returnflag, l_linestatus, sum(l_quantity) AS sum_qty, sum(l_extendedprice
javax.sql.DataSource javax.sql.DataSource是数据源接口。 表1 对javax.sql.DataSource接口的支持情况 方法名 返回值类型 支持JDBC 4 getConneciton() Connection Yes getConnection
java.sql.Connection java.sql.Connection是数据库连接接口。 表1 对java.sql.Connection接口的支持情况 方法名 返回值类型 支持JDBC 4 close() void Yes commit() void Yes createStatement
行数的Hint 功能描述 指明中间结果集的大小,支持绝对值和相对值的hint。 语法格式 1 rows([@block_name] table_list #|+|-|* const) 参数说明 block_name表示语句块的block_name,详细说明请参考block_name
访问第三方引擎创建的Iceberg表 对于Spark产生的Iceberg表,DataArtsFabric SQL通过外表方式访问OBS上的Iceberg数据。 获得对应OBS路径的访问权限。 登录华为云LakeFormation控制台,左侧选择“数据权限 > 数据授权”,单击“授权
javax.naming.spi.InitialContextFactory javax.naming.spi.InitialContextFactory是初始连接上下文工厂接口。 表1 对javax.naming.spi.InitialContextFactory的支持情况 方法名
数字操作函数 abs(x) 描述:绝对值。 返回值类型:和输入相同。 示例: 1 2 3 4 5 SELECT abs(-17.4); abs ------ 17.4 (1 row) acos(x) 描述:反余弦。 返回值类型:double precision 示例: 1 2
HLL操作符 HLL类型支持如下操作符: 表1 HLL操作符 HLL操作符 描述 返回值类型 示例 = 比较hll或hll_hashval的值是否相等。 bool hll 1 2 3 4 5 SELECT (hll_empty() || hll_hash_integer(1)) =
java.sql.ResultSet java.sql.ResultSet是执行结果集接口。 表1 对java.sql.ResultSet的支持情况 方法名 返回值类型 支持JDBC 4 findColumn(String columnLabel) int Yes getBigDecimal
数组操作符 数组比较是使用默认的B-tree比较函数对所有元素逐一进行比较的。多维数组的元素按照行顺序进行访问。如果两个数组的内容相同但维数不等,决定排序顺序的首要因素是维数。 = 描述:两个数组是否相等。 示例: 1 2 3 4 5 SELECT ARRAY[1.1,2.1,3.1
javax.sql.PooledConnection javax.sql.PooledConnection是由连接池创建的连接接口。 表1 对javax.sql.PooledConnection的支持情况 方法名 返回值类型 支持JDBC 4 addConnectionEventListener
范围操作符 = 描述:等于 示例: 1 2 3 4 5 SELECT int4range(1,5) = '[1,4]'::int4range AS RESULT; result -------- t (1 row) <> 描述:不等于 示例: 1 2 3 4 5 SELECT
排序规则版本函数 pg_collation_actual_version (oid) 描述:返回当前安装在操作系统中的该排序规则对象的实际版本,目前仅对case_insensitive有效。 返回值类型:text 示例: 1 2 3 4 5 6 7 8 9 10
带Scalar UDF的DF示例 场景描述 在AI数据工程中,数据预处理是一个关键步骤,通常需要对存储在数据库中的数据进行复杂的清洗、转换和特征工程操作。然而,传统的数据预处理逻辑往往在数据库外部通过Python脚本实现,这会导致大量数据在数据库和Python环境之间传输,不仅增加了计算开销
序列号生成函数 generate_series()函数根据指定的开始值(start)、结束值(stop)和步长(step)返回一个基于系列的集合。 generate_series()函数的入参中,当step是正数且start大于stop,则返回零行。相反,当step是负数且start
并发数据修改冲突 在并发写入Iceberg表时,通常会遇到两类冲突:并发修改数据冲突、乐观锁并发提交冲突。本文介绍并发数据修改冲突。 当出现以下并发作业时,可能会产生数据冲突,从而导致作业失败: 对同一分区数据并发执行DML操作,例如对同一分区执行Update/Delete/Insert
java.sql.ResultSetMetaData java.sql.ResultSetMetaData是对ResultSet对象相关信息的具体描述。 表1 对java.sql.ResultSetMetaData的支持情况 方法名 返回值类型 支持JDBC 4 getColumnCount
javax.sql.ConnectionPoolDataSource javax.sql.ConnectionPoolDataSource是数据源连接池接口。 表1 对javax.sql.ConnectionPoolDataSource的支持情况 方法名 返回值类型 支持JDBC