UNION,CASE和相关构造 SQL UNION构造把不相同的数据类型进行匹配输出为统一的数据类型结果集。因为SELECT UNION语句中的所有查询结果必须在一列里显示出来,所以每个SELECT子句中的元素类型必须相互匹配并转换成一个统一的数据类型。类似地,一个CASE构造的结果表达式必须转换成统一的类型
场景实践 不带UDF的DF示例 带Scalar UDF的DF示例 直接使用带Scalar UDF的DF示例 父主题: DataArtsFabric DataFrame
二进制类型 DataArtsFabric SQL支持的二进制类型请参见表1。 表1 二进制类型 名称 描述 存储空间 BYTEA 变长的二进制字符串 4字节加上实际的二进制字符串。最大为1G-8203B(即1073733621B)。 除了每列的大小限制以外,每个元组的总大小也不可超过
关闭连接 在使用数据库连接完成相应的数据操作后,需要关闭数据库连接。 关闭数据库连接可以直接调用其close方法即可。 如:conn.close() 父主题: 基于JDBC开发
系统信息函数 会话信息函数 系统表信息函数 系统函数信息函数 状态信息函数 父主题: 函数和操作符
执行计划算子 算子介绍 SQL执行计划中每一个步骤为一个数据库运算符,也叫做一个执行算子。DataArtsFabric SQL中算子是基本的数据处理单元,合理地组合算子、优化算子的顺序和执行方式,可以提升数据的处理效率。 DataArtsFabric SQL算子可分为:扫描算子、控制算子
SQL查询执行流程 SQL引擎从接收SQL语句到执行SQL语句需要经历的步骤如图1和表1所示。其中,红色字体部分为DBA可以介入实施调优的环节。 图1 SQL引擎执行查询类SQL语句的流程 表1 SQL引擎执行查询类SQL语句的步骤说明 步骤 说明 1、语法&词法解析 按照约定的SQL
算子级调优 一个查询语句要经过多个算子步骤才会输出最终的结果。由于个别算子耗时过长导致整体查询性能下降的情况比较常见。这些算子是整个查询的瓶颈算子。通用的优化手段是EXPLAIN ANALYZE/PERFORMANCE命令查看执行过程的瓶颈算子,然后进行针对性优化。 如下面的执行过程信息中
查询和写入Iceberg表 查询Iceberg 可以查询Iceberg表中的数据。具体语法可参考SELECT。 注意事项: 当前仅支持查询最新全量数据。 示例: 1 SELECT * FROM iceberg_ext order by col1; 写入Iceberg表 可以向Iceberg
性能优化:在某些情况下,通过UDF将复杂的计算逻辑移到数据库服务器上执行,可以减少数据传输和提高性能。
子查询调优 子查询背景介绍 应用程序通过SQL语句来操作数据库时会使用大量的子查询,这种写法比直接对两个表做连接操作在结构上和思路上更清晰,尤其是在一些比较复杂的查询语句中,子查询有更完整、更独立的语义,会使SQL对业务逻辑的表达更清晰更容易理解,因此得到了广泛的应用。 DataArtsFabric
加载驱动 在创建数据库连接之前,需要先加载数据库驱动程序。 加载驱动有两种方法: 在代码中创建连接之前任意位置隐含装载:Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递:java -Djdbc.drivers=org.postgresql.Driver
WITH ARGUMENTS语法 WITH ARGUMENTS语法扩展了现有用户定义函数(UDF)的功能,主要作用是允许用户在UDF运行时设置初始状态。通过这一功能,用户可以: 配置运行时资源和并发度:用户可以指定UDF运行时所需的资源(如内存、CPU等)以及并发执行的实例数量,从而优化性能和资源利用率
更新vpcep客户端 功能介绍 更新接入客户端。用户可以修改接入客户端的名字。此接口为同步接口,无配套使用接口和特殊场景。 URI PUT /v1/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 client_id 是 String
查询资源实例列表 功能介绍 通过标签查询工作空间。输入without_any_tag=true查询无标签资源,忽略tags字段;without_any_tag=false或未提供时,按tags、matches等条件过滤。tags最多含20个键,每键最多20个值,键不可重复,值可为空但结构不可缺失
查询消息通知策略列表 功能介绍 查询消息通知策略。用户通过调用该接口查询已创建的消息通知策略。支持分页查询,根据传入的工作空间ID,消息匹配样式来查询。此接口为同步接口,无配套使用接口和特殊场景。 URI GET /v1/workspaces/{workspace_id}/messages
vpcep_service_name 否 String 参数解释:终端节点服务名称。 约束限制:不涉及。 取值范围:[0,64]。 默认取值:不涉及。
删除vpcep客户端 功能介绍 删除接入客户端。用户可以删除不再使用的接入端。此接口为同步接口,无配套使用接口和特殊场景。 URI DELETE /v1/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 client_id 是 String
隐式转换支持范围 DataArtsFabric SQL当前对于存储格式为orc或parquet的表类型,支持数值类型的隐式转换,即存储空间字节数多的类型向下兼容存储空间字节数少的类型。 例如实际存储为orc::SHORT(2字节),建表类型为SMALLINT、INT、BIGINT时都可以正常查询
类型转换函数 cast(x as y) 描述:类型转换函数,将x转换成y指定的类型。 示例: 1 2 3 4 5 SELECT cast('22-oct-1997' as timestamp); timestamp ---------------------