窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来
DataArtsFabric DataFrame DataArtsFabric DataFrame概述 准备工作 快速开始 使用DataFrame API注册Scalar UDF 场景实践 DataArtsFabric DataFrame API参考 父主题: 数智融合(Data+
UUID函数 UUID函数表示可以用于生成UUID类型数据的函数。 uuid_generate_v1() 描述:生成一个UUID类型的序列号。 返回类型:UUID 示例: 1 2 3 4 5 SELECT uuid_generate_v1(); uuid_generate_v1
Java SDK 使用前须知 使用前准备 客户端初始化 SDK方法介绍 父主题: JDBC二次开发
XML函数 产生XML内容 XML谓词 处理XML 将表映射到XML 父主题: 函数和操作符
修改SQL端点 在使用DataArtsFabric SQL服务的时候,用户可以修改自己创建的端点。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击端点卡片,进入端点详情,单击“编辑SQL端点”,修改内容后保存。
创建SQL端点 在使用DataArtsFabric SQL服务的时候除了使用公共端点,用户也可以自己创建端点。这些端点是属于用户个人,其他用户不可见。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。
查询SQL端点详情 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击端点卡片,查看端点详情。 父主题: 管理SQL端点
UDF配置函数 update_udf_runtime_config 描述:用户可以执行内置函数指定某些UDF对应的Python UDF actor配置参数,或者指定所有UDF执行时的配置参数,包括actor使用的CPU核数,内存占用量和并行度。 语法: 1 update_udf_runtime_config
使用Plan Hint进行调优 Plan Hint调优概述 Join顺序的Hint Join方式的Hint 行数的Hint Stream方式的Hint 子链接块名的hint 指定子查询不提升的hint 配置参数的hint Hint的错误、冲突及告警 父主题: SQL调优
UNION,CASE和相关构造 SQL UNION构造把不相同的数据类型进行匹配输出为统一的数据类型结果集。因为SELECT UNION语句中的所有查询结果必须在一列里显示出来,所以每个SELECT子句中的元素类型必须相互匹配并转换成一个统一的数据类型。类似地,一个CASE构造的结果表达式必须转换成统一的类型
场景实践 不带UDF的DF示例 带Scalar UDF的DF示例 父主题: DataArtsFabric DataFrame
二进制类型 DataArtsFabric SQL支持的二进制类型请参见表1。 表1 二进制类型 名称 描述 存储空间 BYTEA 变长的二进制字符串 4字节加上实际的二进制字符串。最大为1G-8023B(即1073733621B)。 除了每列的大小限制以外,每个元组的总大小也不可超过
关闭连接 在使用数据库连接完成相应的数据操作后,需要关闭数据库连接。 关闭数据库连接可以直接调用其close方法即可。 如:conn.close() 父主题: 基于JDBC开发
系统信息函数 会话信息函数 系统表信息函数 系统函数信息函数 状态信息函数 父主题: 函数和操作符
执行计划算子 算子介绍 SQL执行计划中每一个步骤为一个数据库运算符,也叫做一个执行算子。DataArtsFabric SQL中算子是基本的数据处理单元,合理地组合算子、优化算子的顺序和执行方式,可以提升数据的处理效率。 DataArtsFabric SQL算子可分为:扫描算子、控制算子
SQL查询执行流程 SQL引擎从接收SQL语句到执行SQL语句需要经历的步骤如图1和表1所示。其中,红色字体部分为DBA可以介入实施调优的环节。 图1 SQL引擎执行查询类SQL语句的流程 表1 SQL引擎执行查询类SQL语句的步骤说明 步骤 说明 1、语法&词法解析 按照约定的SQL
性能优化:在某些情况下,通过UDF将复杂的计算逻辑移到数据库服务器上执行,可以减少数据传输和提高性能。
子查询调优 子查询背景介绍 应用程序通过SQL语句来操作数据库时会使用大量的子查询,这种写法比直接对两个表做连接操作在结构上和思路上更清晰,尤其是在一些比较复杂的查询语句中,子查询有更完整、更独立的语义,会使SQL对业务逻辑的表达更清晰更容易理解,因此得到了广泛的应用。 DataArtsFabric
加载驱动 在创建数据库连接之前,需要先加载数据库驱动程序。 加载驱动有两种方法: 在代码中创建连接之前任意位置隐含装载:Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递:java -Djdbc.drivers=org.postgresql.Driver