检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据库对象尺寸函数 pg_table_size(regclass) 描述:获取表大小,计算表目录下所有文件的总大小。 返回值类型:int64 pg_table_files(regclass) 描述:获取表大小,返回表目录下所有文件的路径和大小信息。 返回值类型: file_path:text类型,文件路径。
设计数据库对象 了解DataArtsFabricSQL数据库对象 创建和管理Schema 创建和管理表 表分区定义
数据库对象函数 排序规则版本函数 数据库对象尺寸函数 父主题: 函数和操作符
rquet等开放结构化数据格式,支持开放湖生态,让您可以在使用多个数据湖生态服务时共享同一份数据。 DataArtsFabric SQL积极拥抱Data+AI生态并提供了Python UDF特性,支持用户在SQL中直接运行Python脚本,使能一站式AI数据处理; DataArtsFabric
了解DataArtsFabricSQL数据库对象 DataArtsFabric SQL是云原生数据库引擎,能让您借助LakeFormation(数据湖统一元数据管理引擎)和OBS(对象存储服务)的能力进行高效数据管理。 在DataArtsFabric SQL中,数据对象的创建、管理、销毁都与
连接数据库 在创建数据库连接之后,才能使用它来执行SQL语句操作数据。 函数原型 JDBC提供了三个方法,用于创建数据库连接。 DriverManager.getConnection(String url); DriverManager.getConnection(String url
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考查看和设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 fq_runtime
UDF的作用是将一个原始的Python函数注册进数据库中。 不管是显式注册还是隐式注册,对于注册Python类型的Scalar UDF,目前都接受用户传入以下参数: 表1 Scalar Python UDF注册参数 注册参数 含义 类型 默认值 name 指定UDF实际数据库中存储名称 str | None
UDF隐式注册语法 不管是显式注册还是隐式注册,对于不同的Scalar UDF类型,注册的含义有所不同,详情参见下表: 表2 注册Scalar UDF含义 Scalar UDF类型 含义 参考 python 将一个原始的Python函数或者类注册进数据库中。 Scalar Python
UDF的作用是获得数据库已存在的函数的句柄,无实际注册的操作。 不管是显式注册还是隐式注册,对于注册Builtin类型的Scalar UDF,目前都接受用户传入以下参数: 表1 Scalar Builtin UDF注册参数 注册参数 含义 类型 默认值 name 指定UDF实际数据库存储名称
创建和管理Schema Schema又称作模式,从逻辑上组织一个数据库中的对象和数据。通过管理Schema,允许多个用户使用同一数据库而不相互干扰,同时便于将第三方应用添加到相应的Schema下而不引起冲突。 相同的数据库对象名称可以应用在同一数据库的不同Schema中,而没有冲突。例如,a_sc
数学、推理、代码和知识等多方面的数据集测评中表现出较高的性能,参数规模为90亿。 LLAMA_3_8B 作为Llama系列的第三代模型,Llama3在多个基准测试中实现了全面领先,性能较为优异。该模型参数规模为80亿。该模型使用了大规模的中文数据进行预训练,扩大了中文字符集的覆盖范围。
Delta表的OID。 Delta表附属于列存表。用于存储数据导入过程中的甩尾数据。 reldeltaidx oid Delta表的索引表OID。 relcudescrelid oid CU描述表的OID。 CU描述表(Desc表)附属于列存表。用于控制表目录中存储数据的可见性。 relcudescidx
Manipulation Language数据操作语言),用于对数据库表中的数据进行操作。如:插入、更新、查询、删除。 插入数据 插入数据是往数据库表中添加一条或多条记录,请参考INSERT。 查询数据 数据库查询语句SELECT是用于在数据库中检索适合条件的信息,请参考SELECT。
托管表(Managed Table) 数据和元数据均由DataArtsFabric SQL管理,用户可通过DataArtsFabric SQL管理元数据及数据文件。删除表时,表的数据和元数据均会被删除。表的数据路径必须为并行文件系统。 需要频繁更新的业务数据。 需要防误删保障的关键数据。 外表(External
场景描述 在AI数据工程中,数据预处理是一个关键步骤,通常需要对存储在数据库中的数据进行复杂的清洗、转换和特征工程操作。然而,传统的数据预处理逻辑往往在数据库外部通过Python脚本实现,这会导致大量数据在数据库和Python环境之间传输,不仅增加了计算开销,还无法充分利用数据库的分布式
表分区定义 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。 分区表的优势: 改善
操作符<<,<<=,>>,>>=对子网包含进行测试。它们只考虑两个地址的网络部分(忽略任何主机部分),然后判断其中一个网络是等于另外一个网络,还是另外一个网络的子网。 < 描述:小于 示例: 1 2 3 4 5 SELECT inet '192.168.1.5' < inet '192
作,为数据库性能调优人员提供全方位的指导。 注意事项 数据库调优是一个复杂和细致的过程,需熟悉数据库系统的内部工作原理和相关技术。它需要综合考虑硬件、软件、查询、配置和数据结构等多个方面的因素,以达到最佳的性能和效率。因此,要求调优人员应对系统软件架构、软硬件配置、数据库配置参数
关闭连接 在使用数据库连接完成相应的数据操作后,需要关闭数据库连接。 关闭数据库连接可以直接调用其close方法即可。 如:conn.close() 父主题: 基于JDBC开发