metastore_id 否 String 参数解释:LakeFormation服务的实例ID,即MetaStoreID。 约束限制:不涉及。 取值范围:长度为[32,36]的字母、数字、中划线(-)组合。 默认取值:不涉及。
获取SQL执行记录 功能介绍 查询SQL执行记录 URI GET /v1/workspaces/{workspace_id}/statement-records 表1 路径参数 参数 是否必选 参数类型 描述 workspace_id 是 String 参数解释:工作空间的ID。
获取方式:标签管理服务TMS/API参考/API说明/资源标签/查询标签键列表。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。 value 否 String 参数解释:值。 约束限制:不涉及。 取值范围:不涉及。 默认取值:不涉及。
UUID函数 UUID函数表示可以用于生成UUID类型数据的函数。 uuid_generate_v1() 描述:生成一个UUID类型的序列号。 返回类型:UUID 示例: 1 2 3 4 5 SELECT uuid_generate_v1(); uuid_generate_v1
Python UDF性能调优 DataArtsFabric SQL支持配置Python UDF运行时的资源规格和并发度,并支持统计运行时的关键性能指标。 UDF性能监控 使用explain performance可以打印UDF Actor运行的性能指标。如图1所示,统计了函数calculate
Java SDK 使用前须知 使用前准备 客户端初始化 SDK方法介绍 父主题: JDBC二次开发
XML函数 产生XML内容 XML谓词 处理XML 将表映射到XML 父主题: 函数和操作符
一个外部数据封装器是在外部服务器上驻留外部数据的机制,是可以访问的。 表1 PG_FOREIGN_DATA_WRAPPER字段 名字 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 fdwname name - 外部数据封装器名。
SEQUENCE函数 序列函数为用户从序列对象中获取后续的序列值提供了简单的多用户安全的方法。 实时数仓(单机部署)暂不支持SEQUENCE及相关函数。 nextval(regclass) 递增序列并返回新值。 为了避免从同一个序列获取值的并发事务被阻塞, nextval操作不会回滚
优化器参数调整 本节将介绍影响DataArtsFabric SQL调优性能的关键CN配置参数,配置方法参见查看和设置GUC参数。 表1 CN配置参数 参数/参考值 描述 enable_nestloop=on 控制查询优化器对嵌套循环连接(Nest Loop Join)类型的使用。当设置为
但当数据库服务器的CPU核数较少,CPU利用率已经比较高的情况下,如果打开SMP并行,不仅性能提升不明显,反而可能因为多线程间的资源竞争而导致性能劣化。 内存资源 查询并行后会导致内存使用量的增长,但每个算子使用内存上限仍受到work_mem等参数的限制。
使用Iceberg前准备 设置GUC 本版本新增GUC参数enable_meta_scan,用于优化查询的性能。 该参数默认打开,但在表数据量很小的情况下,关闭可能比打开的时候查询性能更高,请基于实际情况打开或关闭该GUC。 代码示例如下: 1 2 3 4 5 6 SHOW enable_meta_scan
MSCK REPAIR TABLE 功能描述 MSCK REPAIR TABLE为DataArtsFabric SQL服务下特有语法,该语法功能是将数据目录上的分区信息同步到元数据存储引擎上。 注意事项 无。
窗口函数 普通的聚集函数只能用来计算一行内的结果,或者把所有行聚集成一行结果。而窗口函数可以跨行计算,并且把结果填到每一行中。 通过查询筛选出的行的某些部分,窗口调用函数实现了类似于聚集函数的功能,所以聚集函数也可以作为窗口函数使用。 窗口函数可以扫描所有的行,并同时将原始数据和聚集分析结果同时显示出来
DataArtsFabric DataFrame DataArtsFabric DataFrame概述 准备工作 快速开始 使用DataFrame API注册Scalar UDF 场景实践 DataArtsFabric DataFrame API参考 父主题: 数智融合(Data+
修改SQL端点 在使用DataArtsFabric SQL服务的时候,用户可以修改自己创建的端点。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击端点卡片,进入端点详情,单击“编辑SQL端点”,修改内容后保存。
创建SQL端点 在使用DataArtsFabric SQL服务的时候除了使用公共端点,用户也可以自己创建端点。这些端点是属于用户个人,其他用户不可见。 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。
查询SQL端点详情 登录华为云DataArtsFabric控制台,选择进入工作空间。 左侧选择“资源与资产 > SQL端点”。 单击端点卡片,查看端点详情。 父主题: 管理SQL端点
更新vpcep客户端 功能介绍 更新接入客户端。用户可以修改接入客户端的名字。此接口为同步接口,无配套使用接口和特殊场景。 URI PUT /v1/access-clients/{client_id} 表1 路径参数 参数 是否必选 参数类型 描述 client_id 是 String
查询资源实例列表 功能介绍 通过标签查询工作空间。输入without_any_tag=true查询无标签资源,忽略tags字段;without_any_tag=false或未提供时,按tags、matches等条件过滤。tags最多含20个键,每键最多20个值,键不可重复,值可为空但结构不可缺失