CREATE FUNCTION 功能描述 创建一个自定义函数。 语法格式 创建自定义函数语法。 1 2 3 4 5 6 7 8 9 10 11 12 CREATE FUNCTION function_name ( [ { argname argtype
SHOW Conf 功能描述 SHOW将显示当前运行时参数的数值。可以使用SET语句来设置这些参数。 注意事项 SHOW可以查看的某些参数是只读的,可以查看但不能设置它们的值。 语法格式 1 2 3 4 5 6 7 8 9 SHOW { configuration_parameter
开发规范 如果用户在APP的开发中,使用了连接池机制,那么需要遵循如下规范: 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前
字符类型 DataArtsFabric SQL支持的字符类型请参见表1。字符串操作符和相关的内置函数请参见字符处理函数和操作符。 表1 字符类型 名称 描述 长度 存储空间 CHAR(n) CHARACTER(n) NCHAR(n) 定长字符串,不足填充空格。 n是指字节长度,如不带精度
复杂类型 DataArtsFabric SQL支持从orc/parquet文件中读取复杂类型列,当前仅支持读取,且仅支持struct和array类型,对于array类型,暂不支持多维数组查询。 复杂类型DDL 当前DDL仅支持STRUCT和ARRAY类型。 定义语法如下: ARRAY
DESCRIBE 功能描述 DESCRIBE为DataArtsFabric SQL服务下特有语法,该语法功能是显示LakeFormation上指定对象的详细信息。 注意事项 无。 语法格式 1 2 3 4 DESCRIBE table_name; DESCRIBE SCHEMA schema_name
日期/时间类型 DataArtsFabric SQL支持的日期/时间类型请参见表1。该类型的操作符和内置函数请参见时间、日期处理函数和操作符。 如果其他的数据库时间格式和DataArtsFabric SQL的时间格式不一致,可通过修改配置参数DateStyle的值来保持一致。 表1
修改Iceberg表 目前支持对Iceberg表做以下操作:修改表属性,恢复表属性默认值对表中的列,表的属性进行修改,具体语法可参考ALTER TABLE。 修改表属性 通过ALTER TABLE语法的SET/UNSET TABLEPROPERTIES能力,可以对表的属性值进行修改
操作符 操作符类型解析 从系统表pg_operator中选出要考虑的操作符。如果可以找到一个参数类型以及参数个数都一致的操作符,那么这个操作符就是最终使用的操作符。如果找到了多个备选的操作符,将从中选择一个最合适的。 寻找最优匹配。 丢弃输入类型不匹配以及无法隐式转换成匹配的候选操作符
CREATE SCHEMA 功能描述 CREATE SCHEMA为DataArtsFabric SQL服务下特有语法,该语法功能是在LakeFormation上创建指定名称的Database。 注意事项 DataArtsFabric SQL没有集群概念,不会存储任何元数据,所有元数据均存放于
表分区定义 分区表就是把逻辑上的一张表根据分区策略分成几张物理块库进行存储,这张逻辑上的表称之为分区表,物理块称之为分区。分区表是一张逻辑表,不存储数据,数据实际是存储在分区上的。当进行条件查询时,系统只会扫描满足条件的分区,避免全表扫描,从而提升查询性能。 分区表的优势: 改善查询性能
运行Ray Job 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个可用的Ray集群。 已有至少一个可用的Job作业。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“开发与生产 >
查看Ray Dashboard 创建Ray集群后,运行Ray Job,如果需要查看Job的运行情况,或者查看Ray集群的详细信息,可通过打开Ray自带的Dashboard查看。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个可用的Ray集群。
获取SQL Session列表 功能介绍 查询SQL Session列表 URI GET /v1/workspaces/{workspace_id}/sessions 表1 路径参数 参数 是否必选 参数类型 描述 workspace_id 是 String 参数解释:工作空间的ID
更新工作空间 功能介绍 更新工作空间。用户可通过该接口更新工作空间,支持传入名称、描述、MetaStoreID,返回更新后的工作空间详情。此接口为同步接口,无配套使用接口和特殊场景。 URI PUT /v1/workspaces/{workspace_id} 表1 路径参数 参数
创建工作空间 功能介绍 创建工作空间。用户可通过该接口创建工作空间,支持传入名称、描述、MetaStoreID、企业项目ID和标签,返回工作空间详情。此接口为同步接口,无配套使用接口。创建工作空间接口存在同名校验,不支持创建重复名称的工作空间,并且同一账户下创建工作空间数量存在上限
获取SQL执行记录 功能介绍 查询SQL执行记录 URI GET /v1/workspaces/{workspace_id}/statement-records 表1 路径参数 参数 是否必选 参数类型 描述 workspace_id 是 String 参数解释:工作空间的ID。
批量删除资源标签 功能介绍 工作空间批量删除标签。输入:tags标签列表,租户权限时该字段必选。返回值状态码204正常,其他异常。此接口为同步接口,无配套使用接口。删除时,如果删除的标签不存在,默认处理成功,删除时不对标签字符集范围做校验。删除时tags结构体不能缺失,key不能为空
UUID函数 UUID函数表示可以用于生成UUID类型数据的函数。 uuid_generate_v1() 描述:生成一个UUID类型的序列号。 返回类型:UUID 示例: 1 2 3 4 5 SELECT uuid_generate_v1(); uuid_generate_v1
Python UDF性能调优 DataArtsFabric SQL支持配置Python UDF运行时的资源规格和并发度,并支持统计运行时的关键性能指标。 UDF性能监控 使用explain performance可以打印UDF Actor运行的性能指标。如图1所示,统计了函数calculate