大模型推理使用流程 DataArtsFabric平台提供了一个Serverless化的从数据到模型部署的AI全流程开发体验,针对每个环节,其使用是相对独立自由的。本章节梳理了DataArtsFabric使用流程详解,您可以选择其中一种方式完成AI开发。 表1 使用流程说明 流程 说明
查看Ray集群概览 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个Ray集群。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray集群”。单击任意一个Ray集群可查看详情页面
获取JDBC JDBC驱动程序用于连接DataArtsFabric SQL,用户可以通过以下方式获取JDBC。 通过Maven仓库获取 复制Maven库信息,并将其添加到pom.xml文件中。 在pom.xml文件中添加如下Maven坐标: <dependency> <groupId
ANALYZE | ANALYSE 功能描述 用于收集有关数据库中表内容的统计信息,统计结果存储在LakeFormation上。执行计划生成器会使用这些统计数据,以确定最有效的执行计划。 能够执行ANALYZE特定表的用户,包括表的所有者、被授予该表上读取权限的用户。 注意事项 ANALYZE
SQL调优流程 对慢SQL语句进行分析,通常包括以下步骤: 操作步骤 收集SQL中涉及到的所有表的统计信息。在数据库中,统计信息是规划器生成计划的源数据。没有收集统计信息或者统计信息陈旧会造成执行计划严重劣化,从而导致性能问题。从经验数据来看,10%左右性能问题是因为没有收集统计信息
CREATE VIEW 功能描述 CREATE VIEW语法功能是在LakeFormation上创建指定名称的视图。 语法格式 1 2 3 4 CREATE [ OR REPLACE ] [schema_name.]view_name [ ( col_name col_type
布尔类型 表1 布尔类型 名称 描述 存储空间 取值 BOOLEAN 布尔类型 1字节。 true:真 false:假 null:未知(unknown) “真”值的有效文本值是: TRUE、't'、'true'、'y'、'yes'、'1'。 “假”值的有效文本值是: FALSE、'
CREATE TABLE 功能描述 CREATE TABLE为DataArtsFabric SQL服务下特有语法,该语法功能是在LakeFormation上创建指定名称的表。 注意事项 PARTITIONED BY中出现的列不能出现在表的普通列描述中,分区列始终排在普通列的后面。
CREATE FUNCTION 功能描述 创建一个自定义函数。 语法格式 创建自定义函数语法。 1 2 3 4 5 6 7 8 9 10 11 12 CREATE FUNCTION function_name ( [ { argname argtype
SHOW Conf 功能描述 SHOW将显示当前运行时参数的数值。可以使用SET语句来设置这些参数。 注意事项 SHOW可以查看的某些参数是只读的,可以查看但不能设置它们的值。 语法格式 1 2 3 4 5 6 7 8 9 SHOW { configuration_parameter
开发规范 如果用户在APP的开发中,使用了连接池机制,那么需要遵循如下规范: 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前
字符类型 DataArtsFabric SQL支持的字符类型请参见表1。字符串操作符和相关的内置函数请参见字符处理函数和操作符。 表1 字符类型 名称 描述 长度 存储空间 CHAR(n) CHARACTER(n) NCHAR(n) 定长字符串,不足填充空格。 n是指字节长度,如不带精度
复杂类型 DataArtsFabric SQL支持从orc/parquet文件中读取复杂类型列,当前仅支持读取,且仅支持struct和array类型,对于array类型,暂不支持多维数组查询。 复杂类型DDL 当前DDL仅支持STRUCT和ARRAY类型。 定义语法如下: ARRAY
DESCRIBE 功能描述 DESCRIBE为DataArtsFabric SQL服务下特有语法,该语法功能是显示LakeFormation上指定对象的详细信息。 注意事项 无。 语法格式 1 2 3 4 DESCRIBE table_name; DESCRIBE SCHEMA schema_name
获取JDBC驱动 您可以通过以下方式获取Java SDK。 使用Maven中央仓库和Maven工程下载安装Java SDK。 在Maven项目中添加以下依赖项到pom.xml文件: <dependency> <groupId>com.huaweicloud.dws</groupId
SQL执行监控 SQL历史监控数据详解 SQL历史监控数据中记录了查询作业的各项资源使用情况(包括内存、下盘、CN和DN时长、OBS访问时间、LakeFormation访问时间等)以及SQL执行计划信息(EXPLAIN/EXPLAIN PERFORMANCE),且历史监控数据只有在
ALTER TABLE 功能描述 ALTER TABLE为DataArtsFabric SQL服务下特有语法,该语法功能是修改LakeFormation上表的元数据信息。 注意事项 ADD COLUMNS、DROP COLUMNS、COLUMN RENAME、ALTER COLUMN
日期/时间类型 DataArtsFabric SQL支持的日期/时间类型请参见表1。该类型的操作符和内置函数请参见时间、日期处理函数和操作符。 如果其他的数据库时间格式和DataArtsFabric SQL的时间格式不一致,可通过修改配置参数DateStyle的值来保持一致。 表1
修改Iceberg表 目前支持对Iceberg表做以下操作:修改表属性,恢复表属性默认值对表中的列,表的属性进行修改,具体语法可参考ALTER TABLE。 修改表属性 通过ALTER TABLE语法的SET/UNSET TABLEPROPERTIES能力,可以对表的属性值进行修改
操作符 操作符类型解析 从系统表pg_operator中选出要考虑的操作符。如果可以找到一个参数类型以及参数个数都一致的操作符,那么这个操作符就是最终使用的操作符。如果找到了多个备选的操作符,将从中选择一个最合适的。 寻找最优匹配。 丢弃输入类型不匹配以及无法隐式转换成匹配的候选操作符