SELECT 功能描述 SELECT用于从表中读取数据。 SELECT语句就像叠加在数据库表上的过滤器,利用SQL关键字从数据表中过滤出用户需要的数据。 注意事项 必须对每个在SELECT命令中使用的字段有查询权限。 语法格式 1 2 3 4 5 6 7 8 9
概述 背景信息 在SQL语言中,每个数据都与一个决定其行为和用法的数据类型相关。DataArtsFabric SQL提供一个可扩展的数据类型系统,该系统比其它SQL实现更具通用性和灵活性。因而,DataArtsFabric SQL中大多数类型转换是由通用规则来管理的,这种做法允许使用混合类型的表达式
PG_OPERATOR PG_OPERATOR系统表存储有关操作符的信息。 表1 PG_OPERATOR字段 名字 类型 引用 描述 oid oid - 行标识符(隐藏属性,必须明确选择才会显示)。 oprname name - 操作符的名称。 oprnamespace oid PG_NAMESPACE.oid
购买Ray资源有最低资源要求,最低需要4个fabric.ray.dpu.d1x的资源总量,DataArtsFabric服务中fabric.ray.dpu.dnx = n * fabric.ray.dpu.d1x。 选择完成后,单击“下一步”。
退订Ray资源 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已购买Ray资源。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间”,选择“资源与资产 > Ray资源”。 包周期与按需的操作有所不同,分别如下
删除Ray集群 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个Ray集群。 如果当前Ray集群有运行Job记录,则需要先删除Job才能删除Ray集群。 操作步骤 登录DataArtsFabric工作空间管理台。 选择已创建的工作空间,单击“进入工作空间
相比开源Ray,DataArtsFabric服务做了一系列的安全加固,保证用户数据安全,例如gRPC通道加密、Dashboard认证访问等。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已购买相应的Ray资源。
通过AOM查看全量指标 为使用户更好地掌握推理实例资源的使用情况,云服务平台将指标上报到了应用运维管理AOM,用户可以通过应用运维管理AOM查询资源使用情况。 前提条件 已有可正常使用的华为云账号。 已有至少一个正常可用的工作空间。 已有至少一个推理实例。
DataArtsFabric SQL计费项 DataArtsFabric SQL服务根据业务场景实际使用的资源进行计费。详细的计费项及说明请参考表1 SQL计费项信息。
每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享; 时间约束:有效期为开通90天内,超过时间则失效。同一个推理服务在不同工作空间下面开通,以首次开通为准。 不同的模型有不同的上下文长度约束。 不保证SLA,如果想要更高的性能,建议创建自己的推理服务进行推理。
全新的无服务器架构可以让您在使用SQL语言处理组织复杂业务时,无需管理基础架构。 DataArtsFabric SQL架构基于华为云DataArtsFabric平台,主要由服务接入层、计算层与存储层组成。
SQL调优进阶 子查询调优 算子级调优 SQL语句改写规则 父主题: SQL调优
数值类型 数值类型也叫数字类型。由1、2、4或8字节的整数以及4或8字节的浮点数和可选精度小数组成。 对应的数字操作符和相关函数,请参见数字操作函数和操作符。 DataArtsFabric SQL支持的数值类型按精度可以分为:整数类型,任意精度型,浮点类型和序列整型。 整数类型 SMALLINT
Iceberg简介 Iceberg是一个面向海量数据分析的开放表格式,是元数据和数据文件的一种组织方式,处于计算引擎和存储系统之间,旨在提供一种可扩展且可靠的方式来管理海量的数据表格。Iceberg的设计目标是提供一个可扩展、高性能、易于使用的表格管理解决方案,以满足现代分布式数据处理的需要
DROP FUNCTION 功能描述 删除一个已存在的函数。 注意事项 无法删除内置函数,只支持删除自定义函数。 语法格式 1 DROP FUNCTION [ IF EXISTS ] function_name; 参数说明 表1 DROP FUNCTION参数说明 参数 描述 取值范围
安全和认证 session_timeout 参数说明:表明与服务器建立连接后,不进行任何操作的最长时间。 取值范围:整型,0-86400,最小单位为秒(s),0表示关闭超时设置。 默认值:10min 父主题: 连接和认证
Python UDF性能调优 DataArtsFabric SQL支持配置Python UDF运行时的资源规格和并发度,并支持统计运行时的关键性能指标。 UDF性能监控 使用explain performance可以打印UDF Actor运行的性能指标。如图1所示,统计了函数calculate
EXPLAIN 功能描述 显示SQL语句的执行计划。 执行计划将显示SQL语句所引用的表采用的扫描方式。如果引用了多个表,执行计划还会显示使用的JOIN算法。 执行计划中最关键的部分是语句的预计执行开销,即计划生成器对执行该语句所需时间的预估。 如果指定了ANALYZE选项,则该语句会被执行
JSON/JSONB函数和操作符 条件表达式函数 范围函数和操作符 UUID函数 文本检索函数和操作符 HLL函数和操作符 返回集合的函数 几何函数和操作符 网络地址函数和操作符 系统信息函数 系统管理函数 数据库对象函数 统计信息函数 XML函数 漏斗和留存函数 ICEBERG表服务函数
DROP VIEW 功能描述 DROP VIEW的语法功能是删除LakeFormation上指定名称的视图。 语法格式 1 DROP VIEW [IF EXISTS] view_name; 参数说明 IF EXISTS 如果指定的视图不存在,则发出一个提示而不会报错。 view_name