参数类型:USERSET 取值范围:int,取值范围0~3。 0:结果集文件格式为JSON,并且不对结果集文件进行压缩。 1:结果集文件格式为JSON,并且使用zstd算法对结果集文件进行压缩。 2:结果集文件格式为ARROW,并且不对结果集文件进行压缩。 3:结果集文件格式为ARROW,并且使用zstd算法对结果集文件进行压缩。
SQL编辑器”,选择LakeFormation实例、LakeFormation Catalog。 选择SQL端点,运行SQL。 1 2 3 4 5 6 7 8 9 10 CREATE TABLE database1.iceberg_table ( col_id
点数、字符串、标识符和关键字。大多数非数字类型首先表现为字符串。SQL语言的定义允许将常量字符串声明为具体的类型。例,下面查询: 1 2 3 4 5 SELECT text 'Origin' AS "label", point '(0,0)' AS "value"; label
MU时的“按需计费”模式都是秒级计费,DataArtsFabric产品价格详情中标出了每小时价格,您可以将每小时价格除以3600,即得到每秒价格。 示例,某一基模型为LLAMA3_8B推理端点实例,每个实例部署消耗2MU算力,假设MU时价格为30.0元/小时。根据部署模型实例数量 * MU换算比例 * 实际使用时长,按秒计费。
EXPLAIN [ ( option [, ...] ) ] statement; 其中选项option子句的语法为: 1 2 3 4 5 6 7 8 9 10 11 12 ANALYZE [ boolean ] | ANALYSE [ boolean
分区列始终排在普通列的后面。 CLUSTERED BY语法仅适用于ORC、PARQUET表,不适用于Iceberg表。 语法格式 1 2 3 4 5 6 7 8 9 CREATE [ EXTERNAL ] TABLE [ IF NOT EXISTS ] [schema_name.]table_name
执行端点ID。 lakeFormationConfig LakeFormationConfig 必选 LakeFormation实例ID。 表3 LakeFormationConfig 参数名称 参数类型 是否必选 描述 instanceId String 必选 LakeFormation实例ID。
费用,按秒计费。 在9:00~10:00 之间,执行了三条SQL语句,语句1占用1DCU执行2.4秒、语句2占用1DCU执行3.5秒、语句3占用1DCU执行6.3秒,当前小时的总DCU时=2.4+3.5+6.3=12.2秒,根据实际使用量按秒计费:(0.2015/3600)*12
很多扩展的物理操作符需要首先获取所有的元组才能进行操作(例如聚集函数操作、没有索引辅助的排序等),因此需要使用物化算子将元组缓存起来。 表3 物化算子 算子 含义 场景 VecMaterial 物化 缓存子节点结果。 VecSort 排序 ORDER BY子句,连接操作,分组操作,集合操作,配合Unique。
对于用户不传入signature参数,自动推断的情况,底层实现原理是inspect.signature。目前,接受用户传入以下参数/返回值类型: 表3 接受的参数/返回值类型 Python类型 ibis DataType类型 对应DataArtsFabric SQL类型 DataType DataType
授权用户”选择“其他账号”,输入委托账号(格式为委托方账号ID/委托名称)。其中,委托名称为fabric_admin_trust。例如:s3a7973a07cf4725abf5ba0b6d7*****/fabric_admin_trust。 确认OBS是否配置了服务端加密。 如果
调用Python UDF。 使用DataArtsFabric任意客户端,下发查询即可,例如: select "your_schema".pysum(3,4); 查看Python UDF性能指标及调优。 DataArtsFabric SQL支持了对Python UDF运行时的性能监控,以及提
LakeFormation ReadOnlyAccess 下表列出了DataArtsFabric常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表3 DataArtsFabric常用操作与系统权限的授权关系 操作 DataArtsFabricConsoleFullPolicy DataArtsFabricFullPolicy
IN层计算的表达式。 JOIN外表侧关联条件必须为简单列关联。 JOIN内表侧与外表侧关联条件均为简单列关联时,计划层估算必须可以去除1/3以上的数据(仅针对HDFS内外表)。 JOIN不能包含null值关联。 数据类型: HDFS内外表字段类型支持SMALLINT、INTEGE
op为1或value。 在符合条件的查询语句执行前设置合适的query_dop值,在语句执行结束后关闭query_dop。例如, 1 2 3 4 SET query_dop = 0; SELECT COUNT(*) FROM t1 GROUP BY a; ...... SET query_dop
CN根据原语句生成计划并将计划下发给DN进行执行,各DN执行过程中使用Stream算子进行数据交互。 现有表tt01和tt02定义如下: 1 2 3 4 5 6 CREATE TABLE tt01(c1 int, c2 int) store as orc; CREATE TABLE tt02(c1