-
使用Temporal join关联维表的最新版本 - 数据湖探索 DLI
在缓存过期后,将重新扫描Hive表以加载最新的数据。 参数 默认值 类型 说明 lookup.join.cache.ttl 60 min Duration 查找联接中构建表的缓存 TTL(例如 10 分钟)。默认情况下,TTL 为 60 分钟。
-
约束与限制 - 数据湖探索 DLI
运行作业时按照用户每个作业的数据扫描量(单位为“GB”)收取计算费用。 队列类型: SQL类型队列:SQL队列支持提交Spark SQL作业。 通用队列:支持Spark程序、Flink SQL、Flink Jar作业。
-
数据湖探索简介 - 数据湖探索 DLI
DLI服务架构:Serverless DLI是无服务器化的大数据查询分析服务,其优势在于: 按量计费:真正的按使用量(扫描量/CU时)计费,不运行作业时0费用。 自动扩缩容:根据业务负载,对计算资源进行预估和自动扩缩容。
-
Hive源表 - 数据湖探索 DLI
监视策略是扫描当前位置路径中的所有目录/文件。许多分区可能会导致性能下降。 对未分区表进行流式读取时,要求将每个文件以原子方式写入目标目录。 分区表的流式读取要求在 hive 元存储的视图中以原子方式添加每个分区。否则,将使用添加到现有分区的新数据。
-
Redis维表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”数据类型的默认score。
-
Redis源表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”时的默认score。
-
Redis源表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”时的默认score。
-
Redis维表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”数据类型的默认score。
-
Redis源表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”时的默认score。
-
Redis维表 - 数据湖探索 DLI
scan-keys-count 否 1000 Integer 每次扫描时读取的数量。 default-score 否 0 Double 当data-type设置为“sorted-set”数据类型的默认score。