数智融合计算服务 DATAARTSFABRIC-Iceberg简介:基本概念
时间:2025-06-17 08:50:20
基本概念
- Table(表格):Iceberg的最基本的概念是Table,它是一个数据表格的抽象表示。Table包含了表格的元数据信息、数据存储位置、分区策略等信息。
- Partition(分区):Partition是将Table中的数据按照指定的规则划分为多个子集的过程。Partition可以基于数据的某些特征进行划分,例如按照时间、地理位置、产品类型等进行分区。
- Metadata(元数据):Iceberg的元数据是指描述Table中的数据结构、分区策略、数据版本等信息的数据。元数据存储在持久化的存储介质中,例如HDFS、S3等。
- Snapshot(快照):Snapshot是指Table在某个时间点上的数据视图,它包含了Table当前版本的数据和元数据信息。
- Manifest(清单):Manifest是指Table中数据文件的清单列表,它包含了每个数据文件的元数据信息(例如文件路径、大小、分区信息等)。
support.huaweicloud.com/devg-fabric/dataartsfabric_sql_04_0030.html