MAPREDUCE服务 MRS-Hudi:Hudi支持三种视图,针对不同场景提供相应的读能力

时间:2024-04-01 09:39:26

Hudi支持三种视图,针对不同场景提供相应的读能力

  • Snapshot View

    实时视图:该视图提供当前hudi表最新的快照数据,即一旦有最新的数据写入hudi表,通过该视图就可以查出刚写入的新数据。

    cow表和mor均支持这种视图能力。

  • Incremental View

    增量视图:该视图提供增量查询的能力,可以查询指定COMMIT之后的增量数据,可用于快速拉取增量数据。

    cow表支持该种视图能力, mor表也可以支持该视图,但是一旦mor表完成compact操作其增量视图能力消失。

  • Read Optimized View

    读优化视图:该视图只会提供最新版本的parquet文件中存储的数据。

    该视图在cow表和mor表上表现不同:

    对于cow表,该视图能力和实时视图能力是一样的(cow表只用parquet文件存数据)。

    对于mor表,仅访问基本文件,提供给定文件片自上次执行compact操作以来的数据, 可简单理解为该视图只会提供mor表parquet文件存储的数据,log文件里面的数据将被忽略。 该视图数据并不一定是最新的,但是mor表一旦完成compact操作,增量log数据被合入到了base数据里面,这个时候该视图和实时视图能力一样。

support.huaweicloud.com/productdesc-mrs/mrs_08_0083.html