MAPREDUCE服务 MRS-CarbonData简介:CarbonData结构

时间:2024-04-22 14:51:52

CarbonData结构

CarbonData作为Spark内部数据源运行,不需要额外启动集群节点中的其他进程,CarbonData Engine在Spark Executor进程之中运行。

图2 CarbonData结构

存储在CarbonData Table中的数据被分成一些CarbonData数据文件,每一次数据查询时,CarbonData Engine模块负责执行数据集的读取、过滤等实际任务。CarbonData Engine作为Spark Executor进程的一部分运行,负责处理数据文件块的一个子集。

Table数据集数据存储在HDFS中。同一Spark集群内的节点可以作为HDFS的数据节点。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_1402.html