MAPREDUCE服务 MRS-CarbonData基本原理:CarbonData结构
CarbonData结构
CarbonData作为Spark内部数据源运行,不需要额外启动集群节点中的其他进程,CarbonData Engine在Spark Executor进程之中运行。
存储在CarbonData Table中的数据被分成若干个CarbonData数据文件,每一次数据查询时,CarbonData Engine模块负责执行数据集的读取、过滤等实际任务。CarbonData Engine作为Spark Executor进程的一部分运行,负责处理数据文件块的一个子集。
Table数据集数据存储在HDFS中。同一Spark集群内的节点可以作为HDFS的数据节点。
- 什么是Spark_如何使用Spark_Spark的功能是什么
- MRS优势_什么是MRS_MRS功能
- MapReduce服务_什么是Kafka_如何使用Kafka
- MapReduce服务_什么是Hive_如何使用Hive
- GaussDB查询表结构_通配符字段查询表_高斯数据库查询表结构-华为云
- MapReduce服务_什么是MapReduce服务_什么是HBase
- 日志分析_日志结构化_日志格式化
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- MapReduce服务_什么是ZooKeeper_如何使用ZooKeeper
- MapReduce工作原理_MapReduce是什么意思_MapReduce流程_MRS_华为云