MAPREDUCE服务 MRS-MemArtsCC基本原理:MemArtsCC结构

时间：2025-05-19 17:35:58

MAPREDUCE服务 MRS MemArtsCC

MemArtsCC结构

MemArtsCC由C CS ideCar和CCWorker两个角色组成。

在存算架构下，Spark、Hive等计算分析应用的数据存储在对象存储服务 (OBS)中。在MemArtsCC集群上一个服务实例称为Worker，对于OBS上的对象数据，Worker缓存其中部分或全部分片到本地的持久化存储（SSD/HDD）中。上层应用通过MemArtsCC SDK读取某个对象时，基于分片索引到特定的Worker上读取分片数据，如果命中缓存则Worker返回对应分片，如果未命中则直接从OBS中读取数据，同时Worker端会异步的加载未命中的分片到本地存储中，供后续使用。

图1 MemArtsCC结构

表1 MemArtsCC结构图说明
名称	说明
MemArtsCC SDK	提供OBSA（OBSA，Hadoop客户端插件） FS客户端使用的可访问OBS服务器对象的SDK。
CCSideCar	MemArtsCC的管理面服务，提供MemArtsCC服务监控采集、配置下发、服务启停等能力。
CCWorker	MemArtsCC的数据面服务，支持MemArtsCC的缓存数据读写、存储、淘汰等能力。