云服务器内容精选
-
参数说明 表1 MemArtsCC参数说明 参数 参数说明 默认值 access_token_enable Access token认证的开关。 开启后，SDK通过worker读取缓存需要经过token校验。SDK首次向worker发送读请求时，worker会做一次Kerberos认证，生成一个密钥，保存在本地和ZooKeeper，然后用这个密钥生成一个token，返回给SDK，SDK向worker发送读请求时，会将该token传入，和密钥进行校验，校验通过才允许读取缓存。 安全集群为true，普通集群为false cache_cap_max_available_rate 每块盘的最大可用容量比率。 设置范围为0.01~1.0，间隔为0.01。本参数决定使用MemArtsCC磁盘最大容量百分比，默认值是30%，比如3TB的磁盘，MemArtsCC最大可使用的缓存空间为900GB，缓存超过900GB，MemArtsCC动态淘汰缓存。 0.3 cache_reserved_space 每块盘需要动态预留的空间。 cache_reserved_space决定磁盘预留空间，默认值为512MB，建议设置为磁盘容量的10%以上。比如3TB的磁盘，cache_reserved_space设置为300GB，cache_cap_max_available_rate设置为30%，如果磁盘空间小于300GB，尽管MemArtsCC的缓存没有达到最大可使用容量900GB，MemArtsCC也会动态淘汰缓存。 512MB auto_isolate_broken_disk 自动隔离故障磁盘开关。 true broken_disk_list 故障磁盘列表。 -
-
MemArtsCC结构 MemArtsCC由C CS ideCar和CCWorker两个角色组成。 在存算架构下，Spark、Hive等计算分析应用的数据存储在 对象存储服务 (OBS)中。在MemArtsCC集群上一个服务实例称为Worker，对于OBS上的对象数据，Worker缓存其中部分或全部分片到本地的持久化存储（SSD/HDD）中。上层应用通过MemArtsCC SDK读取某个对象时，基于分片索引到特定的Worker上读取分片数据，如果命中缓存则Worker返回对应分片，如果未命中则直接从OBS中读取数据，同时Worker端会异步的加载未命中的分片到本地存储中，供后续使用。 图1 MemArtsCC结构 表1 MemArtsCC结构图说明 名称 说明 MemArtsCC SDK 提供OBSA（OBSA，Hadoop客户端插件） FS客户端使用的可访问OBS服务器对象的SDK。 CCSideCar MemArtsCC的管理面服务，提供MemArtsCC服务监控采集、配置下发、服务启停等能力。 CCWorker MemArtsCC的数据面服务，支持MemArtsCC的缓存数据读写、存储、淘汰等能力。
-
MemArtsCC与OBS的关系 OBS提供一种新的InputStream：OBSMemArtsCCInputStream，该InputStream从部署在计算侧上的MemArtsCC集群读取数据，从而减少OBS服务端压力，提升数据读取性能的目标。 MemArtsCC会将数据持久化存储到计算侧的存储中（SSD），OBS对接MemArtsCC有如下使用场景： 提升存算分离架构访问数据的性能 利用MemArtsCC的本地存储，访问热点数据不必跨网络，可以提升OBS上层应用数据读取效率。 减少OBS服务端压力 MemArtsCC会将热点数据存储在计算侧集群，可以起到降低OBS服务端带宽的作用。
