MAPREDUCE服务 MRS-配置使用分布式缓存:配置场景
配置场景
分布式缓存在两种情况下非常有用。
滚动升级
在升级过程中,应用程序必须保持文字内容(jar文件或配置文件)不变。而这些内容并非基于当前版本的YARN,而是要基于其提交时的版本。这是一个具有挑战性的问题。一般情况下,应用程序(例如MapReduce、Hive、Tez等)需要进行完整的本地安装,将库安装至所有的集群机器(客户端及服务器端机器)中。当集群内开始进行滚动升级或降级时,本地安装的库的版本必然会在应用运行过程时发生改变。在滚动升级过程中,首先只会对少数NodeManager进行升级,这些NodeManager会获得新版本的软件。这导致了行为的不一致,并可能发生运行时错误。
同时存在多个YARN版本
集群管理员可能会在一个集群内运行使用多个版本YARN及Hadoop jars的任务。这在当前很难实现,因为jars已被本地化且只有一个版本。
MapReduce应用框架可以通过分布式缓存进行部署,且无需依赖安装中复制的静态版本。因此,可以在HDFS中存放多版本的Hadoop,并通过配置“mapred-site.xml”文件指定任务默认使用的版本。只需设置适当的配置属性,用户就可以运行不同版本的MapReduce,而无需使用部署在集群中的版本。
- MapReduce服务_如何使用MapReduce服务_MRS集群客户端安装与使用
- 分布式缓存redis_分布式缓存技术_分布式缓存-华为云
- 大数据分析是什么_使用MapReduce_创建MRS服务
- 分布式缓存Redis版本差异_分布式缓存Redis有哪些版本_分布式缓存-华为云
- 分布式缓存数据迁移_分布式缓存_数据迁移-华为云
- 分布式缓存服务Redis版_什么是分布式缓存
- 分布式缓存有什么作用_中间件_本地缓存和分布式缓存差异-华为云
- 分布式云原生配置管理_华为云分布式云原生_华为云UCS配置管理
- 分布式缓存Redis实战_Redis技术实战_分布式缓存-华为云
- 分布式缓存Redis企业版优势_分布式缓存Redis企业版特点