MapReduce服务 MRS-如何修改HDFS主备倒换类?

时间:2023-11-01 16:20:39

如何修改HDFS主备倒换类?

当MRS 3.x版本集群使用HDFS连接NameNode报类org.apache.hadoop.hdfs.server.namenode.ha.AdaptiveFailoverProxyProvider无法找到时,是由于MRS 3.x版本集群HDFS的主备倒换类默认为该类,可通过如下方式解决。

  • 方式一:添加hadoop-plugins-xxx.jar到程序的classpath或者lib目录中。

    hadoop-plugins-xxx.jar包一般在HDFS客户端目录下:$HADOOP_HOME/share/hadoop/common/lib/hadoop-plugins-8.0.2-302023.jar

  • 方式二:将HDFS的如下配置项修改为开源类:

    dfs.client.failover.proxy.provider.hacluster=org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

support.huaweicloud.com/mrs_faq/mrs_03_1196.html