MapReduce服务 MRS-配置HDFS单目录文件数量:操作步骤

时间:2023-11-01 16:25:25

操作步骤

  1. 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
  2. 搜索配置项“dfs.namenode.fs-limits.max-directory-items”

    表1 参数说明

    参数名称

    描述

    默认值

    dfs.namenode.fs-limits.max-directory-items

    定义目录中包含的最大条目数。

    取值范围:1~6400000

    1048576

  3. 设置单个HDFS目录下最大可容纳的文件数目。保存修改的配置。保存完成后请重新启动配置过期的服务或实例以使配置生效。

    用户尽量将数据做好存储规划,可以按时间、业务类型等分类,不要单个目录下直属的文件过多,建议使用默认值,单个目录下约100万条。

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0805.html