MAPREDUCE服务 MRS-HDFS应用开发建议:HDFS的读写文件注意点

时间:2024-05-28 14:22:56

HDFS的读写文件注意点

HDFS不支持随机读和写。

HDFS追加文件内容只能在文件末尾添加,不能随机添加。

只有存储在HDFS文件系统中的数据才支持append,edit.log以及数据元文件不支持Append。Append追加文件时,需要将“hdfs-site.xml”中的“dfs.support.append”参数值设置为true。

  • “dfs.support.append”参数在开源社区版本中默认值是关闭,在FusionInsight版本默认值是开启。
  • 该参数为服务器端参数。建议开启,开启后才能使用Append功能。
  • 不适用HDFS场景可以考虑使用其他方式来存储数据,如HBase。
support.huaweicloud.com/devg-rule-mrs/mrs_07_450022.html