MapReduce服务 MRS-Java API:基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件

时间:2023-11-01 16:19:48

基于API的Glob路径模式以获取LocatedFileStatus和从FileStatus打开文件

在DistributedFileSystem中添加了以下API,以获取具有块位置的FileStatus,并从FileStatus对象打开文件。这些API将减少从客户端到Namenode的RPC调用的数量。

表6 FileSystem API接口说明

Interface接口

Description说明

public LocatedFileStatus[] globLocatedStatus(Path, PathFilter, boolean) throws IOException

返回一个LocatedFileStatus对象数组,其对应文件路径符合路径过滤规则。

public FSDataInputStream open(FileStatus stat) throws IOException

如果stat对象是LocatedFileStatusHdfs的实例,该实例已具有位置信息,则直接创建InputStream而不联系Namenode。

support.huaweicloud.com/devg3-mrs/mrs_07_300033.html