MapReduce服务 MRS-使用HDFS Colocation存储Hive表:操作场景

时间:2023-11-01 16:25:29

操作场景

HDFS Colocation(同分布)是HDFS提供的数据分布控制功能,利用HDFS Colocation接口,可以将存在关联关系或者可能进行关联操作的数据存放在相同的存储节点上。Hive支持HDFS的Colocation功能,即在创建Hive表时,设置表文件分布的locator信息,当使用insert语句向该表中插入数据时会将该表的数据文件存放在相同的存储节点上(不支持其他数据导入方式),从而使后续的多表关联的数据计算更加方便和高效。表格式只支持TextFile和RCFile。

本章节适用于MRS 3.x及后续版本。

support.huaweicloud.com/cmpntguide-mrs/mrs_01_0953.html