MAPREDUCE服务 MRS-配置共部署Hive数据源:性能优化

时间:2024-04-10 09:06:19

性能优化

  • 元数据缓存

    Hive连接器支持元数据缓存,以便更快地提供对各种操作的元数据请求。可参考调整元数据缓存

  • CBO(Cost based Optimizer)优化

    定期通过Analyze命令收集表统计信息有助于Hive连接器CBO优化。

  • 动态过滤

    开启动态过滤有助于Hive连接器的Join算子的计算优化。可参考调整动态过滤

  • 带分区条件查询

    建立分区表并且查询带分区过滤条件有助于过滤部分分区数据,从而提高性能。

  • Insert优化

    通过设置“task.writer-count”的值为“1”和增大“hive.max-partitions-per-writers”的值有助于提升Insert性能。可参考调整INSERT写入优化

support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24253.html