华为云首页用户手册

MAPREDUCE服务 MRS-Hive SQL开发规范:percentil_approx函数使用建议

MAPREDUCE服务 MRS-Hive SQL开发规范:percentil_approx函数使用建议

时间：2025-02-28 23:46:45

MAPREDUCE服务 MRS Hive应用开发规范

percentil_approx函数使用建议

Hive SQL命令中，使用percentile_approx udf函数输出字段，Map阶段进行了部分聚合以及过滤条件下推，Reduce阶段则是将Map聚合的结果合并，如果percentil_approx处理的字段过多，可能会导致Reduce阶段失败。因此，建议如下：

可通过以下命令设置超时时间：
set mapreduce.task.timeout=7200000;
关闭Map端聚合，所有逻辑放到Reduce进行。Map端聚合只减少了shuffle过程数据量，但Map不聚合，Reduce不用执行耗时的合并逻辑。
set hive.map.aggr=false;
找出percentil_approx处理字段中倾斜的字段值，单独处理，整改SQL。

上一篇：MAPREDUCE服务 MRS-Hive SQL开发规范:导入或插入Hive表数据建议

下一篇：MAPREDUCE服务 MRS-Hive SQL开发规范:导入或插入Hive表数据建议

新客秒杀 L实例 2核1G 2M

29元/年

企业专享 X实例 2核4G 5M

198元/年

域名建站 com域名 1元

立即前往

免费体验 90+云产品免费体验

立即前往

MAPREDUCE服务 MRS-Hive SQL开发规范:percentil_approx函数使用建议

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题