MAPREDUCE服务 MRS-Hive Join数据优化:注意事项
时间：2025-06-10 14:43:26
下载MAPREDUCE服务 MRS用户手册完整版
复制链接到剪贴板
分享文章到微博
分享文章到朋友圈
注意事项
Join数据倾斜问题。执行任务的时候，任务进度长时间维持在99%，这种现象叫数据倾斜。
数据倾斜是经常存在的，因为有少量的Reduce任务分配到的数据量和其他Reduce差异过大，导致大部分Reduce都已完成任务，但少量Reduce任务还没完成的情况。
解决数据倾斜的问题，可通过设置“set hive.optimize.skewjoin=true”并调整“hive.skewjoin.key”的大小。“hive.skewjoin.key”是指Reduce端接收到多少个key即认为数据是倾斜的，并自动分发到多个Reduce。
support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_0979.html
