MapReduce优化方法

1、数据输入1.合并文件2.采用combineTextInputFormat

2、Map阶段1.减少溢出2.减少合并次数

3、Reduce阶段1.合理设置map和reduce数2.设置map和reduce共存3.规避使用reduce4.合理设置reduce端的buffer

4、I/O传输

5、数据倾斜问题1.数据倾斜现象2.减少数据倾斜方法

6、常用的调优参数1．资源相关参数