Hadoop MapReduce 性能优化

## 影响 MapReduce 的主要因素
- 硬件因素 :CPU 磁盘 I/O, 网络带宽, 内存
- 底层存储系统
- 输入数据,shuffle 数据 以及输出数据的大小
- 作业算法: map, reduce, partition, combine, compress

## 潜在影响因素
- I/O 模式: 直接I/O(本地) 流式I/O(TCP,JDBC)
- 输入数据解析
- 输入数据存储

## 性能调优
- COU利用率
- 内存占用
- 磁盘 I/O
- 网络流量
已邀请:

编程小梦 - 大数据

赞同来自: fish

markdown 编辑器挺不错的

admin - 子非鱼安知鱼之乐@ChinaHadoop

那就接着发文章
CPU占用率。。打错了吧

要回复问题请先登录注册