Hadoop MapReduce 性能优化

## 影响 MapReduce 的主要因素 - 硬件因素 :CPU 磁盘 I/O, 网络带宽, 内存 - 底层存储系统 - 输入数据,shuffle 数据 以及输出数据的大小 - 作业算法: map, reduce, partition, combine, compress ## 潜在影响因素 - I/O 模式: 直接I/O(本地) 流式I/O(TCP,JDBC) - 输入数据解析 - 输入数据存储 ## 性能调优 - COU利用率 - 内存占用 - 磁盘 I/O - 网络流量

编程小梦 - 大数据

赞同来自: fish

markdown 编辑器挺不错的

admin - 子非鱼安知鱼之乐@ChinaHadoop

赞同来自:

那就接着发文章

李志博

赞同来自:

CPU占用率。。打错了吧

要回复问题请先登录注册