第5章 大数据并行计算框架

在第1章中曾提过，做好大数据，有三种方法：Work Hard、Work Smart、Getting Help，这里主要集中在Getting Help上。一味地提升处理能力，在经济上会变得很不合算，这时候，从算法和计算模式上入手是一个自然的选择。

并行技术是大数据计算框架实现的重要选择。这一章以并行计算技术为线索，针对大数据并行计算框架的基本概念、技术内容的细节进行介绍。大数据并行计算框架设计遵循并行计算技术原则，其主要采用MapReduce计算技术，在工程实践上，Hadoop作为一辆马车，MapReduce作为另一辆。我们着重谈Hadoop MapReduce的架构设计、工作模式，并且以其主要组件和编程接口举例进行说明。