第3章 基于Hadoop构建大数据平台

学习目标

● 掌握Zookeeper分布式集群的构建。

● 理解HDFS分布式文件系统的架构与设计。

● 理解YARN资源管理系统的架构与设计。

● 掌握Hadoop分布式集群的构建。

● 理解MapReduce编程模型。

大数据项目最终需要运行在大数据平台之上，而构建Hadoop集群是构建整个大数据平台的核心。Hadoop集群包含HDFS集群和YARN集群，想要构建高可用的Hadoop集群又依赖Zookeeper集群提供协调服务，所以需要在hadoop01、hadoop02和hadoop03节点上依次构建Zookeeper、HDFS和YARN集群。接下来，首先认识和了解Zookeeper，并安装部署Zookeeper集群，然后再分别安装部署HDFS集群和YARN集群，最终完成Hadoop分布式集群的构建。