【知识链接】

Spark部署模式

Spark的部署模式主要分为单机模式、独立集群模式、Spark on Mesos模式和Spark on YARN模式。

● 单机模式：在本地部署单个Spark服务，仅使用单服务器节点的服务。这种情况在企业应用中使用得相对较少。这是因为在处理海量数据时，需要借助服务器集群。单机模式一般用于测试。

● 独立集群模式：Spark框架自带完整的资源调度管理服务，可以独立部署到一个集群中，而不需要依赖其他系统为其提供资源管理调度服务。在架构的设计上，Spark是由一个Master和若干Slave构成的，并且以槽（Slot）作为资源分配单位。Spark设计了统一的槽以供各种任务使用。

● Spark on Mesos模式：Mesos是一种资源调度管理框架，可以为运行在它上面的Spark提供服务。在Spark on Mesos模式中，Spark程序所需要的各种资源都由Mesos负责调度。

● Spark on YARN模式：Spark可运行于YARN上，与Hadoop进行统一部署。资源管理和调度依赖YARN，而分布式存储则依赖HDFS。

接下来将主要介绍Spark的独立集群模式的安装过程。