实战大数据(Hadoop+Spark+Flink):从平台构建到交互式数据分析(离线/实时)
上QQ阅读APP看书,第一时间看更新

2.1 搭建IDEA开发环境

每一个IT开发人员都需要一个合适的开发工具,IDEA开发工具是大数据开发人员的首选。由于大家习惯在Windows上开发代码,所以这里也选择在Windows操作系统上安装IDEA,接下来一起安装部署IDEA并构建Maven项目。

2.1.1 JDK的安装与配置

由于Java代码的开发需要Java相关开发工具及Java运行环境,所以首先需要安装JDK并配置JDK环境变量。

1.JDK的安装

如果JDK已经安装成功,这里可以直接跳过JDK的安装过程。

注意:搭建运行环境时使用的是64位Windows系统,所以需要对应下载安装64位的JDK。如果使用的是32位Windows系统,那么就需要下载安装32位的JDK。

JDK的下载(本书配套资料/第2章/2.1/安装包)、安装这里就不再赘述,下面介绍如何配置JDK环境变量。

2.配置JDK环境变量

1)在环境变量中配置JAVA_HOME(即JDK安装目录)和Path路径(即JDK安装目录下的bin目录),具体步骤如下。

在“计算机”图标上单击鼠标右键(以下简称右击),选择“属性”选项,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮,如图2-1所示。

在“环境变量”对话框中选择JAVA_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框中的“变量名”框中,输入JAVA_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己JDK的安装路径保持一致,如图2-2所示。

图2-1 系统属性

图2-2 用户变量

修改Path系统变量,在变量值中添加JDK安装目录的bin路径,如图2-3所示。

图2-3 系统变量

2)验证JDK是否安装成功。

执行完上述操作后,使用java-version命令查看Java版本,如果出现如图2-4所示的结果说明JDK配置成功。如果无法查看到Java版本,则要再次检查一下Java环境变量的配置,一定要保证Java环境变量配置正确。

图2-4 查看Java版本

2.1.2 Maven的安装与配置

Maven是专门用于构建和管理Java相关项目的工具。

使用Maven管理项目主要有两点好处:第一点好处,使用Maven管理的Java项目都有着相同的项目结构;第二点好处,使用Maven便于统一维护jar包,Maven风格的项目把所有的jar包都放在了本地“仓库”,当项目需要用到哪个jar包,只需要配置jar包的名称和版本号,这样就实现了jar包的共享,避免每个项目都维护自己的jar包带来的麻烦。为了便于项目管理,在Windows系统中需要先安装Maven工具。

1.Maven下载

首先需要到Maven官网(地址为https://archive.apache.org/dist/maven/maven-3/)下载对应版本的安装文件apache-maven-3.3.3-bin.zip,如图2-5所示。也可通过本书配套资源包直接下载获取(本书配套资料/第2章/2.1/安装包)

图2-5 Maven安装包

2.Maven安装

Maven的安装非常简单,将下载好的Maven安装包直接解压即可,解压后的Maven目录结构如图2-6所示。

图2-6 Maven目录结构

3.配置Maven环境变量

1)在环境变量中配置MAVEN_HOME(即Maven安装目录)和Path路径(即Maven安装目录下的bin路径),具体步骤如下。

在“计算机”图标上右击,选择“属性”,在弹出的对话框中单击“高级”选项卡→“环境变量”按钮;在“环境变量”对话框中选择MAVEN_HOME用户变量(如果没有此用户变量,就单击“新建”按钮,在弹出的“新建用户变量”对话框的“变量名”框中,输入MAVEN_HOME创建该用户变量),然后单击“编辑”按钮,在弹出的“编辑用户变量”对话框中,修改“变量值”和自己Maven的安装路径保持一致,如图2-7所示。

修改Path系统变量,在变量值中添加Maven安装目录的bin路径,如图2-8所示。

图2-7 添加Maven用户变量

图2-8 添加系统变量

2)验证Maven是否安装成功

执行完上述操作后,使用mvn-v命令查看Maven版本,如果出现如图2-9所示的结果,说明Maven配置成功。

图2-9 查看Maven版本

2.1.3 IDEA的安装与配置

IDEA全称IntelliJ IDEA,是进行Java编程语言开发的集成环境,在业界被公认为最好的Java开发工具。IDEA官网提供了Windows、macOS、Linux不同系统的安装方式。普通的JVM和Android开发可以选择Community版本,Web和企业级开发可以选择Ultimate版本。由于大家习惯选择在Windows上开发代码且需要对数据进行可视化,所以下面选择在Windows操作系统上安装Ultimate版本的IDEA。

1.IDEA下载

首先需要到IDEA官网(地址为http://www.jetbrains.com/)下载对应版本的安装文件,如图2-10所示。也可通过本书配套资源包下载(第2章/2.1/安装包)

2.IDEA安装

IDEA安装文件下载到本地之后,双击运行IDEA可执行文件即可进入IDEA安装界面,如图2-11所示,然后可以单击Next按钮进入下一步。

图2-10 IDEA安装文件

图2-11 IDEA安装界面

选择IDEA安装路径,如图2-12所示,该路径可以选择自己期望的安装位置,接着单击Next按钮进入下一步。

选择IDEA安装选项,如图2-13所示,IDEA安装的相关选项是可选选项,单击Next按钮进入下一步。

图2-12 IDEA安装路径

图2-13 IDEA安装选项

选择开始菜单文件夹,如图2-14所示,IDEA快捷键默认在JetBrains文件目录下,然后单击Install按钮开始安装IDEA。

IDEA进入安装状态,如图2-15所示,IDEA安装过程大概需要几分钟的时间。

图2-14 选择IDEA开始菜单文件夹

图2-15 IDEA安装状态

IDEA最终安装成功界面如图2-16所示,单击Finish按钮即可完成整个IDEA工具的安装。

图2-16 IDEA安装成功界面

3.为IDEA配置SDK

前面已经独立安装好JDK,接下来配置IDEA三种不同范围的SDK。首先打开IDEA欢迎界面,如图2-17所示。

单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Structure for New Projects选项,弹出项目结构界面,如图2-18所示。

图2-17 IDEA欢迎界面

图2-18 项目结构

(1)配置全局SDK

选择项目结构左侧的SDKs选项,按照图2-19标识的先后顺序配置全局SDK。

图2-19 全局SDK配置

(2)配置项目SDK

选择项目结构左侧的Project选项,按照图2-20标识的先后顺序配置项目SDK。

图2-20 项目SDK配置

(3)配置项目模块SDK

项目具体模块在当前界面中是看不到的,需要通过IDEA创建新项目之后,选择File→Project Structure→Modules才能配置,具体配置步骤如图2-21所示。

图2-21 配置项目模块SDK

4.配置Maven

接下来为IDEA配置独立安装的Maven,单击IDEA欢迎界面右下角的Configure,在下拉菜单中选择Settings选项,弹出配置界面,如图2-22所示。

图2-22 Settings配置界面

选择Settings配置界面左侧的Maven选项,按照图2-23标识的先后顺序配置Maven安装路径。

2.1.4 使用IDEA构建Maven项目

前面的工作一切就绪,接下来使用IDEA开发工具构建Maven项目。

图2-23 配置Maven安装路径

1)打开IDEA欢迎界面,选择Create New Project选项创建新项目,如图2-24所示。

2)在弹出的界面中左侧选择Maven,右侧选择Project SDK,下面勾选Create from archetype,并选择maven-archetype-quickstart骨架创建Maven项目,具体操作如图2-25所示。

图2-24 创建新项目

图2-25 选择Maven骨架

3)单击Next按钮进入下一步,在弹出的界面中填写项目的GroupId和ArtifactId,具体操作如图2-26所示。GroupId是项目组织唯一的标识符,实际对应Java包的结构。ArtifactId是项目唯一的标识符,实际对应项目的名称。

4)单击Next按钮进入下一步,配置Maven安装目录,选择独立安装好的Maven路径即可,具体操作如图2-27所示。

图2-26 配置GroupId和ArtifactId

图2-27 配置Maven路径

5)单击Next按钮进入下一步,修改项目名称和路径,具体操作如图2-28所示。

6)单击Finish按钮即可完成项目的创建。打开项目之后,可以看到项目界面如图2-29所示。

图2-28 修改项目名称和路径

图2-29 Maven项目界面

7)在创建好的learninghadoop项目中,选中自带的Java类App,右击程序,在弹出的快捷菜单中选择run运行App程序,输出“Hello World!”如图2-30所示,说明Maven项目创建成功。

图2-30 App程序运行结果