IDEA上创建第一个Hadoop项目

环境准备

为了在IDEA上运行我们的Hadoop项目，除了必要的JAVA环境变量配置外，还需要额外配置Hadoop环境变量。这里主要分为三步。

下载hadoop压缩包

这里以hadoop3.2.1为例。
官网下载hadoop-3.2.1.tar.gz压缩包，解压缩到指定目录。

下载winutils.exe

根据Hadoop版本下载对应winutils.exe程序。
github地址：https://github.com/cdarlint/winutils
镜像仓库地址：https://codechina.csdn.net/mirrors/cdarlint
将下载好的文件复制到解压之后的Hadoop的bin目录下。

配置系统环境变量

## 新建系统变量HADOOP_HOME
变量名（HADOOP_HOME）
变量值（D:\hadoop3.2.1）
## 编辑Path环境变量，新建
%HADOOP_HOME%\bin
## 配置成功之后打开cmd控制台查看是否成功。
C:\Users\henrrywan>hadoop version
Hadoop 3.2.1
Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r b3cbbb467e22ea829b3808f4b7b01d07e0bf3842
Compiled by rohithsharmaks on 2019-09-10T15:56Z
Compiled with protoc 2.5.0
From source with checksum 776eaf9eee9c0ffc370bcbc1888737
This command was run using /D:/hadoop-3.2.1/share/hadoop/common/hadoop-common-3.2.1.jar

创建Maven项目

环境准备好之后，我们创建一个普通Maven项目。引入相关pom依赖即可。

<dependencies>    
        <!--hadoop核心依赖-->
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-hdfs</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-client</artifactId>
            <version>${hadoop.version}</version>
        </dependency>
</dependencies>

打赏