解决IDEA上运行Spark任务报错问题

错误信息

在使用IDEA运行Spark任务时，会报Hadoop的错误信息（不会影响程序正常运行）。

java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

根据错误信息我们需要在本地配置Hadoop相关的环境并提供winutils.exe文件。

下载Hadoop压缩包

Hadoop官网下载地址：https://archive.apache.org/dist/hadoop/common/
这里以hadoop-2.9.2-src.tar.gz为例。下载到本地之后使用解压工具解压，存放到指定目录。

下载winutils.exe

根据Hadoop版本下载对应winutils.exe程序。
github地址：https://github.com/cdarlint/winutils
镜像仓库地址：https://codechina.csdn.net/mirrors/cdarlint
将下载好的文件复制到Hadoop的bin目录下。

配置环境变量

这里主要是配置HADOOP_HOME。编辑系统变量。

变量名（N）:HADOOP_HOME
变量值（V）:D:\hadoop-2.9.2

同时将hadoop下面的bin目录添加到Path中。
win10系统直接添加%HADOOP_HOME%\bin即可。

查看hadoop版本

配置完成之后打开cmd控制台，查看相关hadoop版本。

C:\Users\henrr>hadoop version
Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /D:/hadoop-2.9.2/share/hadoop/common/hadoop-common-2.9.2.jar

注意事项

配置完成之后需要重启电脑确保配置生效。

打赏