Hadoop是Apache基金会面向全球开源的产品之一,任何用户都可以从ApacheHadoop官网下载使用。今天,播妞将以编写时较为稳定的Hadoop2。7。4版本为例,详细讲解Hadoop的安装。 先将下载的hadoop2。7。4。tar。gz安装包上传到主节点hadoop01的exportsoftware目录下,然后将文件解压到exportservers目录,具体指令如下。tarzxvfhadoop2。7。4。tar。gzCexportservers 执行完上述指令后,同样通过vietcprofile指令打开profile文件,在文件底部进一步添加如下内容类配置Hadoop环境变量。配置Hadoop系统环境变量exportHADOOPHOMEexportservershadoop2。7。4exportPATHPATH:HADOOPHOMEbin:HADOOPHOMEsbin 在etcprofile文件中配置完上述Hadoop环境变量后(注意HADOOPHOME路径),保存退出即可。然后,还需要执行sourceetcprofile指令使可使配置文件生效。 安装完Hadoop并配置好环境变量后,可以在当前主机任意目录下查看安装的Hadoop版本号,具体指令如下。hadoopversion 执行完上述指令后,效果如图1所示。 图1Hadoop版本号 从图1可以看出,当前Haddoop版本就是指定的2。7。4,说明Hadoop安装成功。 接下来,可以在Hadoop解压目录下通过ll指令查看Hadoop目录结构,如图2所示。 图2Hadoop安装目录结构 从图2可以看出,Hadoop安装目录包括有bin、etc、include、lib、libexec、sbin、share和src共8个目录以及其他一些文件,下面简单介绍下各目录内容及作用。 bin:存放操作Hadoop相关服务(HDFS、Yarn)的脚本,但是通常使用sbin目录下的脚本。 etc:存放Hadoop配置文件,主要包含coresite。xml、hdfssite。xml、mapredsite。xml等从Hadoop1。0继承而来的配置文件和yarnsite。xml等Hadoop2。0新增的配置文件。 include:对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C定义的,通常用于C程序访问HDFS或者编写MapReduce程序。 lib:该目录包含了Hadoop对外提供的编程动态库和静态库,与include目录中的头文件结合使用。 libexec:各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。 sbin:该目录存放Hadoop管理脚本,主要包含HDFS和YARN中各类服务的启动关闭脚本。 share:Hadoop各个模块编译后的jar包所在的目录。 src:Hadoop的源码包。