1. 概述
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。本文将详细介绍在Linux系统下安装配置Hadoop的过程。
2. 准备工作
2.1 系统要求
在开始安装Hadoop之前，需要确保系统满足以下要求：
操作系统：推荐使用Linux系统，如Ubuntu、CentOS等。
内存：至少8GB的可用内存。
存储空间：至少10GB的可用存储空间。
2.2 Java环境
Hadoop是用Java编写的，所以需要先安装Java环境。
使用以下命令安装OpenJDK 8：
sudo apt-get update
sudo apt-get install openjdk-8-jdk
安装完成后，可以通过以下命令验证Java是否成功安装：
java -version
3. 下载和解压Hadoop
3.1 下载Hadoop
在Hadoop官方网站上下载最新版本的Hadoop。可以使用以下命令下载：
wget https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-X.X.X/hadoop-X.X.X.tar.gz
其中，X.X.X是Hadoop的版本号。
3.2 解压Hadoop
使用以下命令解压下载的Hadoop压缩包：
tar -xzvf hadoop-X.X.X.tar.gz
解压后，将得到一个名为hadoop-X.X.X的文件夹。
4. 配置Hadoop
4.1 环境变量配置
打开终端，编辑.bashrc文件：
vi ~/.bashrc
在文件的末尾添加以下内容：
# Set Hadoop-related environment variables
export HADOOP_HOME=/path/to/hadoop-X.X.X
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
将/path/to/hadoop-X.X.X替换为你解压Hadoop的路径。
保存文件后，执行以下命令使配置生效：
source ~/.bashrc
4.2 配置Hadoop文件
进入Hadoop的安装目录：
cd /path/to/hadoop-X.X.X
创建一个名为etc/hadoop的文件夹：
mkdir etc/hadoop
进入etc/hadoop目录：
cd etc/hadoop
使用文本编辑器打开hadoop-env.sh文件：
vi hadoop-env.sh
找到以下行：
#export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
将其修改为：
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
保存文件并关闭。
4.3 配置核心文件
使用文本编辑器打开core-site.xml文件：
vi core-site.xml
在<configuration>和</configuration>之间，添加以下内容：
fs.defaultFS
hdfs://localhost:9000
保存文件并关闭。
4.4 配置HDFS文件
使用文本编辑器打开hdfs-site.xml文件：
vi hdfs-site.xml
在<configuration>和</configuration>之间，添加以下内容：
dfs.replication
1
保存文件并关闭。
4.5 配置YARN文件
使用文本编辑器打开yarn-site.xml文件：
vi yarn-site.xml
在<configuration>和</configuration>之间，添加以下内容：
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.class
org.apache.hadoop.mapred.ShuffleHandler
保存文件并关闭。
4.6 配置MapReduce文件
使用文本编辑器打开mapred-site.xml文件：
vi mapred-site.xml
在<configuration>和</configuration>之间，添加以下内容：
mapreduce.framework.name
yarn
保存文件并关闭。
5. 启动Hadoop
使用以下命令格式化Hadoop文件系统：
hadoop namenode -format
启动Hadoop集群：
start-dfs.sh
start-yarn.sh
使用以下命令检查Hadoop集群的状态：
jps
如果能看到"NameNode"、"DataNode"、"SecondaryNameNode"和"ResourceManager"等进程，则表示Hadoop成功启动。
6. 测试Hadoop
运行以下命令创建一个输入文件：
hadoop fs -mkdir /input
hadoop fs -put etc/hadoop/* /input
运行以下命令运行示例程序：
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-X.X.X.jar grep /input /output 'dfs[a-z.]+'
命令执行完成后，可以使用以下命令查看输出结果：
hadoop fs -cat /output/*
如果能看到以"dfs"开头的单词，则表示Hadoop测试成功。
7. 结束语
通过本文的步骤，你已经成功在Linux系统下安装配置了Hadoop。现在你可以开始使用Hadoop来处理大规模数据集了。