Windows 安装以及运行Hadoop

引言

劝退:如果电脑性能还算可以,最好考虑安装个虚拟机吧。
调侃:有些时候高版本并不向下兼容

下载

https://hadoop.apache.org/release/3.1.4.html 🔗 此处3.1.4 为版本号
https://gitcode.net/mirrors/cdarlint/winutils 🔗winutils

解压&配置

比如说我解压到这里了:
D:\Software\apache-hadoop

把下载好的winutils{相应版本号}\bin\放到bin里,比如说我的Hadoop是3.1.4,而winutils里没有,找个稍微高一点的版本替代。

修改一下配置
进入目录 etc\hadoop

注意修改core-site.xml 和 hdfs-site.xml 中的数据目录地址

core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/E:/ExperimentalBase/hadoop/data/hdfs</value>
    </property>
</configuration>

core-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/E:/ExperimentalBase/hadoop/data/namenode</value>
    </property>
    <property>
        <name>dfs.namenode.data.dir</name>
        <value>/E:/ExperimentalBase/hadoop/data/datanode</value>
    </property>

</configuration>

yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

</configuration>

配置环境变量

将 hadoop 的 bin和sbin放入到Path变量中即可,或是说建立中间变量%HADOOP_HOME%

格式化磁盘

hadoop namenode -format

运行

sbin/start-all.cmd

会打开4个黑窗口,如果都没有报错就是启动成功。

☢RUNTIME_ERROR

  1. 如果报错DataNode: Initialization failed for Block pool或是什么文件权限current rw---(# nm-local-dir, which was marked as good.)尝试使用管理员权限run。
  2. 如果格式化这步骤报错,很大概率是配置没配置好,或是winutils这块儿没配置好。

评论 0

还没有评论,来说点什么吧。

提交后需要审核才会公开。