從頭學習大數據培訓課程 hadoop，mapreducer 分散式計算框架（二） Windows 偽分散式環境部署

1. mapreducer shuffle過程回顧

2. 需要的軟體

https://github.com/steveloughran/winutils

以下內容回帖刷新可見………………

編譯之後的hadoop2.7.3的tar包

3. 把hadoop和winutils解壓

4. 複製解壓之後的winutils文件

複製到解壓之後的hadoop文件夾的bin目錄裡面，不要覆蓋已存在的文件

5. 在WINDOWS上配置環境變數

(1).HADOOP_HOME

(2).把hadoop的bin和sbin配置到path環境變數里

6. 設置hadoop配置文件

core-site.xml

hdfs-site.xml

maprd-site.xml

yarn-site.xml

hadoop-env.cmd

把修改好的配置文件覆蓋hadoop-2.7.3etchadoop目錄

7. 測試hadoop命令

打開cmd輸入set查看設置的環境變成是否生效

輸入hadoop version查看hadoop的版本

8. 格式化namenode

hadoop namenode -format

9. 啟動dfs

start-dfs.cmd 之後彈出兩個窗口

datanode

之後在電腦上的c盤就能看到tmp目錄，裡面有namenode文件和datanode文件

啟動成功之後就可以查看hdfs的web頁面

10. 啟動yarn

start-yarn.cmd之後彈出兩個窗口

nodeManager

查看yarn的web界面

11. 測試hdfs是否好用

12. 開啟和關閉

start-all.cmd開啟hadoop

更多學習資料：海牛大數據社區

推薦閱讀：