閱讀516 返回首頁    go 阿裏雲 go 技術社區[雲棲]


[Hadoop係列]Hadoop的安裝-2.偽分布模式

  inkfish原創,請勿商業性質轉載,轉載請注明來源(https://blog.csdn.net/inkfish )。

  Hadoop是Apache基金會下的一個開源雲計算平台項目。當前最新版本是hadoop 0.20.1。下麵就hadoop 0.20.1為藍本,介紹在Ubuntu Linux 9.10下安裝hadoop的方法。(來源:https://blog.csdn.net/inkfish)

支持的平台:(來源:https://blog.csdn.net/inkfish)
  Linux,可作為開發和產品部署的平台;
  Windows,可作為開發平台。

事先需要的軟件:(來源:https://blog.csdn.net/inkfish)
  1.JavaTM1.6.x,必須安裝,建議選擇Sun公司發行的Java版本;
  2.ssh必須安裝,並保證sshd運行,hadoop將以ssh進行通訊;
  3.如果是windows,則需要裝Cygwin,用以支持shell命令。

安裝可用的模式:(來源:https://blog.csdn.net/inkfish)
  1.本地模式;
  2.偽分布模式;
  3.全分布模式。

偽分布模式安裝步驟:

  1.將hadoop安裝包解壓縮到某目錄下;
  2.修改conf/hadoop-env.sh文件,export JAVA_HOME=那行設置正確的JAVA_HOME位置
  3.修改conf/core-site.xml,改為:
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
  4.修改conf/hdfs-site.xml,改為:
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
  5.修改conf/mapred-site.xml,改為:
<configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration>
  6.設置本機ssh本機無密碼
   先測試一下,輸入命令ssh localhost,如果提示密碼,則需要進行以下操作:
     $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
     $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  7.格式化namenode:
     $ bin/hadoop namenode -format

  8.啟動Hadoop:

     $ bin/start-all.sh


  至此,hadoop偽分布模式安裝完畢!

(來源:https://blog.csdn.net/inkfish)

最後更新:2017-04-02 04:01:44

  上一篇:go 鍵盤失靈事件
  下一篇:go 統計一個文件的單詞的個數