本節(jié)接著上節(jié)向大家介紹一下Hadoop安裝部署步驟，主要內(nèi)容有Hadoop環(huán)境變量，Hadoop配置文件，Hadoop的部署以及啟動等相關(guān)操作，歡迎大家一起來學(xué)習(xí)Hadoop安裝部署方面的知識。下面是具體步驟介紹。

為康縣等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及康縣網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、康縣網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達(dá)到每一位用戶的要求，就會得到認(rèn)可，從而選擇與我們長期合作。這樣，我們也可以走得更遠(yuǎn)！

1.Hadoop環(huán)境變量

在/home/dbrg/HadoopInstall/hadoop-conf目錄下的hadoop_env.sh中設(shè)置Hadoop需要的環(huán)境變量，其中JAVA_HOME是必須設(shè)定的變量。HADOOP_HOME變量可以設(shè)定也可以不設(shè)定，如果不設(shè)定，HADOOP_HOME默認(rèn)的是bin目錄的父目錄，即本文中的/home/dbrg/HadoopInstall/hadoop。我的是這樣設(shè)置的
exportHADOOP_HOME=/home/dbrg/HadoopInstall/hadoop
exportJAVA_HOME=/usr/java/jdk1.6.0
從這個地方就可以看出前面所述的創(chuàng)建hadoop0.12.0的鏈接hadoop的優(yōu)點了，當(dāng)以后更新hadoop的版本的時候，就不需要在改配置文件，只需要更改鏈接就可以了。

2.Hadoop配置文件
如前所述，在hadoop-conf/目錄下，打開slaves文件，該文件用來指定所有的從節(jié)點，一行指定一個主機(jī)名。即本文中的dbrg-2，dbrg-3，因此slaves文件看起來應(yīng)該是這樣的
dbrg-2
dbrg-3
在conf/目錄中的hadoop-default.xml中包含了Hadoop的所有配置項，但是不允許直接修改！可以在hadoop-conf/目錄下的hadoop-site.xml里面定義我們需要的項，其值會覆蓋hadoop-default.xml中的默認(rèn)值?？梢愿鶕?jù)自己的實際需要來進(jìn)行定制。以下是我的配置檔：
 

 
 
 

  
  
  
 
  
  
  
 
  
  
  
 
  
  
  
 
  
  
  
 
  
  
  
fs.default.name 
  
  
  
dbrg-1:9000 
  
  
  
Thenameofthedefaultfilesystem.Eithertheliteralstring"local"orahost:portforDFS. 
  
  
  
 
  
  
  
 
  
  
  
mapred.job.tracker 
  
  
  
dbrg-1:9001 
  
  
  
ThehostandportthattheMapReducejobtrackerrunsat.If"local",thenjobsarerunin-processasasinglemapandreducetask. 
  
  
  
 
  
  
  
 
  
  
  
hadoop.tmp.dir 
  
  
  
/home/dbrg/HadoopInstall/tmp 
  
  
  
Abaseforothertemporarydirectories. 
  
  
  
 
  
  
  
 
  
  
  
dfs.name.dir 
  
  
  
/home/dbrg/HadoopInstall/filesystem/name 
  
  
  
DetermineswhereonthelocalfilesystemtheDFSnamenodeshouldstorethenametable.
  
  
  
Ifthisisacomma-delimitedlistofdirectoriesthenthenametableisreplicatedinallofthedirectories,forredundancy. 
  
  
  
 
  
  
  
 
  
  
  
dfs.data.dir 
  
  
  
/home/dbrg/HadoopInstall/filesystem/data 
  
  
  
DetermineswhereonthelocalfilesystemanDFSdatanodeshouldstoreitsblocks.Ifthisisacomma-delimitedlistofdirectories,
  
  
  
thendatawillbestoredinallnameddirectories,typicallyondifferentdevices.Directoriesthatdonotexistareignored. 
  
  
  
 
  
  
  
 
  
  
  
dfs.replication 
  
  
  
1 
  
  
  
Defaultblockreplication.Theactualnumberofreplicationscanbespecifiedwhenthefileiscreated.
  
  
  
Thedefaultisusedifreplicationisnotspecifiedincreatetime. 
  
  
  
 
  
  
  
 
 
 
 

3.部署Hadoop

前面Hadoop安裝部署過程中講的這么多Hadoop的環(huán)境變量和配置文件都是在dbrg-1這臺機(jī)器上的，現(xiàn)在需要將hadoop部署到其他的機(jī)器上，保證目錄結(jié)構(gòu)一致。
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-2:/home/dbrg/
[dbrg@dbrg-1:~]$scp-r/home/dbrg/HadoopInstalldbrg-3:/home/dbrg/
至此，可以說，Hadoop已經(jīng)在各個機(jī)器上部署完畢了下面就讓我們開始啟動Hadoop吧

4.啟動Hadoop

Hadoop安裝部署完成后需要啟動Hadoop。啟動之前，我們先要格式化namenode，先進(jìn)入~/HadoopInstall/hadoop目錄，執(zhí)行下面的命令
[dbrg@dbrg-1:hadoop]$bin/hadoopnamenode-format
不出意外，應(yīng)該會提示格式化成功。如果不成功，就去hadoop/logs/目錄下去查看日志文件
下面就該正式啟動hadoop啦，在bin/下面有很多啟動腳本，可以根據(jù)自己的需要來啟動。
*start-all.sh啟動所有的Hadoop守護(hù)。包括namenode,datanode,jobtracker,tasktrack
*stop-all.sh停止所有的Hadoop
*start-mapred.sh啟動Map/Reduce守護(hù)。包括Jobtracker和Tasktrack
*stop-mapred.sh停止Map/Reduce守護(hù)
*start-dfs.sh啟動HadoopDFS守護(hù).Namenode和Datanode
*stop-dfs.sh停止DFS守護(hù)
在這里，簡單啟動所有守護(hù)
[dbrg@dbrg-1:hadoop]$bin/start-all.sh
同樣，如果要停止hadoop，則
[dbrg@dbrg-1:hadoop]$bin/stop-all.sh

HDFS操作
運行bin/目錄的hadoop命令，可以查看Haoop所有支持的操作及其用法，這里以幾個簡單的操作為例。

建立目錄
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-mkdirtestdir
在HDFS中建立一個名為testdir的目錄

復(fù)制文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-put/home/dbrg/large.ziptestfile.zip
把本地文件large.zip拷貝到HDFS的根目錄/user/dbrg/下，文件名為testfile.zip

查看現(xiàn)有文件
[dbrg@dbrg-1:hadoop]$bin/hadoopdfs-ls。本節(jié)關(guān)于Hadoop安裝部署的內(nèi)容就介紹到這里了。

【編輯推薦】

1. Hadoop安裝部署簡明步驟詳解
2. Hadoop開源已經(jīng)實現(xiàn)
3. Hadoop集群與Hadoop性能優(yōu)化
4. Hadoop 從Yahoo向Google的技術(shù)轉(zhuǎn)折
5. Yahoo公布Hadoop的源代碼

本文題目：如何進(jìn)行Hadoop安裝部署？
網(wǎng)頁URL：http://uogjgqi.cn/article/djdigsp.html