Linux積累-安裝與配置Hadoop

安裝Hadoop之前先要安裝JDK1.6以上版本和SSH.

1.安裝JDK(以1.7為例）

下載jdk1.7（http://www.oracle.com/technetwork/java/javase/downloads/index.html）

解壓文件

tar -xvzf jdk-7u3-linux-i586.tar.gz 
複製文件到/usr/lib/jvm/ 文件夾下 jvm文件夾需要自己創建 更名複製的文件夾為jdk1.7
設置環境變數
sudo vi /etc/environment 
 
JAVAHOME=/usr/lib/jvm/jdk1.7 PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:%JAVAHOME%/bin" 
CLASSPATH=.:%JAVAHOME%/lib 
   
然後設置默認的jdk
   
sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.7/bin/java 300 
sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.76/bin/javac 300 
   
最后同過java -version查看到安裝的jdk1.7的版本信息, 即安裝成功.
   
   2.安裝SSH免密碼登錄
   
    
  
//確認聯網並安裝ssh 
sudo apt-get install ssh 
//生產密鑰 
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 
//把id_dsa.pub追加到授權的key裡面去 
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 
//驗證是否安裝成功 
ssh -version 
ssh localhost //出現選項輸入yes即可登錄本地 則成功. 
   
3.安裝Hadoop
   
下載Hdoop-1.0.2.tar.gz(http://hadoop.apache.org/common/releases.html#Download)
   
解壓 方式如jdk 一般解壓到用戶的目錄下 /home/[用戶名]/.
   
單節點方式配置：
   
無需配置,Hadoop被認為是一個單獨的Java進程,這種方式適合用來調試.
   
偽分散式配置：
   
//進入conf文件夾進行配置 
//修改Hadoop-env.sh配置文件 指定JDK的安裝位置 
export JAVA_HOME="你的JDK安裝地址" 
//修改Hadoop核心的配置文件core-site.xml 
<configuration> 
     <
Empire CMS,phome.net
                         property> 
         <name>fs.default.namename> 
         <value>hdfs://localhost:9000value>//HDFS的地址和埠 
     property> 
configuration> 
//下面是HDFS的配置,在hdfs-site.xml中 
<configuration> 
     <property> 
         <name>dfs.replicationname> 
         <value>1value>//單機偽分佈下改為1 
     property> 
configuration> 
//修改MapReduce的配置文件 
<configuration> 
     <property> 
         <name>mapred.job.trackername> 
         <value>localhost:9001value> JobTracker的地址和埠
     property> 
configuration> 
在啟動Hadoop前,需格式化Hadoop的文件系統HDFS：
bin/Hadoop namenode -format
啟動Hadoop：
bin/start-all.sh
最后進行驗證：
http://localhost:50030
http://localhost:50070
   參考：   http://hadoop.apache.org/common/docs/stable/single_node_setup.html                          
  
	      

本文出自 「木同」 博客,請務必保留此出處http://lftong.blog.51cto.com/2716986/830278