Every day to be a little better

hadoop集群搭建

  • centos安装、网络配置
  • java安装

#vi ~/.bashrc
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
  • hadoop安装配置
  • 解压安装包tar -zxvf hadoop-1.2.1-bin.tar.gz
  • 配置
cd /usr/local/src/hadoop-1.2.1/conf
# vi masters
master
# vi slaves
slave1
slave2
# vi core-site.xml
<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/src/hadoop-1.2.1/temp</value>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.177.10:9000</value>
   </property>
</configuration>
# vi mapred-site.xml
<configuration>
   <property>
        <name>mapred.job.tracker</name>
        <value>http://192.168.177.10:9001</value>
   </property>
</oonfiguratiot>
# vi hdfs-site.xml
   <property>
        <name>dfs.replication</name>
        <value>3</value>
   </property>
</configuration>
# vi hadoop-env.sh
export JAVA_HOME=/usr/local/src/jdk1.6.0_45
# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master

  • 网络设置
service iptables stop
setenforce 0
getenforce
  • 启动
./hadoop namenode -format
./start-all.sh  ## 启动
jps ## 查看启动

./hadoop fs -ls / ## 查看集群文件
./hadoop fs -put /etc/passwd / ## 上传文件测试
./hadoop fs -ls / ## 查看上传多出文件

未经允许不得转载:奇葩菌博客 » hadoop集群搭建

分享到:更多 ()

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址