环境配置:Ubuntu11.10,Hadoop1.0.0
安装ssh1 apt-get install ssh 安装rsync 1 apt-get install rsync 配置ssh免密码登录 1 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa2 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys 验证是否成功 1 ssh localhost下载Hadoop1.0.0,JDK新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。1 mkdir /home/app 接下来,安装Java和Hadoop,Hadoop解压即可。 1 cd /home/app2 chmod +x jdk-6u30-linux-i586.bin3 ./jdk-6u30-linux-i586.bin4 5 tar zxf hadoop-1.0.0-bin.tar.gz 配置JDK环境变量1 vi /etc/profile 增加下面语句到最后 1 export JAVA_HOME=/home/app/jdk1.6.0_302 export PATH=$JAVA_HOME/bin:$PATH3 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 接下来开始配置Hadoop 进入Hadoop目录1 cd /home/app/hadoop-1.0.0 修改配置文件,指定JDk安装路径 1 vi conf/hadoop-env.sh1 export JAVA_HOME=/home/app/jdk1.6.0_30 修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号 1 vi conf/core-site.xml1 <configuration>2 <property>3 <name>fs.default.name</name>4 <value>hdfs://localhost:9000</value> 5 </property>6 </configuration> 修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1 1 vi conf/hdfs-site.xml1 <configuration>2 <property>3 <name>dfs.replication</name>4 <value>1</value>5 </property>6 </configuration> 修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口 1 vi conf/mapred-site.xml1 <configuration>2 <property>3 <name>mapred.job.tracker</name>4 <value>localhost:9001</value>5 </property>6 </configuration> 接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令 1 bin/hadoop namenode -format 然后启动Hadoop,输入命令 1 bin/start-all.sh 这个命令为所有服务全部启动。 最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:http://localhost:50030 (MapReduce的Web页面)http://localhost:50070 (HDfS的web页面)如果都能查看,说明安装成功。Hadoop分别从三个角度将主机划分为两种角色:第一,划分为master和slave,即主人与奴隶。第二,从HDFS的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录的就相当于主人,而namenode就是目录管理者)。第三,从MapReduce的角度,将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task,从这个角度不难理解它们之间的关系)。
原文地址: