博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
【转】Ubuntu11.10下安装Hadoop1.0.0(单机伪分布式)
阅读量:6679 次
发布时间:2019-06-25

本文共 1902 字,大约阅读时间需要 6 分钟。

 

环境配置:Ubuntu11.10,Hadoop1.0.0

安装ssh
1 apt-get install ssh
安装rsync
1 apt-get install rsync
配置ssh免密码登录
1 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
2 cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys
验证是否成功
1 ssh localhost
下载Hadoop1.0.0,JDK
新建 linux 终端,建立app目录,Java和Hadoop都将安装在此目录中。
1 mkdir /home/app
接下来,安装Java和Hadoop,Hadoop解压即可。
1 cd /home/app
2 chmod +x jdk-6u30-linux-i586.bin
3 ./jdk-6u30-linux-i586.bin
4
5 tar zxf hadoop-1.0.0-bin.tar.gz
配置JDK环境变量
1 vi /etc/profile
增加下面语句到最后
1 export JAVA_HOME=/home/app/jdk1.6.0_30
2 export PATH=$JAVA_HOME/bin:$PATH
3 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
接下来开始配置Hadoop
进入Hadoop目录
1 cd /home/app/hadoop-1.0.0
修改配置文件,指定JDk安装路径
1 vi conf/hadoop-env.sh
1 export JAVA_HOME=/home/app/jdk1.6.0_30
修改Hadoop核心配置文件core-site.xml,这里配置的是HDFS的地址和端口号
1 vi conf/core-site.xml
1 <configuration>
2 <property>
3 <name>fs.default.name</name>
4 <value>hdfs://localhost:9000</value>
5 </property>
6 </configuration>
修改Hadoop中HDFS的配置,配置的备份方式默认为3,因为安装的是单机版,所以需要改为1
1 vi conf/hdfs-site.xml
1 <configuration>
2 <property>
3 <name>dfs.replication</name>
4 <value>1</value>
5 </property>
6 </configuration>
修改Hadoop中MapReduce的配置文件,配置的是JobTracker的地址和端口
1 vi conf/mapred-site.xml
1 <configuration>
2 <property>
3 <name>mapred.job.tracker</name>
4 <value>localhost:9001</value>
5 </property>
6 </configuration>
接下来,启动Hadoop,在启动之前,需要格式化Hadoop的文件系统HDFS,进入Hadoop文件夹,输入下面命令
1 bin/hadoop namenode -format
然后启动Hadoop,输入命令
1 bin/start-all.sh
这个命令为所有服务全部启动。
最后,验证Hadoop是否安装成功。打开浏览器,分别输入一下网址:
http://localhost:50030 (MapReduce的Web页面)
http://localhost:50070 (HDfS的web页面)
如果都能查看,说明安装成功。
Hadoop分别从三个角度将主机划分为两种角色:
第一,划分为master和slave,即主人与奴隶。
第二,从HDFS的角度,将主机划分为namenode和datanode(在分布式文件系统中,目录的管理很重要,管理目录的就相当于主人,而namenode就是目录管理者)。
第三,从MapReduce的角度,将主机划分为JobTracker和TaskTracker(一个job经常被划分为多个task,从这个角度不难理解它们之间的关系)。

 

 

原文地址:

转载于:https://www.cnblogs.com/kafony/archive/2012/03/12/2392477.html

你可能感兴趣的文章
随笔-刚毕业找工作的点滴(程序员)
查看>>
利用poi3.8中SXSSFWorkbook实现大数据量导出excel
查看>>
day34-1 面向对象概述
查看>>
GCD之dispatch queue
查看>>
【Oracle】-初识PL/SQL
查看>>
黄聪:超实用的PHPExcel[导入][导出]实现方法总结
查看>>
模板变量,过滤器和静态文件引入
查看>>
Oracle 中的 Schema
查看>>
Web APi之认证(Authentication)两种实现方式后续【三】(十五)
查看>>
一条语句简单解决“每个Y的最新X”的SQL经典问题
查看>>
(转)链接服务器——获取EXCEL数据
查看>>
《程序员的自我修养-链接、装载和库》
查看>>
Qt 平台中使GUI保持响应流畅
查看>>
Func和Action的用法区别
查看>>
Go数组
查看>>
【原创】oracle提权执行命令工具oracleShell v0.1
查看>>
Mysql 二进制日志
查看>>
《JavaScript面向对象编程指南(第2版)》读书笔记(一)
查看>>
使用Html5+C#+微信 开发移动端游戏详细教程 :(五)游戏图像的加载与操作
查看>>
JAVA入门到精通-第24讲-容器、集合类
查看>>