Hadoop 2.0 部署单机HDFS+YARN——示例

准备Linux 虚拟机环境 1、用Oracle VM VirtualBox 虚拟Linux 系统 虚拟好的Linux 操作系统:ubuntu-14.04-desktop-i386 准备好:hadoop-2.2.0.tar.gz jdk-6u45-linux-i586.bin
图片1.jpg
2、设置hosts 文件 对linux 虚机的hosts 进行设置sudo vi /etc/hosts 加入127.0.0.1 YARN001
图片2.jpg
3、安装jdk 和hadoop 拥有执行权限: chmod +x jdk-6u45-linux-i586.bin 解压JDK:./jdk-6u45-linux-i586.bin 解压成功后,ls 查看下
图片3.jpg
解压hadoop 的安装包:tar -zxvf hadoop-2.2.0.tar.gz 解压成功后,ls 查看下
图片4.jpg
修改hadoop 的配置文件 1、配置文件列表图例展示
图片5.jpg
2、修改hadoop-env.sh 文件 进入hadoop 目录下: cd hadoop-2.2.0/ ,输入命令vi etc/hadoop/hadoop-env.sh 也可以使用ftp 工具传输到本地,用编辑器编辑此文件。 export JAVA_HOME=/home/wangxiaolei/hadoop/jdk1.6.0_45
图片6.jpg
3、修改mapred-site.xml 文件 重命名mapred-site.xml.template 为mapred-site.xml 输入命令vi etc/hadoop/mapred-site.xml 添加下面的配置
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value></property>
</configuration>
4、修改core-site.xml 文件 输入命令vi etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://YARN001:8020</value>
</property>
</configuration>
5、修改core-site.xml 文件 输入命令vi etc/hadoop/hdfs-site.xml 注意:1、单机版副本数dfs.replication 的值默认是3 这里写为1 2、dfs.namenode.name.dir 和dfs.datanode.data.dir 的默认值, 在hadoop 安装目录下的tmp 目录下。 3、这里修改为非tmp 目录,此目录无需存在。 它是在启动hadoop 时目录是自动创建的。
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/home/wangxiaolei/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/home/wangxiaolei/hadoop/dfs/data</value>
</property>
</configuration>
6、修改yarn-site.xml 文件 输入命令vi etc/hadoop/yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
部署HDFS+YARN 1、格式化NameNode 第一次搭建环境,需要格式化 输入命令bin/hadoop namenode -format 完成后,查看/home/wangxiaolei/hadoop 发现自动创建的目录文件
图片7.jpg
2、启动namenode 输入命令sbin/hadoop-daemon.sh start namenode
图片8.jpg
3、启动datanode 输入命令sbin/hadoop-daemon.sh start datanode
图片9.jpg
4、验证HDFS 是否启动成功 在本机上配置host 192.168.1.122 yarn001 然后在浏览器窗口输入http://yarn001:50070
图片10.jpg
bin/hadoop fs -mkdir /home bin/hadoop fs -mkdir /home/wangxiaolei
图片11.jpg
5、启动yarn 输入命令sbin/start-yarn.sh
图片12.jpg
6、验证yarn 是否启动成功 6.1 使用jps 查看进程 这里没有配置jdk 的环境变量,所以要指定jps 的存放目录。
图片13.jpg
6.2 在web 界面查看 在本机浏览器中输入http://yarn001:8088
图片14.jpg
6.3 此时就可以跑MapReduce 程序了。 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 2 100 7、关闭yarn 输入命令sbin/stop-yarn.sh
图片15.jpg
8、关闭HDFS 输入命令sbin/stop-dfs.sh
图片16.jpg
最后使用jps 查看下进程
图片17.jpg
单机版部署HDFS+YARN 顺利完成!

0 个评论

要回复文章请先登录注册