hadoop可以在单个节点上,用伪分布的模式来运行hadoop的各个组件。
当前机器环境
操作系统:64 位 CentOS
Jdk版本:1.7.0_79,64位jvm。
准备工作
1、 修改hosts
为了不需要记住冗长的ip地址,便于识别那个节点,我们修改下hosts,把当前内网ip地址对应成data-1,
用root用户修改 /etc/hosts文件,把内网ip地址和域名对应关系放进去,操作如下:
vim /etc/hosts 10.116.111.110 data-1
2、创建用户
到目前为止都用的root用户,root用户具有最高权限,不安全,因此需要单独创建一个用户来运行hadoop,这里就使用hadoop用户名吧,名字随便起,
操作如下:
useradd hadoop passwd hadoop需要输入两次密码。
3、创建目录
个人喜欢把软件安装到/usr/local目录下,系统目录是需要root操作权限的,如果把hadoop软件放到/usr/local目录下会出现一个问题,
就是在多个节点上部署hadoop集群的时候需要复制文件,hadoop用户使用scp命令时,会出现权限问题,所以单独创建一个目录给hadoop用户来使用,
这个步骤不是必须的操作,因个人习惯来使用,操作如下:
chown -R hadoop:hadoop /data mkdir software cp /home/hadoop/hadoop-2.6.0-cdh5.5.1/hadoop-dist/target/hadoop-2.6.0-cdh5.5.1.tar.gz /data/software/ cd /data/software/ chown -R hadoop:hadoop hadoop-2.6.0-cdh5.5.1.tar.gz su hadoop tar zxvf hadoop:hadoop hadoop-2.6.0-cdh5.5.1.tar.gz接下来,再创建两个目录分别用来存放nameNode,dataNode的数据,操作如下:
mkdir -p /data/datastore/hadoop/namenode mkdir -p /data/datastore/hadoop/datanode注意的是,后面如果没有特殊说明,将会一直使用hadoop用户来操作
4、ssh免密码登录
虽然是在一个节点上部署伪集群方式,启动hadoop的时候还是会使用ssh调用其他节点(这里是自己)命令,所以需要配置免登录,操作如下:
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys cd ~ chmod 700 .ssh cd .ssh chmod 644 authorized_keys执行 ssh localhost,不需要输入密码了。
到此,前期的准备工作都已经完成,下面来配置hadoop相关的文件
配置文件
操作如下:
1、vim etc/hadoop/hadoop-env.sh
# The java implementation to use. export JAVA_HOME=/usr/local/jdk1.7.0_7
2、vim etc/hadoop/core-site.xml
<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration>3、vim etc/hadoop/mapred-site.xml
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>4、vim vim etc/hadoop/hdfs-site.xml
<configuration> <property> <name>dfs.namenode.name.dir</name> <value>file:////data/datastore/hadoop/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:////data/datastore/hadoop/datanode</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>5、 vim etc/hadoop/yarn-site.xml
<configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>
执行启动命令
接下来,我们来启动hadoop的各个组件
1、格式化文件系统
bin/hdfs namenode -format
格式化文件系统,只是第一次运行,类似硬盘格式化
2、启动NameNode 和 DataNode
sbin/start-dfs.sh
3、启动ResourceManager 和 NodeManager
sbin/start-yarn.sh
4、启动JobHistoryServer
sbin/mr-jobhistory-daemon.sh start historyserver
在控制台输入jps查看进程都是否启动,
[hadoop@data-1 data]$ jps 24242 ResourceManager 23940 DataNode 23819 NameNode 24333 NodeManager 24097 SecondaryNameNode 24686 JobHistoryServer可以在浏览器里输入地址,查看hadoop各个组件的运行情况,
http://localhost:8088,查看ResourceManager信息
http://localhost:50070,查看NameNode信息
http://localhost:19888,查看JobHistoryServer信息
测试使用
到目前为止,hadoop已成功运行,下面来测试下。在测试之前,在/etc/profile中加入变量HADOOP_HOME,方便使用hadoop命令,
export HADOOP_HOME=/data/software/hadoop-2.6.0-cdh5.5.1 export PATH=${PATH}:${HADOOP_HOME}/bin sudo source /etc/profile echo "This is a test." >> test.txt hadoop fs -ls / hadoop fs -copyFromLocal test.txt / hadoop fs -cat /test.txt
启动顺序
sbin/start-dfs.sh sbin/start-yarn.sh sbin/mr-jobhistory-daemon.sh start historyserver
关闭顺序
sbin/mr-jobhistory-daemon.sh stop historyserver sbin/stop-yarn.sh sbin/stop-dfs.sh
相关推荐
hadoop的独立模式、伪分布模式、完全分布式、HA配置文件
资源名称:linux hadoop搭建手册以及三种集群模式配置内容简介: linux hadoop搭建手册以及三种集群模式配置前半部分主要讲述了环境配置 环境配置环境配置;后半部分主要讲述Hadoop集群有三种运行模式,分别为单机...
hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx hadoop2.5.2的本地模式、伪分布式集群、分布式集群和HDFS系统的高可用的环境搭建.docx hadoop2.5.2的本地模式、伪分布式集群、...
1、hadoop单机模式和伪分布式 2、hadoop集群 3、hadoop运行WordCount程序 4、编码实践并在Hadoop上运行 题目:输入两个文件,一个代表工厂表,包含工厂名列和地址编号列;另一个代表地址表,包含地址名列和地址编号...
伪分布式运行模式 这种模式也是在一台单机上运行,但用不同的Java进程模仿分布式运行中的各类结点(NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode),请注意分布式运行中的这几个结点的区别:从分布式...
伪分布模式 Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群。可以使用HDFS和MapReduce。 c. 完全分布模式 Hadoop守护进程运行在一个集群上。启动所有的守护进程,具有hadoop完整的功能,可以使用HDFS、...
Hadoop集群的三种模式 单机模式 在单机上运行。 没有分布式文件系统,直接读写本地操作系统。 伪分布模式 在单机上运行。 使用分布式文件系统。 hadoop集群只有一个节点,因此hdfs的块复制将限制为单个副本。 在单个...
-018.Hadoop在Win7下免Cygwin环境安装伪分布式与第三方增强软件介入.mp4 -019.Hadoop在Win7下免Cygwin环境安装NativeBug解决与dexpot多桌面应用.mp4 -020.Hadoop架构分析之单节点体系.mp4 021.Hadoop架构分析之集群...
hadoop在windows的伪集群分布,在一台主机模拟多主机。 -Hadoop启动NameNode、DataNode、JobTracker、TaskTracker这些守护进程都在同一台机器上运行,是相互独立的Java进程。 -在这种模式下,Hadoop使用的是...
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
1. Hadoop的基本结构和包含部分 2. 云存储虚拟平台的搭建 3. Hadoop的环境配置 4. 建立Hadoop集群的实验 5. Hadoop单机模式 6. Hadoop伪布式模式 7. Hadoop完全分布式模式
第一天 hadoop的基本概念 伪分布式hadoop集群安装 hdfs mapreduce 演示 01-hadoop职位需求状况.avi 02-hadoop课程安排.avi 03-hadoop应用场景.avi 04-hadoop对海量数据处理的解决思路.avi 05-hadoop版本选择和...
Hadoop实现了一个分布式文件系统...本课程讲解搭建hadoop集群的全过程,从安装vmware,centos开始,从本地模式,伪分布式到全分布式,讲解实现经典案例wordcount结束,全方位讲解hadoop的操作细节,带你完成hadoop的安装和入门
本书是Hadoop权威参考,程序员可从中探索如何分析海量数据集,管理员可以从中了解如何安装与运行Hadoop集群。 目录 第1章 初识Hadoop 数据!数据! 数据存储与分析 与其他系统相比 关系型数据库管理系统...
2.2.2 验证SSH安装 2.2.3 生成SSH密钥对 2.2.4 将公钥分布并登录验证 2.3 运行Hadoop 2.3.1 本地(单机)模式 2.3.2 伪分布模式 2.3.3 全分布模式 2.4 基于Web 的集群用户界面 2.5 小结 第3章 Hadoop组件...
Ubuntu16.04下Zookeeper集群模式的本地安装与配置 1.安装环境: os : Ubuntu 16.04 LTS 64bit jdk : 1.8.0_161 zookeeper:apache-zookeeper-3.5.6 zookeeper有单机、伪集群、集群三种部署方式。 单机:一个服务器 伪...
本文来自于51cto,这篇文件介绍如何搭建完全分布式的...伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 教你玩转
尚硅谷大数据之Hadoop入门,Hadoop是目前大数据领域的流行框架,用java编写,运行在Linux集群上,这篇笔记关于Hadoop做了详细的介绍,并且还讲解了如何搭建Hadoop本地模式,伪分布模式和完全分布式模式
212.2.2 验证SSH安装 212.2.3 生成SSH密钥对 212.2.4 将公钥分布并登录验证 222.3 运行Hadoop 222.3.1 本地(单机)模式 232.3.2 伪分布模式 242.3.3 全分布模式 252.4 基于Web的集群用户界面 282.5 ...
Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop 高可用集群 二、Hive Hive 简介及核心概念 Linux 环境下 Hive 的安装部署 Hive CLI 和 ...