linxiao
linxiao · 共 4 篇文章
[置顶] hadoop伪集群模式安装
hadoop可以在单个节点上,用伪分布的模式来运行hadoop的各个组件。 当前机器环境 操作系统:64 位 CentOS Jdk版本:1.7.0_79,64位jvm。 准备工作 1、 修改hosts 为了不需要记住冗长的ip地址,便于识别那个节点,我们修改下hosts,把当前内网ip地址对应成data-1, 用root用户修改 /etc/hosts文件,把内网ip地址和域名对应关系放进去,操作如下: vim /etc/hosts 10.116.111.110 data-1 2、创建用户 到目前为止都用的root用户,root用户具有最高权限,不安全,因此需要单独创建一个用户来运行hadoo…
2016-01-07T17:54:15Z · 互联网 · 评论(0)
[置顶] hadoop源码编译
在hadoop的官方网站,每个发行的版本都提供了 源码包 和 编译后的二进制发行包,那如何选择了? 下载编译后的包,在系统上解压,设置配置文件后就可以直接使用,但在使用hadoop命名过程中,每次都会显示一个警告,如 hadoop fs -ls / WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 提示不能使用本地的lib,使用内部的java class来应用。这个本地的native …
2016-01-07T00:03:15Z · 互联网 · 评论(0)
hadoop HA高可用性集群搭建
1、概述 这部分主要描述,在生产环境中,如何来搭建一个高可用性的hadoop集群。在hadoop集群中,NameNode是一个非常核心的组件,上面存储着所有文件的元数据信息,比如文件跟数据块的映射关系, 数据块跟集群中节点的映射关系等内容。一旦NameNode出现故障,整个集群将不可用。 NameNode的HA方案,是在一个集群中配置两个NameNode,其中一个处于活跃Active状态,另一个为Standby状态。如果活跃的NameNode宕机或者正常关闭,Standby可以快速切换为Active。 另外,还有一种高可用性方案是 -- Federation,他允许hadoop集群中配置多个…
2016-01-15T12:00:21Z · 互联网 · 评论(0)
YARN 和 MapReduce的内存分配公式
这个章节描述在指定的硬件节点上,如何配置YARN 和 MapReduce的内存分配设置。 YARN 考虑到了集群上每个机器的可用计算资源,在可用的资源上,YARN 负责处理运行在集群中应用(如MapReduce)的资源请求。YARN 通过分配的Containers为每个应用提供计算资源,在YARN中,一个 Container是基本的计算资源(processing capacity),并且它是基础资源(内存,cpu等)的封装。 在hadoop集群中,去均衡内存,cpu和磁盘的使用是非常重要的,因此,计算处理不能被集群资源中的任何一个所限制。作为一般的推荐,允许每个硬盘和每个core对应2个Co…
2016-01-12T11:30:56Z · 互联网 · 评论(0)