奕剑听雨
Zookeeper入门 Zookeeper入门
Zookeeper 的简介Zookeeper是一个开源的分布式的，一个针对大型分布式系统的可靠协调系统的Apache项目。 目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper已经成为
2019-01-05 大数据
Zookeeper
HBase优化 HBase优化
高可用HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hma
2018-12-31 大数据
HBase
HBase的Shell命令和JavaAPI HBase的Shell命令和JavaAPI
表操作创建表create 'student','info' #表名 列族 插入表put 'student','1001','info:sex','male' put 'student','1001','info:ag
2018-12-31 大数据
HBase
HBase数据模型和读写原理 HBase数据模型和读写原理
​ HBase是一个开源可伸缩的分布式数据库,他根据Google Bigtable数据模型构建在hadoop的hdfs存储系统之上。 ​ HBase是一个稀疏、多维度、排序的映射表。表的索引是行键、列族、列限定符和时间戳，一个列
2018-12-30 大数据
HBase
HBase原理和安装 HBase原理和安装
Hbase简介HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 2006年Google
2018-12-30 大数据
HBase
MapReduce高级编程2 MapReduce高级编程2
TOP N对于一组输入List(key,value),我们要创建一个Top N 列表,这是一种过滤模式,查看输入数据特定子集,观察用户的行为。 解决方案key是唯一键，需要对输入进行额外的聚集处理，先把输入分区成小块，然后把每个小块发送到一
2018-12-28 大数据
MapReduce
MapReduce高级编程 MapReduce高级编程
计数器数据集在进行MapReduce运算过程中，许多时候，用户希望了解待分析的数据的运行的运行情况。Hadoop内置的计数器功能收集作业的主要统计信息，可以帮助用户理解程序的运行情况，辅助用户诊断故障。 SLF4J: Actual bind
2018-12-28 大数据
MapReduce
MapReduce源码刨析 MapReduce源码刨析
Mapmap函数是对一些独立元素组成的概念列表(如单词计数中每行数据形成的列表)的每一个元素进行指定的操作(如把每行数据拆分成不同单词,并把每个单词计数为1),用户可以自定义一个把数据拆分成不同单词并把单词计数为1的映射map函数),事实上
2018-12-25 大数据
MapReduce
MapReduce的工作机制 MapReduce的工作机制
框架Hadoop2.x引入了一种新的执行机制MapRedcue 2。这种新的机制建议在Yarn的系统上，目前用于执行的框架可以通过mapreduce.framework.name属性进行设置，值“local“表示本地作业运行器，“class
2018-12-24 大数据
MapReduce
14 / 18