奕剑听雨
  文章分类
JavaWeb 15 Hudi 5 容器 5 数据库 15 NOSQL 2 大数据 67 工具使用 1 运维 1 SpringBoot 21 微服务 8 数据结构 13 Pod 1
Sqoop Sqoop
简介Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中
2019-01-08 大数据
Sqoop
Flume案例Ganglia监控 Flume案例Ganglia监控
安装 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录下 解压apache-flume-1.7.0-bin.tar.gz到/opt/modu
2019-01-07 大数据
Flume
ZooKeeper的安装和API ZooKeeper的安装和API
安装教程在datanode1、datanode2和datanode3三个节点上部署Zookeeper。 步骤 解压zookeeper安装包到/opt/module/目录下 tar -zxvf zookeepe
2019-01-06 大数据
Zookeeper
Zookeeper入门 Zookeeper入门
Zookeeper 的简介Zookeeper是一个开源的分布式的，一个针对大型分布式系统的可靠协调系统的Apache项目。 目标是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户； ZooKeeper已经成为
2019-01-05 大数据
Zookeeper
HBase优化 HBase优化
高可用HBase中Hmaster负责监控RegionServer的生命周期，均衡RegionServer的负载，如果Hmaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对Hma
2018-12-31 大数据
HBase
HBase的Shell命令和JavaAPI HBase的Shell命令和JavaAPI
表操作创建表create 'student','info' #表名 列族 插入表put 'student','1001','info:sex','male' put 'student','1001','info:ag
2018-12-31 大数据
HBase
HBase数据模型和读写原理 HBase数据模型和读写原理
​ HBase是一个开源可伸缩的分布式数据库,他根据Google Bigtable数据模型构建在hadoop的hdfs存储系统之上。 ​ HBase是一个稀疏、多维度、排序的映射表。表的索引是行键、列族、列限定符和时间戳，一个列
2018-12-30 大数据
HBase
HBase原理和安装 HBase原理和安装
Hbase简介HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。 官方网站：http://hbase.apache.org 2006年Google
2018-12-30 大数据
HBase
MapReduce高级编程2 MapReduce高级编程2
TOP N对于一组输入List(key,value),我们要创建一个Top N 列表,这是一种过滤模式,查看输入数据特定子集,观察用户的行为。 解决方案key是唯一键，需要对输入进行额外的聚集处理，先把输入分区成小块，然后把每个小块发送到一
2018-12-28 大数据
MapReduce
MapReduce高级编程 MapReduce高级编程
计数器数据集在进行MapReduce运算过程中，许多时候，用户希望了解待分析的数据的运行的运行情况。Hadoop内置的计数器功能收集作业的主要统计信息，可以帮助用户理解程序的运行情况，辅助用户诊断故障。 SLF4J: Actual bind
2018-12-28 大数据
MapReduce
5 / 7