奕剑听雨
Hive Hive
Hive 简介hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过类SQL语句快速实现简单的
2018-12-03
Flume架构 Flume架构
Flume 介绍 Flume是由cloudera软件公司产出的高可用、高可靠、分布式的海量日志收集系统、聚合和传输的系统、于2009年被捐赠了apache软件基金会,为Hadoop相关组件之一。Flume初始发行版本目前统称为Flume O
2018-11-16
Kafka深度解析 Kafka深度解析
分区模型Kafka集群向多个消息代理服务器(brokerserver)组成,发布至Kafka集群的每条消息都有一个类别,用主题(topic)来表示。不同类型的数据,可以设置不同的主题。一个主题一般会有多个消息的订阅者,当生产者发布消息到某个
2018-11-16
Kafka命令操作 Kafka命令操作
查看当前服务器所有的topic[hadoop@datanode1 kafka]$ bin/kafka-topics.sh --zookeeper datanode1:2181 --list 创建topic[hadoop@datanode1
2018-11-14
Kafka介绍与消息队列 Kafka介绍与消息队列
消息队列(Message Queue)消息: 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。 队列:一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素。入队、出队。 消
2018-11-14
Kafka简介与消息队列 Kafka简介与消息队列
消息队列(Message Queue)消息: 网络中的两台计算机或者两个通讯设备之间传递的数据。例如说:文本、音乐、视频等内容。 队列:一种特殊的线性表(数据元素首尾相接),特殊之处在于只允许在首部删除元素和在尾部追加元素。入队、出队。 消
2018-11-14
Kafka和的安装与配置 Kafka和的安装与配置
集群规划 datanode1 datanode2 datanode3 zk zk zk kafka kafka kafka kafka jar包下载地址http://kafka.apache.org/downloads.h
2018-11-14
7 / 7