一、 系统介绍 2
二、 版本说明 3
三、 服务部署 3
1) JDK部署 3
2) Elasticsearch集群部署及优化 3
3) Elasticsearch健康插件安装 13
4) Shield之elasticsearch安全插件 15
5)Zookeeper集群搭建 15
6)Kafka集群搭建 17
7)测试Kafka和Zookeeper集群连通性 19
8) Logstash部署 20
9) Kibana部署 20
四、 系统使用示例 22
1) Logstash 作为kafka生产者示例 22… 阅读全文
最近线上上了ELK，但是只用了一台Redis在中间作为消息队列，以减轻前端es集群的压力，Redis的集群解决方案暂时没有接触过，并且Redis作为消息队列并不是它的强项；所以最近将Redis换成了专业的消息信息发布订阅系统Kafka, Kafka的更多介绍大家可以看这里： 传送门 ,关于ELK的知识网上有很多的哦， 此篇博客主要是总结一下目前线上这个平台的实施步骤，ELK是怎么跟Kafka结合起来的。好吧，动手！
然而我这里的整个日志收集平台就是这样的拓扑：
1，使用一台Nginx代理访问kibana的请求;
2，两台es组成es集群，并且在两台es上面都安装kibana;（ 以下对elasticsearch简称es ）
3，中间三台服务器就是我的kafka(zookeeper)集群啦; 上面写的 消费者/生产者 这是kafka(zookeeper)中的概念;
4，最后面的就是一大堆的生产服务器啦，上面使用的是logstash，当然除了logstash也可以使用其他的工具来收集你的应用程序的日志，例如：Flume，Scribe，Rsyslog，Scripts……
elasticsearch-1.7.3.tar.gz #这里需要说明一下，前几天使用了最新的elasticsearch2.0，java-1.8.0报错，目前未找到原因，故这里使用1.7.3版本
Logstash-2.0.0.tar.gz
kibana-4.1.2-linux-x64.tar.gz
以上软件都可以从官网下载:https://www.elastic.co/downloads
java-… 阅读全文在基于Hadoop平台的很多应用场景中，我们需要对数据进行离线和实时分析，离线分析可以很容易地借助于Hive来实现统计分析，但是对于实 时的需求Hive就不合适了。实时应用场景可以使用Storm，它是一个实时处理系统，它为实时处理类应用提供了一个计算模型，可以很容易地进行编程处 理。为了统一离线和实时计算，一般情况下，我们都希望将离线和实时计算的数据源的集合统一起来作为输入，然后将数据的流向分别经由实时系统和离线分析系 统，分别进行分析处理，这时我们可以考虑将数据源（如使用Flume收集日志）直接连接一个消息中间件，如Kafka，可以整合 Flume+Kafka，Flume作为消息的Producer，生产的消息数据（日志数据、业务请求数据等等）发布到Kafka中，然后通过订阅的方 式，使用Storm的Topology作为消息的Consumer，在Storm集群中分别进行如下两个需求场景的处理：
实时处理，只要开发满足业务需要的Topology即可，不做过多说明。这里，我们主要从安装配置Kafka、Storm，以及整合 Kafka+Storm、整合Storm+HDFS、整合Kafka+Storm+HDFS这几点来配置实践，满足上面提出的一些需求。配置实践使用的软 件包如下所示：
程序配置运行所基于的操作系统为CentOS 5.11。
Kafka安装配置
我们使用3台机器搭建Kafka集群：
192.168.4.142 h1
192.168.4.143 h2
192.168.4.144 h3
在安装Kafka集群之前，这里没有使用Kafka自带的Zookeeper，而是独立安装了一个Zookeeper集群，也是使用这3台机器，保证Zookeeper集群正常运行。
首先，在h1上准备Kafka安装文件，执行如下命令
cd /usr/local/
wget http://mirror.bit.edu.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz
tar xvzf kafka_2.9.2-0.8.1.1.tgz
ln -s /usr/local/kafka_2.9.2-0.8.1.1 /usr/local/kafka
chown -R
来源：http://blog.csdn.net/suifeng3051/article/details/37602025
一、整体看一下Kafka
Apache Artemis是apache的一个新的消息系统， 这个消息系统是来源于 redhat的 “异步消息系统 HornetQ”
HornetQ的相关资料有如下：
http://wenku.baidu.com/view/2f19b1557fd5360cba1adbd9.html?from=search
http://activemq.apache.org/artemis/ 项目的注意
http://activemq.apache.org/artemis/download.html 下载页面
另外 可以参考 HornetQ的相关资料， 目前同 HornetQ还有很大的相似性
选择他的Artemis的考虑是， 他是中等成熟的 消息系统， 功能够用， 代码少， 阅读方便， 便于理解， 这样有了问题才好 进行相关的处理工作。
而 activemq 代码太庞大了， 功能太多， 想彻底弄清楚要费非常大力气
而apache Apollo
… 阅读全文最近研究amq发现了Apache Artemis， 感觉很好， 仔细看了些， 最后发现他来源于HornetQ
信息如下：
HornetQ Apache donation and Apache Artemis 1.0.0 release
The HornetQ code base was donated to the Apache ActiveMQ community late last year and now resides as a sub project under the ActiveMQ umbrella named … 阅读全文
基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像Spark Streaming、Spark SQL、MLlib、GraphX，这些内建库都提供了高级抽象，可以用非常简洁的代码实现复杂的计算逻辑、这也得益于Scala编程语言的简洁性。这 里，我们基于1.3.0版本的Spark搭建了计算平台，实现基于Spark Streaming的实时计算。
我们的应用场景是分析用户使用手机App的行为，描述如下所示：
Spark Streaming介绍
Spark Streaming提供了一个叫做DStream（Discretized Stream）的高级抽象，DStream表示一个持续不断输入的数据流，可以基于Kafka、TCP Socket、Flume等输入数据流创建。在内部，一个DStream实际上是由一个RDD序列组成的。Sparking Streaming是基于Spark平台的，也就继承了Spark平台的各种特性，如容错（Fault-tolerant）、可扩展 （Scalable）、高吞吐（High-throughput）等。
在Spark Streaming中，每个DStream包含了一个时间间隔之内的数据项的集合，我们可以理解为指定时间间隔之内的一个batch，每一个batch就 构成一个RDD数据集，所以DStream就是一个个batch的有序序列，时间是连续的，按照时间间隔将数据流分割成一个个离散的RDD数据集，如图所 示（来自官网）：
我们都知道，Spark支持两种类型操作：Transformations和Actions。Transformation从一个已知的RDD数据集经过 转换得到一个新的RDD数据集，这些Transformation操作包括map、filter、flatMap、union、join等，而且 Transformation具有lazy的特性，调用这些操作并没有立刻执行对已知RDD数据集的计算操作，而是在调用了另一类型的Action操作才 会真正地执行。Action执行，会真正地对RDD数据集进行操作，返回一个计算结果给Driver程序，或者没有返回结果，如将计算结果数据进行持久 化，Action操作包括reduceByKey、count、foreach、collect等。关于Transformations和Actions 更详细内容，可以查看官网文档。
同样、Spark Streaming提供了类似Spark的两种操作类型，分别为Transformations和Output操作，它们的操作对象是DStream，作 用也和Spark类似：Transformation从一个已知的DStream经过转换得到一个新的DStream，而且Spark Streaming还额外增加了一类针对Window的操作，当然它也是Transformation，但是可以更灵活地控制DStream的大小（时间 间隔大小、数据元素个数），例如window(windowLength, slideInterval)、countByWindow(windowLength, slideInterval)、reduceByWindow(func, windowLength, slideInterval)等。Spark Streaming的Output操作允许我们将DStream数据输出到一个外部的存储系统，如数据库或文件系统等，执行Output操作类似执行 … 阅读全文
4.启动Broker，设置对应的NameServer
可以查看sameple中的quickstart源码 1.Consumer 消息消费者
/**
* Consumer，订阅消息
*/
public class Consumer {
public static void main(String[] args)
… 阅读全文RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点：
看完其实还是不懂，所以我们先了解几个基本概念：
| Producer | 消息生产者，负责产生消息，一般由业务系统负责产生消息 |
| Consumer | 消息消费者，负责消费消息，一般是后台系统负责异步消费 |
| Push Consumer | Consumer的一种，应用通常向Consumer对象注册一个Listener接口，一旦收到消息，Consumer对象立刻回调Listener接口方法 |
| Pull Consumer | Consumer的一种，应用通常主动调用Consumer的拉消息方法从Broker拉消息，主动权由应用控制 |
| Producer Group | 一类Producer的集合名称，这类Producer通常发送一类消息，且发送逻辑一致 |
| Consumer Group | 一类Consumer的集合名称，这类Consumer通常消费一类消息，且消费逻辑一致 |
| Broker | 消息中转角色，负责存储消息，转发消息，一般也称为Server。 |
| 长连接 | 在页面嵌入一个隐藏的Iframe，将这个隐藏Iframe的src属性设置为对一个长连接的请求或是采用xhr请求，服务器端就源源不断的向客户端输入数据。 |
RocketMQ是一款分布式、队列模型的消息中间件，具有以下特点：能够保证严格的消息顺序
来源：http://www.changeself.net/archives/rocketmq%E5%85%A5%E9%97%A8%EF%BC%881%EF%BC%89.html
研究kafka中， 集群批准好了， 用kafka的 控制台例子收发消息都成功了， 想用java进行一下测试，但是怎么弄都没好用， 在网络搜索了例子测试一下。
kafka官方给的示例并不是很完整，以下代码是经过我补充的并且编译后能运行的。
http://kafka.apache.org/documentation.html#highlevelconsumerapi 等
Producer Code
import java.util.*;
import kafka.message.Message;
import kafka.producer.ProducerConfig;
import kafka.javaapi.producer.Producer;
import kafka.javaapi.producer.ProducerData;
public class ProducerSample {
public static void main(String[] args) {
ProducerSample ps = new ProducerSample();
Properties props = new … 阅读全文