我自己有写过一份flume+kafka的日志采集系统，flume我采用的是监听端口，应用使用AOP面向切面进入监听日志，把有用的日志向指定端口发送。flume监听这个端口消息，一旦有消息，把消息写入到kafka。kafka进行数据临时存储和传输到监控系统中做实时预警（Web页面或短信预警）。对于标题所说的区别与联系，我找了一篇他人的文章做介绍，大家一起了解。

1 .背景

flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一.

2 .概述

1. 什么是flume?

apache Flume 是一个从可以收集例如日志，事件等数据资源，并将这些数量庞大的数据从各项数据资源中集中起来存储的工具/服务，或者数集中机制。flume具有高可用，分布式，配置工具，其设计的原理也是基于将数据流，如日志数据从各种网站服务器上汇集起来存储到HDFS，HBase等集中存储器中。其结构如下图所示：

2.应用场景

比如我们在做一个电子商务网站，然后我们想从消费用户中访问点特定的节点区域来分析消费者的行为或者购买意图. 这样我们就可以更加快速的将他想要的推送到界面上，实现这一点，我们需要将获取到的她访问的页面以及点击的产品数据等日志数据信息收集并移交给Hadoop平台上去分析.而Flume正是帮我们做到这一点。现在流行的内容推送，比如广告定点投放以及新闻私人定制也是基于次，不过不一定是使用FLume,毕竟优秀的产品很多，比如facebook的Scribe，还有Apache新出的另一个明星项目chukwa，还有淘宝Time Tunnel。

3.Flume的优势

1. Fl

日志采集系统flume和kafka有什么区别及联系，它们分别在什么时候使用，什么时候又可以结合？

简言之：这两个差别很大，使用场景区别也很大。

flume：

日志采集。线上数据一般主要是落地文件或者通过socket传输给另外一个系统。这种情况下，你很难推动线上应用或服务去修改接口，直接向kafka里写数据。这时候你可能就需要flume这样的系统帮你去做传输。

对于数量级别，做过单机upd的flume source的配置，100+M/s数据量，10w qps flume就开始大量丢包。因此我们在搭建系统时，抛弃了flume，自己研发了一套传输系统。但flume设计的source-channel-sink模式还是比较好的，我们在开发系统时无耻的也抄袭了这种方式。

Kafka：

我个人觉得kafka更应该定位为中间件系统。开发这个东西目的也是这个初衷。可以理解为一个cache系统。你甚至可以把它理解为一个广义意义的数据库，里面可以存放一定时间的数据。kafka设计使用了硬盘append方式，获得了非常好的效果。我觉得这是kafka最大的亮点。不同系统之间融合往往数据生产/消费速率不同，这时候你可以在这些系统之间加上kafka。例如线上数据需要入HDFS，线上数据生产快且具有突发性，如果直接上HDFS（kafka-consumer）可能会使得高峰时间hdfs数据写失败，这种情况你可以把数据先写到kafka，然后从kafka导入到hdfs上。印象中LinkedIn公司有这么用。

业界比较典型的一中用法是：

线上数据 -> flume -> kafka -> hdfs -> MR离线计算 或者：

线上数据 -> flume -> kafka -

Flume

Flume是一个分布式系统，可用于收集、聚合流事件并将其传输到Hadoop中。它有许多内置的源、通道和接收器，例如Kafka通道和Avro接收器。Flume是基于配置的，它有拦截器来对通道中的数据执行简单的转换。

Kafka是一种分布式、高吞吐量的消息总线，它将数据生产者与消费者分离开来。消息被组织成主题，主题被拆分成分区，分区被跨集群中的节点（称为代理）复制。

与Flume相比，Kafka具有更好的可扩展性和消息持久性。

由于消息被持久化在磁盘上，并且在集群中被复制，因此数据丢失情况不像Flume那样常见。也就是说，无论是使用Kafka客户端还是通过Connect API，生产者/来源和消费者/接收器通常都需要自定义编码。与Flume一样，消息大小也有限制。

加米谷大数据培训，大数据开发0基础班、提高班，成都小班面授！

相关：

大数据流处理：Flume、Kafka和NiFi对比

https://www.toutiao.com/i6711502507501158926/

打开httpd.conf文件找到以下部分：LogFormat
“%h %l %u %t ”%r” %>s %b ”%{Referer}i” ”%{User-Agent}i”" combined
LogFormat
“%h %l %u %t ”%r” %>s %b” common
LogFormat
“%{Referer}i -> %U” referer
LogFormat
“%{User-agent}i” agent