个人观点：大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。下面给大家可以参考。 可以带着下面问题来阅读本文章： 1.一个好的项目架构……

问题导读 1.flume在框架中的作用是什么？ 2.Kafka是消息中间件，它有什么特点？ 3.kafka和storm如何整合？ 4.flume和kafka如何整合？ 序言 前段时间学习了storm，最近刚开blog，就把这些资料放上来供大家参考。这个框架用的组件基本都是最新稳定版本，flume-ng1.4+kafka0.8+storm0.9+mysql如果有需要测试项目代码的朋友，……

Flume-ng Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。   Flume的文档可以看http://flume.apache.org/FlumeUserGuide.html 官方的英文文档 介绍的比较全面。 不过这里写写自己的见解 这个是flume的架构图 从上图可以看到几个名词： Agent: 一个Agent包含Source、Channel、Sink和其他的组……