一致的可靠消息

我正在做一个新项目,

我正在决定之间

信息系统的水槽和抄写员…(最有可能发送到日志或hadoop)

我永远不能失去一个信息。你对哪个更好? configuration/可靠性/pipe理明智。

如果你已经使用/pipe理,这也是相当回答我的问题..:D

干杯

到目前为止Flume是一个更好的select..

Flume是一个分布式的,可靠的,可用的服务,用于高效地收集,汇总和移动大量的日志数据。

Flume提供

  • 持续,高性能,可扩展性
  • 可靠的数据加载和来自Feed的数据stream监控
  • 直接login到HDFS(为hadoop制作)
  • 整个邮件系统具有灵活的可靠性(永不丢失信息)
  • 多个源/集合types(在端口上运行/安全地从Apache / Sysloglogging)
  • 具有可调可靠性机制的鲁棒性和容错性
  • 故障转移和恢复机制

抄写员提供“有点”可靠性,但不是全面或灵活。 其次它的汇编和可用性比水槽困难..

希望这有助于:D