可能重复:
Splunk的替代软件?
这已经被讨论过了,但是已经有好几个月了,所以现在应该重新审视它:
早些时候讨论RE Splunk的替代品
为了logging,Splunk岩石。 但是定价超出了我们可以考虑的范围(当我今天与Splunk交谈时,系统以5gb /天的数据为指标的成本超过了3万美元)。
这比我们花在SQL Server上的花费还要多(比如我们花在一台服务器上的机器上)(等等)等等。
分裂的销售团队是正确的(对于3万美元,我们获得更多的价值和function,如果我们花费相同的build设我们自己的系统),但没关系。 分拆成本太高(多倍)。
Soooooo,我们环顾四周!
有人在那里build立一个类似系统的splunk吗?
我们的基本需求:
我们目前需要指标3-5gb /天,但需要能够扩展到10gb /天或更多。 我们不需要很多的历史(30天没事)。
我们使用Windows 2008和2003服务器。
谢谢你的想法!
更新 :我们花了两个星期研究商业和开源选项。 我们的结论:写我们自己的 (我们是一家软件公司,我们知道如何写东西)。 我们build立了一个build立在mongodb和.NET之上的优秀系统,它在大约一个工程周内为我们提供了MongoDB所需的function。 我们现在已经完成了实施。 我们使用两个Mongodb服务器(主服务器和从服务器),并且能够logging和索引任何数量的日志数据(5GB /天,15GB /天等),仅受磁盘空间限制。
更新(2012年12月) :我们继续使用我们的mongodb解决scheme,它工作的很棒! 如果我们今天正在build设,我们会强烈build议在弹性search之上进行构build。
观察 :这个空间需要一个固定的解决scheme,即$ 1000-3000统一费率。 商业公司使用的许可模式是基于“牛奶数据中心操作人员”模型。 这是他们的权利(当然!),但是留下了一个巨大的空间,让有人进来。 我的猜测是,再过一两年,就会有一个很好的开源解决scheme,真正可用。
谢谢大家的意见(即使是自我推销)。
logstash是一个pipe理事件和日志的工具。 您可以使用它来收集日志,parsing它们,并将它们存储起来以备后用(比如search)。 说到search,logstash带有一个Web界面,用于search和钻取所有日志。
https://www.elastic.co/products/logstash
目前还处于发展初期,但前景看好,行动迅速。
在我看来,我没有一个比较matrix,特别是当涉及到splunk时:
这些是一些完全可操作的工具:
Octopussy http://www.octopussy.pm
Logreport http://www.logreport.org/
军鼓: http : //www.intersectalliance.com/projects/index.html
login冲浪者: http : //www.crypt.gen.nz/logsurfer/
日志分析器: http : //loganalyzer.adiscon.com/
日志2时间轴: http : //log2timeline.net/#download (这是更多的“时间轴”分析工具)
最后,如果你想自己做一些编码,但可能有一个更可扩展的解决scheme:(以下是收集日志数据的工具,他们没有必要具有所有function开箱即可search数据。)
Honu https://github.com/jboulon/Honu
Chukwa http://wiki.apache.org/hadoop/Chukwa
Flume http://archive.cloudera.com/cdh/3/flume/
编辑:添加了这个比较链接: http : //csgrad.blogspot.com/2010/07/guided-tour-of-hadoop-zoo-getting-data.html
编辑:添加Graylog2 :添加Logstash 。 Logstash可能是成为“开源替代品”的最佳select。