Splunk的替代软件?

Splunk给我留下了非常深刻的印象,特别是第4版。漂亮的graphics,提醒(只有企业),快速,准确,search。 这是一个伟大的产品。

但是,成本太高,不能考虑为我们公司的全面生产使用。 我们真正需要的是能够在一个中心位置对不同的日志进行索引,并对此进行合理的search。 基于保存的search提醒也非常好。 我们并没有超出这个范围。

事实上,我们最大的用途是部署新的应用程序。 一切都通过log4netlogging到Windows上的事件日志或Linux上的文本文件。 Splunk使得快速search这些应用程序变得非常容易,以确保应用程序的所有部分都正常工作 – 这为我们节省了大量的时间,而不是寻找各个日志logging源。

这个市场有什么替代scheme? 我有一种下沉的感觉Splunk的定价是如此之高,因为他们有迄今为止最好的产品,他们知道这一点。 我们希望服务器在Windows上运行。

我会开放分裂的模型,使用一个产品的一般日志(通过系统日志/ Snare收集),并为我们的自定义应用程序(如Log4Net仪表板 )的专用产品。

会使用一个简单的系统日志服务器,如Kiwi,发送到SQL Server(可能全文启用)工作?

我希望这个成本应该低于5美元。 (是的,我知道,我们很便宜,我们是一个less赚钱的创业公司,BizSpark负责所有的MS授权。)

编辑:我应该补充一下,我们有大约10台物理服务器,20台虚拟机,以及一对防火墙和交换机。 90%是Windows。

    注意:这些都是关于Linux和免费软件的 ,因为这是我最常用的function,但是在Windows上的系统日志客户端应该可以将日志发送到Linux系统日志服务器。

    logging到一个SQL服务器:只有大约30台机器,你应该没问题,几乎所有的集中系统日志和SQL后端。 我在Linux上使用syslog-ng和MySQL来处理这个事情。

    漂亮的graphics前端是主要的问题 – 似乎有很多被黑了的前端将抓住从日志中的项目,并显示多less点击,警报等,但我还没有发现任何整合和干净。 无可否认,这是你正在寻找的主要事情…(如果我find了什么好的话,我会更新这个部分!)

    警报 :我在Linux服务器上使用SEC来查找日志中发生的不好的事情,并通过各种方法提醒我。 它非常灵活,并不像Splunk那样简单。 这里有一个很好的教程 ,指导了很多可能的function。

    我也使用Nagios的各种统计graphics和一些警报,我没有从日志(如服务下来等)获取graphics。 这可以很容易地定制,以添加任何你喜欢的graphics。 我已经添加了一些项目的图表,比如对http服务器的点击数,通过让代理使用check_logfiles插件来计算日志中点击的数量(它保存了每个检查周期的位置)。

    总的来说, 这取决于你花费多less时间来设置 ,因为你可以使用很多选项,但是它们不像Splunk那样集成,并且可能需要更多的努力才能达到你想要的效果。 Nagios图可以直接设置,但是在添加图之前不会提供历史数据,而使用Splunk(可能还有其他前端),您可以回顾过去的日志,想到从他们那里看。

    还要注意,SQL数据库格式和索引对查询速度有很大的影响,所以你的全文索引的想法会大大提高search速度。 我不确定MySQL或PostgreSQL是否会做类似的事情。

    编辑 :MySQL将执行全文索引,但只在 MySQL 5.6之前的MyISAM表上 。 在5.6中为InnoDB添加了支持

    编辑 :Postgresql当然可以做全文search: http : //www.postgresql.org/docs/9.0/static/textsearch.html

    更多的是针对* nix而不是windows,但是octopussy确实支持windows,并且似乎瞄准了与splunk相同的东西。

    我正在尝试一些监控解决scheme – 但我主要监控Windows。 大多数系统都是面向SNMP监控的,无需代理就可以获得大量的信息。

    这些是迄今为止我尝试过的一些系统:

    Nagios – 开源。 猪configuration,但高度评价,似乎非常灵活。 它似乎本质上是一个计数器,不允许远程脚本执行,所以不能用于configuration问题,ala MS系统中心或Kaseya。 没有代理但是在没有在每个客户端上安装NSclient工具的情况下本质上是无用的。

    仙人掌 – 漂亮和直接的graphics工具基于拉snmp统计。 无代理。

    OpsView – 基于Nagios,但更容易configuration,并具有更好的前端。

    HypericHQ – 易于在Windows下启动和运行。 基本版本是免费的,并做了很多。 有一个商业的HypericHQ企业。 代理必须安装在每个客户端上。

    Zabbix – 另一个不错的监控工具。 它比nagios更容易使用。 有一个代理可以安装在Windows和客户机上。 到目前为止,我只是探讨了这一点。

    Zenoss – 开源。 我对Zenoss的专业印象非常深刻。 它是基于SNMP的监视器,并具有扩展负载,以允许监视HP proliants,Windows服务,MS SQL服务器,MySQL。 这些扩展都是通过SNMP工作的,因此不需要在客户端机器上安装。 我还没有探索这一切,似乎有很多function,我还没有利用。 它基于Zope,所以除非你在Zope上安装速度,否则我build议下载预先准备好的虚拟机 – 它像一个开箱即用的梦想。

    在商业方面,你可以看看几个工具:

    Kaseya – 如果我没有记错的话,250个节点每年花费大约6k,但却是一个非常好的工具,并且拥有非常活跃的用户群体。 它针对的是msp市场,可以监控多个公司的系统。 它可以在内部使用没有问题。

    GFI Hounddog – 比Kaseya简单,但目前非常便宜。 绝对值得一看。

    有许多解决scheme出售作为MSP系统,但本质上是监视器+远程pipe理组合。

    伊恩

    对于有很多强大function的集中系统日志,我忍不住推荐rsyslog 。 它是一个开源的系统日志服务器,可以很好地作为您熟悉和喜爱的常规syslogd的替代品来使用。 它现在是Ubuntu的系统日志守护进程,我认为Red Hat&Fedora也可能会走下去。 我发现它很容易启动和运行,并做你想要的,syslog ng是。

    目前在我们的商店里,我们有两台rsyslog中央服务器(每个站点一个)接收数百台服务器的日志。 我有自动的电子邮件警报,只要系统日志中的某些事件触发警报或更高(当然有些调整,有些应用程序有点危言耸听)。 我可能会做更多的智慧,比如让它把东西发送给nagios,但是它现在足以满足我们的需求。

    这一切都进入一个MySQL数据库(也支持Oracle或PostgreSQL,如果这是你如何滚动)。

    还有一个Web前端和一个Windows代理,用于将事件日志发送到rsyslog服务器。 网页前台显然不如浮光掠影,但它完成了$ 0的工作。

    看看http://www.codeplex.com/polymon

    它的开源,在后端使用SQL Server,并有花哨的用户界面

    我同意Splunk太棒了。 不过,对于小型,主stream的Linux环境,你可能希望看看类似epylog的东西。

    我们曾经在一个曾经工作过的地方使用过,对我们想要的东西很好。

    不知道如何处理发送到Linux系统日志收集器的Windows系统日志消息,但可能值得一试。

    只是链接到我的答案其他地方:

    Splunk非常昂贵:有什么select?

    编辑(新项目):

    LogStash和Graylog2项目看起来非常有趣

    这里有几个video: 一个 两个 。

    像GFI EventsManager这样的东西可能会花费大约4千美元。

    • 事件日志分析,包括SNMP陷阱,Windows事件日志,W3C日志和Syslog
    • 包括实时警报,SNMPv2陷阱警报
    • 查看关于现在发生的关键安全信息的报告
    • 集中事件logging
    • 消除构成所有安全事件大比例的“噪音”或微不足道的事件
    • 实时24 x 7 x 365天监控和警报
    • 通过内置状态监视器以graphics方式监视GFI EventsManager和您的networking的状态
    • 支持虚拟环境

    如果您正在寻找一个SysLog替代品,您可能还想考虑像LogLogic( http://loglogic.com)这样的商业系统日志/ rsyslog替代品。 我们(我工作的地方)有一个全function的日志logging,存储和报告设备。 从本质上讲,它能够每秒收集100,000条消息,痛苦和索引它们,因此可以完成search。

    您可以从liquidlabs尝试logscape – 非常类似于splunk,但也有一些不同的function…. http://www.liquidlabs-cloud.com/products/logscape.html

    我在之前的工作(顺便说是MySQL)做了SQL后端的事情,完成了脚本,Drupal接口与自定义PHP脚本,作品。

    老实说,这个过程耗时太多,而且还不是Splunk。

    目前,我正在testingSplunk。 是的,这不是免费的,但是看大图可能会更便宜。

    你有没有试过php-syslog-ng? http://code.google.com/p/php-syslog-ng/

    我发布了欺骗线程: Splunk非常昂贵:有什么select?

    xpolog和所有严肃的商业解决scheme都是BIG $(即使不到拼凑,大多数都是5位数字!)

    Sooooo,我们终于做了什么(导致splunk太多$):

    1)我们想要一个简单的syslog到sql dbpipe道

    2)我们尝试了猕猴桃系统日志。 这工作了一个星期,停止工作,猕猴桃支持无法解决它。 所以我们放弃了猕猴桃

    3)我们尝试了winsyslog。 一个应用程序的老狗,我们不想学习它。

    4)我们使用这个免费的.net应用程序: http : //www.aonaware.com/syslog.htm

    瞧。 我们的数据库中有syslog消息。

    我们很开心。 花了0美元,几个小时,但不是太多。

    我们在这里使用Splunk,我对他们告诉你的价格感到震惊。 我们给出的基本数据是每1GB数据大概在1k美元左右。 它昂贵,但超强大,真正快速发展。 根据你的数据源和你想要做的事情,一些Python和Perl脚本可以给你很多类似的数据。 最大的不同就是时间,学会真正使用文字处理的语言。 你也不能得到实时的IP信息(像syslog这样的东西),尽pipe你可以通过获取syslogger并将信息输出到文本文件来解决这个问题。 对不起,我不能指出你的具体解决scheme, 我们不能使用splunk来使用python,perl和bash脚本。

    ELSA – 企业日志search和存档

    主要特点:


    • 全文search消息或分析字段中的任何单词。
    • 按任何字段进行分组,并根据结果生成报告。
    • 安排search。
    • search提示提示新日志。
    • 保存search,电子邮件保存search结果。
    • 根据search结果创build事件票(带插件)。
    • 完整的插件系统的结果。
    • 以永久链接或以Excel,PDF,CSV和HTML格式导出结果。
    • 完整的LDAP集成权限。
    • 按用户查询的统计信息和日志大小和计数。
    • 完全分布式体系结构,可以处理n个并行执行所有查询的节点。
    • 压缩档案比率高于10:1。

    性能细节:


    对于一个系统来说,重要的顺序是:磁盘大小,内存,磁盘速度,CPU数量。 最重要的性能因素是Sphinx的索引器和search守护进程,因此请参阅sphinxsearch.com获取文档。 我给出的统计数据来自大型系统(16个CPU,144 GB RAM,12 TB HD),但是在具有4个CPU,8 GB RAM和任何大小的HD的系统上,您将获得相同的性能。 该系统首先运行在具有4 GB RAM和慢速SAN驱动器的IBM刀片式服务器上,并以大约相同的速率运行,但是4 GB正在缩减。


    性能细节和主要function列表,以及体系结构的描述: http : //ossectools.blogspot.com/2011/03/fighting-apt-with-open-source-software.html

    代码: https : //code.google.com/p/enterprise-log-search-and-archive/

    VM: http : //ossectools.blogspot.com/2011/07/elsa-vmware-appliance-available.html

    有关该项目的详细信息: http : //ossectools.blogspot.com/2011/03/comprehensive-log-collection.html

    如果您正在寻找更实惠的Splunk替代品 – 请尝试LogZilla( http://www.logzilla.pro )。 它可以比Splunk更好或更好(你可以在1-2秒内search超过300米的日志),很容易成本的十分之一。 他们有一个运行在http://demo.logzilla.pro的演示