为iptables ulogdselect正确的数据库/存储引擎

我正在寻找一些帮助selectiptables ulogd安装程序的数据库后端。

我们将使用iptablesreplace当前的专有防火墙解决scheme,其中一个要求是logging防火墙转发的所有stream量。

看看我们当前的日志,我们24小时logging大约4000000-5000000个条目,所以数据库应该快速插入。

服务器是Debian Wheezy设置,所以我们更喜欢使用可以通过aptitude维护的数据库。

我们目前正在研究以下内容:

  • Mysql 5.5(debian仓库)
  • MariaDB 5.5
  • Percona 5.6
  • SQLite 3

select数据库后,还有哪个存储引擎适合我们的工作负载?

我一直在玩ulogd插入到内存引擎,然后将数据间隔移动到基于磁盘的存储引擎数据库的想法,有没有人做过类似的事情?

我想这个答案将取决于你需要处理的数据。 如果您正在寻找实时处理(search),那么您可能需要一个(可伸缩)search引擎,如Elasticsearch或Solr。 这里有两个链接可能让你开始在这两个:

这是与Elasticsearch: http : //blog.sematext.com/2013/09/24/presentation-on-centralizing-logs/

这是与Solr: http : //blog.sematext.com/2013/11/11/presentation-solr-for-indexing-and-searching-logs/

如果您需要批处理,那么使用Hadoop可能会更好。 虽然你可以有一个可以做到这一点的devise。 search引擎包括越来越多的分析function,像Elasticsearch与聚合一样。