我正在寻找一些帮助selectiptables ulogd安装程序的数据库后端。
我们将使用iptablesreplace当前的专有防火墙解决scheme,其中一个要求是logging防火墙转发的所有stream量。
看看我们当前的日志,我们24小时logging大约4000000-5000000个条目,所以数据库应该快速插入。
服务器是Debian Wheezy设置,所以我们更喜欢使用可以通过aptitude维护的数据库。
我们目前正在研究以下内容:
select数据库后,还有哪个存储引擎适合我们的工作负载?
我一直在玩ulogd插入到内存引擎,然后将数据间隔移动到基于磁盘的存储引擎数据库的想法,有没有人做过类似的事情?
我想这个答案将取决于你需要处理的数据。 如果您正在寻找实时处理(search),那么您可能需要一个(可伸缩)search引擎,如Elasticsearch或Solr。 这里有两个链接可能让你开始在这两个:
这是与Elasticsearch: http : //blog.sematext.com/2013/09/24/presentation-on-centralizing-logs/
这是与Solr: http : //blog.sematext.com/2013/11/11/presentation-solr-for-indexing-and-searching-logs/
如果您需要批处理,那么使用Hadoop可能会更好。 虽然你可以有一个可以做到这一点的devise。 search引擎包括越来越多的分析function,像Elasticsearch与聚合一样。