索引logging快速重复的grep /search

我有一套冗长的日志文件,在解决问题的过程中,我会反复回顾。

我通常有大约1-10GB的50-150个文件,我会花上几个小时,然后再不看。

即使使用SSD和大量的RAM也需要几十秒的时间才能获得结果。 它也只locking一个核心,所以如果它可以并行search,那也是好的。

我想知道如果我能通过某种方式索引做得更好。 以后再花几分钟时间可以有更好的performance。

最好是我可以在目录中的terminal运行的东西,并有像grep接口。 然后在最后我可以完全删除该文件夹,这也将删除索引。

这听起来是可能的,而且确实存在吗? 我下一个最好的select是什么?

根据您的要求 ,您最好的select可能比您愿意设置的要复杂得多。

使用日志聚合堆栈,可以读取/尾部文件为你( 通过索引他们弹性search和为您呈现一个漂亮的界面Kibana 。

只要configuration它就可以随时删除它们。

这只是一个解决scheme栈,检查logstash以及其他许多人