大型日志pipe理和存储

我一直在处理大量的日志(每天增长大约1Gb),而且我以旧的方式pipe理它们,在将日志转到中央服务器之前将日志转储,然后存储在磁带上。

现在,因为这些日志可以由当局请求,在某些时候,我必须阅读它们,find他们需要的东西,并发回有趣的部分[ 我在意大利 ] …无论如何,处理这些东西已经变得非常困难随着生成的日志量不断增长,我的磁带存储以及跟踪这些东西也不像几年前那么容易。

我已经尝试过Graylog2,它似乎是一个非常好的一块软件,我唯一的问题是,有没有简单的方法将日志导出到另一个存储,并在需要时导入回来(也许我错误地理解了它的工作方式)。

有人可以向我提供他们用来pipe理这种数量的日志或解决scheme的例子,以便在需要时轻松导出日志并导入回来吗?

提前致谢

就个人而言,我们使用Graylog2 – 我们的日志可能不像您的日志那么大,但是这是存储和pipe理日志的好方法。

注意到Graylog2使用ElasticSearch进行日志存储。 设置Graylog2只要您的服务器可以处理它,就可以保持活动和search。 (您可以将其设置为删除X天以前的内容。)

为了存档的目的,每设定一个时间间隔(例如每天),运行一个你写的脚本将把间隔的数据导出到冷存储。 这应该像对ElasticSearch的简单JSON查询一样简单。

我不知道为什么你需要重新导入它。 这是全部文本,所以你可以使用标准工具(如grep)根据需要进行search,也可以编写自己的ElasticSearch导入器。