从多个服务器自动传输日志文件的方法

每天一次,我想在由多个负载平衡服务器生成的web服务器日志文件上运行AWStats。 我想要一个有效的方式将它们转移到一个地方。 有没有可以做到这一点的工具?

否则,我正在考虑使用cron作业来当天的grep,然后在发送它们之前tar和gzip文件,以便我可以合并和分析它们。 这是一个好方法,还是可以build议一个更好的方法?

谢谢!

有一些工具可以成为Linux的中央日志pipe理系统 ,不需要复制它们。 至less,不是你说的意思,你可以设置NFS挂载或者在机器上安装客户端。

一个简单的网页界面是Splunk ,每天最多500MB的索引,而不需要Web界面的authentication。

经典的更多手动方法是syslog-ng ,它可能已经在您的系统上。 这里是一个关于设置中央日志服务器的教程 。

只需将rsync同步到分析机器上,就可以节省大量不必要的逻辑。

使用rsync

我会在cron作业中使用rsync。 快速,可靠,简单。

在AWstats工具中,您可以在负载平衡的情况下find用于合并日志文件的perl脚本(logresolvemerge.pl)。 这个脚本可以帮助你在复制之后(rsync是不错的select – 参见jodiek和KPWINC的回答)web服务器的日志。

你有没有考虑在服务器上使用NFS从另一台服务器上挂载一个目录?