在Amazon上pipe理多个dynamic实例的日志

我有这个问题,或者说我真的可以帮助一个痒。 我在亚马逊上使用自动缩放和多个实例。 问题是我有所有这些日志PHP,Apache,系统,但也是我的Web应用程序生成stream量日志等等我想巩固所有这些日志。 我知道syslogd等存在,但我想知道什么是最有效的,低pipe理解决schemedevops目前使用,因为我在亚马逊AWS的经验不是那么广泛。 另外,如果可能,我需要解决scheme的资源使用率较低。 点击数据库来保存每秒的数据对我来说都不是一个好的解决scheme。

请注意,我不是在讨论由CloudWatch等提供的系统监视,更多的是运行应用程序和服务器以及编写自定义应用程序日志。 同样所有的系统都被假定为Redhat Linux。

任何帮助或方向表示赞赏。

最简单,简单的解决scheme可能是sysloglog到中央日志服务器,例如syslogd。 它非常简单,免费,广泛应用于生产环境。

然后,您可以使用Graylog2作为免费的日志分析器。 这有点像Splunk,但更实惠。

对于您的工具箱也有趣的是logstash ,一个pipe理事件和日志的工具。 您可以使用它来收集日志,parsing它们,并将它们存储起来以备后用(比如search)。 您可以使用内置的Web界面或通过Graylog2search日志,如果您喜欢它的界面。 Logstash可以帮助您从系统中获取日志和其他事件数据,将它们归一化并将其移到中心位置。