我试图findparsing我们的Amazon S3访问日志来获取一些webstats的方法。
我一直在尝试使用AWStats 7，但是我已经到了指定月份的第9天之后它不能处理更多的日志，因为它耗尽内存。 这台服务器有4gig的内存
我们的S3日志相当大（〜1gig / day），很快CloudFront日志可能会达到10-20gig / day。
有没有什么软件可以从S3（和很快的云端）日志生成webstats？
我知道s3stat.com，但我想要一些我可以自己运行的东西。
我build议GoAccess 。 我们在约35分钟内parsing了大约1.2亿次点击，这比awstats快得多。 似乎它不会消耗很多内存。 （<1GB）运行在8GB RAM系统上。
你应该尝试一下。
我会考虑在EMR上运行karmasphere分析器来针对您的CloudFront日志目录运行SQL查询（KSA知道如何从bucket-> folder-> gzip – > .log查询）