分布式日志文本文件

我已经在不同的机器上生成了几个日志。 每个日志代表用户执行的操作。 日志是在php中通过使用file_put_contents追加生成的文本文件。 日志中的一行代表用户执行的操作,时间等。对于每个用户操作,都有许多这样的日志。 现在我想创build一个用户configuration文件,其中包含通过按照时间升序浏览这些日志所做的所有操作。 我该怎么做呢?

另外我打算将这些用户configuration文件存储在MYSQL数据库中。 我们有超过50GB的文本的大量数据,我必须使这些configuration文件。 这个可以吗?

有没有什么工具可以让我从这些日志中获取商业智能。 (假设,如果我想看看有多less用户今天做了特定的行动等)。

对于一个随机的MySQL服务器,50GB可能会有点多。 根据你计划做什么,你可能要考虑多个MySQL服务器(碎片)。 获得足够内存的服务器确实有可能将整个数据集保存在内存中,这将有所帮助。

如果您只是将这些文件存储在文本文件中,则需要一些自定义应用程序才能通过日志。 现成的东西没有任何直接的作用。