我有一个3GB的日志文件,我需要提取过去48小时,而无需下载整个3GB文件。 如何将文件分割成过去的48小时。 那么我只能下载那个文件?
我有完整的SSH访问,我可以安装额外的工具。
假设您有日志文件的服务器的shell访问权限,请尝试
egrep '2[789]/Sep/2011' logfile.big > /tmp/logfile.small
这将会回到27日开始,这个时间有点超过48小时,但是我希望它比整个文件小得多,而且很快就能做到。 不要忘记在传输之前将结果文件进行gzip压缩,这将会加快速度。
您可以使用Apache日志parsing器 – 模拟 。 因为用C语言编写,模拟可以很快地工作。模拟允许使用命令行选项+ F和+ T来指定时间范围,逻辑上它们代表“FROM”和“TO”。