我存储了一个非常大的（TBytes）量的日志。 这些日志很less会被提取出来，而且什么时候会 – 只需要一个文件。 你能推荐一个比bzip2好得多的超高效和非常稳定的压缩algorithm吗？
我想使用logrotate -f /var/log/syslog来强制日志文件的旋转，但是它只是返回音调： error: syslog:1 unknown option 'May' — ignoring line error: syslog:1 unexpected text 我知道在这个系统上rsyslogd正在运行。 如何旋转/var/log/syslog ？ 我希望它是空的。
我删除了/var/log/nginx/error.log文件，然后创build一个新的使用： sudo nano error.log Doinga ls -la显示error.log和access.log具有相同的权限。 当我尝试启动nginx时，出现错误： 警报：无法打开错误日志文件：打开（）“/var/log/nginx/error.log”失败的权限被删除。 更新当试图启动nginx时，我也看到： emerg：/var/run/nginx.pid失败13：权限被拒绝。
设置： 2 or more nginx machines each machine has the same virtual hosts traffic is load balanced via DNS to each machine 我需要弄清楚什么是最好的工具来获得一些stream量统计，主要是感兴趣的点击量和总stream量以千兆字节为单位。 显然，日志信息将来自nginx，格式如下： log_format main '$remote_addr $host $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" "$http_user_agent" "$gzip_ratio"';
（我在stackoverflow问这个问题，但这可能会更好…） 我需要通读Linux系统上的一些巨大的日志文件。 日志里有很多混乱的东西。 目前我正在做这样的事情： cat logfile.txt | grep -v "IgnoreThis\|IgnoreThat" | less 但是这很麻烦 – 每次我想添加另一个filter时，我需要退出并编辑命令行。 一些filter比较复杂，可能是多线的。 我想要一些方法来应用filter，因为我正在阅读日志，并在某处保存这些filter的方法。 有没有一个工具可以为我做这个？ 我不能安装新的软件，所以希望它已经被安装 – 例如，更less，vi，Python或Perl库中的东西等等。 更改生成日志以生成更less的代码不是一个选项。
我有一个定期检查/var/log/system.log的脚本，我注意到我们的networking中有些机器通过重新启动和其他活动将日志文件保留一个月，而有些机器每晚或每次重启都会清除文件。 有没有人知道这里的确切规则，或者如果我可以指定时间间隔？ 提前致谢。
我需要从Java应用程序（log4j）监视一些大型嘈杂的日志文件（500米/天）。 现在我手动查看文件，grep为“错误”等。 但是，应该可以使用工具来查看文件中的重复模式，对它们进行计数并为每个条目的详细信息提供细化。 任何人都知道这样的工具？ 一个文本或基于Web的用户界面将是很好的。
我在haproxy后面运行nginx（在同一台服务器上运行）。 我已经configurationhaproxy在nginx上使用一个简单的html文件来validation服务已经启动，因为我没有/想在这个主机上有一个有效的“/”URL。 Nginx不支持OPTIONS请求types（据我所知），这是haproxy使用的默认值，所以我把它改成了GET。 由于我在nginx中打开了访问日志，因此我在访问日志中获取了所有这些正常运行时间轮询请求。 有没有办法，我可以configurationNginx忽略某些请求，并跳过日志logging？ 这是haproxy的后端： backend static_http option httpchk GET /test.html option redispatch balance roundrobin #fullconn 1000 server w1_static www1:81 check port 81 inter 2000 以下是我在nginx日志中看到的内容： 127.0.0.1 – – [24/Jul/2009:19:28:22 +0000] "GET /test.html HTTP/1.0" 200 12 "-" "-" 127.0.0.1 – – [24/Jul/2009:19:28:24 +0000] "GET /test.html HTTP/1.0" 200 12 "-" "-" 127.0.0.1 – – [24/Jul/2009:19:28:26 […]
如果我有一个日志文件，只想将1234和9876之间的文本转储到另一个文件中，我怎么能轻松地做到这一点？ 如果我有这样的文本文件： idsfsvcvs sdf sdf ee sd vs dsg sg s vc d slkdfnls 1234 keep me text 9876 das agw eg dsf sd fsdf sdfs fs dfsdf sdfsdf sdf sdf s fs dfsf ds 我想做这样的事情 $ getinfo“1234”“9876”日志 $猫日志 保持我的文字
我在/var/log/fail2ban.log fail2ban日志中完全填满了条目： fail2ban.filter : WARNING Determined IP using DNS Lookup: [IP address] 我认为这可能已经开始后，我改变了我的SSH端口… 任何想法是什么原因，以及如何阻止它？