安装程序 我已经设置了一个简单的Nginx服务器,它以JSON格式logging,然后通过Apache Flume传输到S3存储桶。 所有Nginx服务器都会响应Web跟踪像素跟踪并写入日志文件。 一切都很酷。 问题 但是,在这个pipe道级别上处理其他一些处理步骤是很好的: 将查询string参数转换为事件logging中的实际JSON 设置用于跟踪目的的UUID Cookie 增加本地数据库中的某些计数器(最终所有的数据将被处理一个Map / Reduce) 看来我需要一个自定义的Flume接收器来将查询string参数和后端转换为nginx来设置cookie并更新数据库。 在这里有几个系统似乎效率很低,特别是在优化每秒数百个请求的吞吐量时。 可能的解决scheme 我的第一个想法是使用NodeJS,它可以处理所有这些任务(甚至取代nginx?),但是我不喜欢它是单线程的(可能是派生的童工?)。 然后,我想也许应该在Flume代理级别进行处理,Java程序可以处理所有事情(由于Flume是用Java编写的,所以性能优势在这里)? 问题 我是以正确的方式去做这个事情,还是过度地去思考? 您如何build议将所有内容整合到一个或两个过程中?
我发现mongod写道 [snapshotthread] cpu: elapsed:4000 writelock: 0% 不断。 所以有一天,现在约2Mb。 这是什么意思,如何禁用?
我一直注意到我们对Tomcat的大量生产部署,一些日志显示了在日志输出中“多日落后”的问题。 我们在8核服务器上安装了一个第三方供应商应用程序,它在Tomcat中总共运行9个应用程序,典型的20-30个并发用户的负载。 例如,在查看SOAP API日志请求时,我看到活动被logging如下: [2013-11-25 01:16:01,102] Pay History 11/27/2013 has been updated by Web API user Application User at 11/21/2013 06:27 PM [2013-11-25 01:16:01,321] PRItemPayHist SALARY has been updated by Web API user Application User at 11/21/2013 06:27 PM [2013-11-25 01:16:01,759] Checkbook Item 11/27/2013 has been updated by Web API user Application User at 11/21/2013 […]
我正在尝试使用nxlog将vCenter消息转发到Logstash,使用im_fileinput模块和指定要监视的确切文件的模式。 现在通常很简单的事情现在变得非常复杂,因为vCenter的日志轮转会压缩日志,然后在创build下一个日志文件时增加文件名。 例如: vpxd-1.log – > vpxd-1.log.gz – > vpxd-2.log 我想转发来自vCenter vpxd.log日志的消息: *vpxa(\.log|\.\d+(\.gz)?|-\d+\.log(\.gz)?)
最近我在HTTP服务器的access_log中遇到了类似这样的行(我把实际图像更改为“someimage.jpg” – 因为允许目录列表,所以可以直接浏览图像文件夹,以防你想用真实图像): GET http://www.hindu.com\xc2:\xc2/mp/2006/07/03/images/someimage.jpg HTTP/1.1" 400 313 "-" "webcollage/1.135a 用户代理似乎是webcollage ,这是一个工具来从网上随机图像装饰屏幕 – 但我想这是假的。 很明显,它试图使用HTTP服务器作为HTTP代理。 现在我想知道的是URL中的\xc2:\xc2部分。 没有这个部分,这将是一个有效的url。 使用该string,第一个\xc2将被解释为顶级域的一部分,而第二个将被解释为端口。 它没有发现任何与该string相关的漏洞的引用,但是通过Google的许多访问日志包含相似的行,没有任何解释。 任何想法在这里试过?
我是新来的nDPI,我已经安装了nDPI,但是当我添加规则时, iptables -I OUTPUT -m ndpi –http -j拒绝它显示错误 iptables v1.4.7:无法加载匹配的`ndpi':/ lib64 / xtables / libipt_ndpi.so:无法打开共享目标文件:没有这样的文件或目录 试试`iptables -h'或'iptables –help'以获取更多信息。 Plz,如果有人能告诉我如何configurationiptables的nDPI。 我正在使用centOS 6.5 谢谢;
我用server_name中的正则expression式configuration了我的nginx虚拟主机。 nginx显示日志中的原始正则expression式和传递给php-fpm的参数(我知道$_SERVER['HTTP_HOST']具有实际值,这不是问题)。 我的问题是我怎么能让nginx把真正的主机名,而不是正则expression式。 server_name指令看起来像这样: server_name ~^(:?(?<second>.+)\.)?(?<domain>[^.]+\.[^.]+)$;
有没有办法在整个服务器上loggingPerl脚本的每个执行? 我正在调查一个可能的安全问题,因此要logging每个perl执行。 是这样的可能吗? 提前致谢 PS:运行CentOS 6.5,包括Plesk 12
我刚刚build立一个(R)系统日志服务器来接收各种客户端的日志,这工作正常。 只有logrotate仍然没有performance的意图。 我想logrotate为每一天创build一个新的日志文件,但只保留和存储即压缩非空文件。 我的logrotateconfiguration看起来像这样 # sample configuration for logrotate being a remote server for multiple clients /var/log/syslog { rotate 3 daily missingok notifempty delaycompress compress dateext nomail postrotate reload rsyslog >/dev/null 2>&1 || true endscript } # local ie the system's very own logs: keep logs for a whole month /var/log/kern.log /var/log/kernel-info /var/log/auth.log /var/log/auth-info /var/log/cron.log […]
在Apache HTTPD中,可以创build包含SSL_CLIENT_S_DN值的自定义请求日志。 由于该站点需要相互authentication(客户端证书),因此这为谁正在访问Web服务器提供了良好的审计日志。 问题是我们也有大量的tomcat主机,并希望对tomcat创build的请求日志做同样的事情。 我似乎无法find办法做到这一点。 我已经看了tomcat中的访问阀,但似乎无法find一个合适的variables。 我一直在寻找configuration信息: http : //tomcat.apache.org/tomcat-7.0-doc/config/valve.html#Access_Log_Valve 此外,这些是configuration了clientAuth = True的HTTPS连接器的tomcat实例。 他们不是坐在代理人后面。 如何在请求日志中logging客户端证书DN?