我在使用我的夜晚批处理日志时遇到了一些问题。
如何将MULTIline日志作为一个事件？ 我遇到了超过26000行的一个日志文件…
NxLog在某些时候陷入了困境 – 我并不真的责怪他 – 但是我怎么能强迫他使用这种多线文件呢？
我的conf文件：
<Extension json> Module xm_json </Extension> <Extension multiline> Module xm_multiline Exec if $raw_event =~ /^\s*$/ drop(); HeaderLine /^\#\#\#$/ EndLine /\* CODE FIN JOB/ </Extension> <Input in1> Module im_file File '/opt/XXX/YYYY/logs/*.nxlog' SavePos FALSE ReadFromLast FALSE InputType multiline Exec if $raw_event =~ s/^\#\#\#\\n// {} Exec $nxlog_message = $raw_event; Exec $nxlog_tags = "YYYY"; Exec $nxlog_hostname = hostname(); Exec $nxlog_filename = file_name(); Exec file_remove($nxlog_filename); Exec to_json(); </Input> <Extension fileop> Module xm_fileop </Extension> <Output logstash> Module om_tcp Port PPPP Host ZZZZZZZ </Output> 这是一些我推入nxlog的文件。
每个文件代表一个工作/事件。 第一个让NxLog整个周末都冻结了。
# find /opt/XXXX/YYYYY/logs/ -name "*.nxlog" -exec wc -l {} \; 26477 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 104 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 113 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 93 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 49 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 136 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 65 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 278 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 311 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 95 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 598 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 307 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 45 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 191 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 94 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 97 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog 91 /opt/XXXX/YYYYY/logs/ZZZZZZ_WWWW.nxlog
任何想法如何解决这个问题？