我目前正在评估logstash和elasticsearch是否对我们的用例有用。 我有一个包含多个表单的日志文件 <root> <entry> <fieldx>…</fieldx> <fieldy>…</fieldy> <fieldz>…</fieldz> … <fieldarray> <fielda>…</fielda> <fielda>…</fielda> … </fieldarray> </entry> <entry> … </entry> … <root> 每个entry元素将包含一个日志事件。 （如果您有兴趣，该文件实际上是Tempo Timesheets（Atlassian JIRA插件）工作日志导出。） 是否有可能将这样的文件转换成多个日志事件，而无需编写我自己的编解码器？
我已经使用Ubuntu 13.10上的logstash APT存储库安装了logstash作为服务。 所以现在我可以运行： dpkg -s logstash 它输出： Package: logstash Status: install ok installed Priority: extra Section: default Installed-Size: 93362 Maintainer: <jls@ds4172> Architecture: all Version: 1.4.0-1-c82dc09 Depends: java7-runtime-headless | java6-runtime-headless | j2re1.7 Conffiles: /etc/default/logstash 399f19c4d762840a36f6bc056c3739b8 /etc/default/logstash-web d94db9f8dc1d4ced449175a96e8df09d /etc/logrotate.d/logstash 9bb11b4b058868bb41c658c9c3152a83 Description: An extensible logging pipeline License: Apache 2.0 Vendor: Elasticsearch Homepage: http://logstash.net 所以我看到logstash服务已成功安装。 我知道运行logstash（而不是服务）我可以指定一个configuration，如下所示： bin/logstash -f […]
我使用$ usermod -a -G adm logstash命令将用户logstash添加到组adm 。 其中一个logstash代理正在尝试读取的文件是/var/log/nginx/foo-access.log ，它具有以下权限： -rw-r—– 1 www-data adm 0 Jul 25 07:52 /var/log/nginx/foo-access.log 当我sudo su logstash我可以读取文件，但是，当我$ sudo service logstash_agent restart （init脚本作为logstash用户运行）它填充logstash日志： {:timestamp=>"2013-07-31T17:05:17.287000+0000", :message=>"failed to open /var/log/nginx/foo-access.log: Permission denied – /var/log/nginx/foo-access.log", :level=>:warn} 我可以确认logstash用户在adm组中： $ groups logstash logstash : logstash adm 这个文件绝对有正确的文件访问权限： $ getfacl /var/log/nginx/foo-access.log getfacl: Removing leading '/' from absolute path […]
我目前正在调查使用logstash（或graylog2）整合来自多个服务器的日志的可能性。 对于logstash和graylog的区别我还是有点困惑。 到目前为止，我很欣赏logstash的使用方便，但是我希望能够听到其他人的经验。 另外，看来logstash可以获取Windows事件日志。 是否有动力使用nxLog或圈套呢？ 许多人报告使用nxlog将事件转发到远处的logstash实例。 这是推荐的方式吗？ 目前我们想从多个方块合并： Windows事件日志 第三方CSV文件 预先感谢任何反馈。
我正在尝试设置logstash转发器，但在创build适当的安全通道方面存在问题。 尝试使用两个在virtualbox中运行的ubuntu（服务器14.04）机器进行configuration。 他们是100％干净（没有触及主机文件或安装除了所需的java，ngix，elastisearch等用于logstash的其他软件包） 我不认为这是一个logstash问题，但是在logstash ubuntu或转发器机器上不正确的处理证书或者没有设置正确的。 我生成的密钥： sudo openssl req -x509 -batch -nodes -newkey rsa:2048 -keyout private/logstash-forwarder.key -out certs/logstash-forwarder.crt 我在logstash服务器上的inputconf： input { lumberjack { port => 5000 type => "logs" ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt" ssl_key => "/etc/pki/tls/private/logstash-forwarder.key" } } 密钥被复制到具有以下configuration的转发主机 。 { "network": { "servers": [ "192.168.2.107:5000" ], "timeout": 15, "ssl ca": "/etc/pki/tls/certs/logstash-forwarder.crt" "ssl key": "/etc/pki/tls/certs/logstash-forwarder.key" }, […]
问题 我有没有与SIGTERM或SIGKILL都不死的java进程。 logstash 2591 1 99 13:22 ? 00:01:46 /usr/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+DisableExplicitGC -Djava.awt.headless=true -Dfile.encoding=UTF-8 -XX:+HeapDumpOnOutOfMemoryError -Xmx1g -Xms256m -Xss2048k -Djffi.boot.library.path=/usr/share/logstash/vendor/jruby/lib/jni -Xbootclasspath/a:/usr/share/logstash/vendor/jruby/lib/jruby.jar -classpath : -Djruby.home=/usr/share/logstash/vendor/jruby -Djruby.lib=/usr/share/logstash/vendor/jruby/lib -Djruby.script=jruby -Djruby.shell=/bin/sh org.jruby.Main –1.9 /usr/share/logstash/lib/bootstrap/environment.rb logstash/runner.rb –path.settings /etc/logstash 每次收到信号都会重新生成。 Sep 15 13:22:17 test init: logstash main process (2546) killed by KILL signal Sep 15 13:22:17 test init: logstash […]