有没有什么等同于logstash-forwarder ，可以将日志文件发送到fluentd？ 我试图从应用程序发送日志文件到远程fluentd，但没有看到这是否可能通过代理以某种方式。 我知道你可以在日志文件生成（或复制）的同一台机器上运行时读取日志文件，但是我会喜欢它是否存在与logstash-forwarder等价的东西。 更多信息：系统是Debian 7，应用程序逐行logging文件。 没有系统日志function，这就是为什么我正在寻找像logstash-forwarder这样的代理，而不是那种tail -f logfile并发送每个新行在远程fluentd。
我想安装Logstash和其他，但是当我尝试： # yum install libevent-devel 我得到下面的错误： Transaction Check Error: file /usr/bin/event_rpcgen.py from install of libevent-devel-2.0.12-1.rhel6.i686 conflicts with file from package compat-libevent14-1.4.13-1.rhel6.i686 file /usr/lib/libevent_core.a from install of libevent-devel-2.0.12-1.rhel6.i686 conflicts with file from package compat-libevent14-1.4.13-1.rhel6.i686 file /usr/lib/libevent_core.so from install of libevent-devel-2.0.12-1.rhel6.i686 conflicts with file from package compat-libevent14-1.4.13-1.rhel6.i686 file /usr/lib/libevent_extra.a from install of libevent-devel-2.0.12-1.rhel6.i686 conflicts with file from […]
我正在尝试使用logstash设置电子邮件警报。 现在它给我发电子邮件每次模式“错误”被分析到我的日志文件，这可能会导致大量不必要的电子邮件。 我想创build一个有条件的规则，让我们说“X日志文件在1分钟内有错误3x模式给我发电子邮件”。 这样我就不会被电子邮件淹没。 这是我目前的configuration： input { file { # sincedb_path => /path/to/whatever/ path => "/opt/test.log" type => "test_log" } } filter { dns { add_field => [ "IPs", "Logs, from %{host}" ] type => [ "MESSAGES" ] resolve => [ "host" ] action => [ "append" ] } } filter { if [message] == […]
如何得到Logstash的版本？ root@elk:/usr/share/elasticsearch# bin/logstash –help bash: bin/logstash: No such file or directory 我有Logstash在我的系统上运行。 也。 root@elk:/# logstash -V bash: logstash: command not found 也。 root@elk:/# ps aux | grep logstash logstash 1725 45.3 8.5 1942860 175936 ? SNl 22:03 0:35 /usr/bin/java -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError -Djava.io.tmpdir=/opt/logstash -Xmx500m -Xss2048k -Djffi.boot.library.path=/opt/logstash/vendor/jruby/lib/jni -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -Djava.awt.headless=true -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+HeapDumpOnOutOfMemoryError […]
我试图让Logstash在10分钟内收到超过1000个项目后才提醒我。 我需要Hipchat和PagerDuty的警报。 我的configuration似乎是合理的，但不能按预期工作。 filter { if my_filtering_conditional_that_is_100%_correct { throttle { before_count => 1000 period => 600 add_tag => ["PD"] key => "string" } clone { add_tag => ["Count"] } } if "Count" in [tags] { throttle { before_count => 1000 period => 600 add_tag => ["HC"] key => "string" } } } output { if […]
这是我尝试运行logstash时的输出。 在Redis和ElasticSearch禁用的情况下，它仍然表示地址已被使用。 有什么build议么？ 据我所知，这是固定在1.1.8，但我似乎仍然有这个问题。 https://logstash.jira.com/browse/LOGSTASH-831 root@logs:~# java -jar logstash-1.1.13-flatjar.jar web –backend elasticsearch://127.0.0.1/ parse logfile thread remaining PORT SETTINGS 127.0.0.1:9300 INFO 10:52:13,532 [Styx and Stone] {0.20.6}[26710]: initializing … DEBUG 10:52:13,544 [Styx and Stone] using home [/root], config [/root/config], data [[/root/data]], logs [/root/logs], work [/root/work], plugins [/root/plugins] INFO 10:52:13,557 [Styx and Stone] loaded [], sites [] DEBUG […]
通常我的用户要求我负责了解事件是否发生。 我一直都必须用cron'ed shell脚本和大量的date边界案例testing来构build自定义和脆弱的解决scheme。 集中采伐应该允许有一个更好的，更易于维护的方法来掌握过去N小时内没有发生的事情。 像logstash注意和nagios警报。 更新 被推翻的回答非常有帮助。 O（Light。Bulb。）我现在有十几个批处理作业正在进行新鲜度检查。 我想彻底回答正义，并跟进我如何实现他的想法。 我configurationjenkins发出系统日志，logstash捕获它们并通过nsca发送状态更新给nagios。 我也使用check_mk保持一切干燥和组织在Nagios。 Logstashfilter :::ruby filter { if [type] == "syslog" { grok { match => [ "message", '%{SYSLOGBASE} job="%{DATA:job}"(?: repo="%{DATA:repo}")?$', "message", "%{SYSLOGLINE}" ] break_on_match => true } date { match => [ "timestamp", "MMM d HH:mm:ss", "MMM dd HH:mm:ss" ] } } } 神奇的是grok的匹配参数中的双模式，以及break_on_match => true。 […]
我想设置我的Windows服务器上的系统资源的监视。 我注意到Linux中的一个常见configuration是使用collectd守护进程获取系统度量信息。 从collectd数据可以通过logstash读取并最终放入弹性search中以便与Kibana一起查看。 这很好，在Linux世界中运行良好。 然而，我坚持与Windows服务器，我需要一些build议，以实现类似的工作stream程的最佳工具。 作为一个侧面节点，我已经使用Nxlog将IIS日志发送到logstash。
以下logstashconfiguration用于接受Windows事件日志作为json通过TCP连接，然后在一些过滤转发结果到Elasticsearch（来源： https ： //gist.github.com/robinsmidsrod/4215337 ）： input { tcp { type => "syslog" host => "127.0.0.1" port => 3514 } tcp { type => "eventlog" host => "10.1.1.2" port => 3515 format => 'json' } } # Details at http://cookbook.logstash.net/recipes/syslog-pri/ filter { # Incoming data from rsyslog grok { type => "syslog" pattern => [ "<%{POSINT:syslog_pri}>(?:%{SYSLOGTIMESTAMP:syslog_timestamp}|%{TIMESTAMP_ISO8601:syslog_timestamp8601}) […]
我正在构build一个日志分析器服务，以开始主要监视我们的pfSense防火墙，XenServer虚拟机pipe理程序，FreeBSD / Linux服务器和Windows服务器。 互联网上有很多关于ELK堆栈的文档，以及如何使它工作得很好。 但我想以不同的方式使用它，但我不知道这是一个好的解决scheme还是浪费时间/磁盘空间。 我已经拥有了一台充当远程系统日志服务器的FreeBSD 10.2机器，我的理念是简单地将所有的日志集中在这台机器上，而系统日志服务器将logstash-forwarder的日志logstash-forwarder给ELK服务器。 我很清楚，这种方法会提高这个设置的磁盘需求，但另一方面，我只有一台机器安装了logstash-forwarder守护进程，这对我来说似乎很好。 但是谈论问题。 logstashparsing器将[host]与发送日志消息的服务器的主机名相匹配，并且在这种方法中，仅在ELK上的“server”show上显示远程syslog服务器。 我知道我可以自定义logstashconfiguration文件的设置，但我不知道（而且我没有经验知道），如果这只是一个简单的parsing器设置，如果将危及整个ELK的经验。 最后，我只是想了解一些关于我的日志架构的build议，以及它是否可行，或者如果我没有其他的select。 提前致谢，