我正在使用Logstash将NMAP扫描数据inputElasticsearch。 input{ http{ host => "127.0.0.1" port => 8000 codec => nmap } } filter{ date{ match => [ "start_time", "ISO8601"] target => "@timestamp" } } output{ stdout{codec => rubydebug} } 使用上面的configuration文件，@timestamp不会更新以匹配start_time。 { "start_time" => "2016-02-12T19:40:33.000Z", "end_time" => "2016-02-12T21:19:44.000Z", "addresses" => [ [0] { :type => "ipv4", :addr => "192.168.30.224" } ], "address" => "192.168.30.224", […]
我的服务器的日志文件设置为UTF-8编码，似乎没有正确编码文本。 例如，cookie部分有时会有一个英寸符号。但是在日志中它被写为0xA3而不是0xC2 0xA3。 这是一个错误？ 我试图通过logstash传递文件，并获得1000年的编码警告…
我试图模仿这个logstash.net/docs/1.1.0/tutorials/metrics-from-logs 我有以下设置 nginx（应用程序服务器）==发送增量==> Etsy statsD =====> Graphite 这个设置工作正常，因为graphics绘制得很好，但不正确。 根据上面的configuration，我知道图的步骤值应该是整数，但我得到浮点数的Y轴（点击）按照附图，我完全困惑，我怎么解释这个图。 Logstash代理configuration input { file { type => nginx_web path => ["/var/log/nginx/access.log"] } filter { grok { type => nginx_web pattern => "%{IP:ClientIP} (?:%{HOST:ClientHost}|-) (?:%{USER:ClientUser}|-) \[%{GREEDYDATA:TimeStamp}\] \"(?:%{WORD:Verb} %{URIPATHPARAM:Request} HTTP/%{NUMBER:HTTPversion}|%{DATA:UnparsedRQ})\" %{NUMBER:Response} (?:%{NUMBER:Bytes}|0) (?:%{QUOTEDSTRING:HTTPReferrer|\"-\"}) %{QUOTEDSTRING:HTTPUserAgent}" } output { statsd { type => "nginx_web" host => "XXXX" increment => [ […]
我有订阅事件设置为转发Windows Server 2008的terminal服务/ LocalSessionManager /操作日志到另一个窗口的服务器2008年的转发事件部分。 订阅事件设置为HeartbeatInterval值为300（但仍需要15分钟左右才能发送）。 但是，一旦日志最终传递到主要的Windows Server 2008做事件收集日志是缺less信息。 转发事件的常规视图将显示以下内容： Remote Desktop Services: Session reconnection succeeded: User: %1 Session ID: %2 Source Network Address: %3 为什么转发时这些variables没有填写？ 在它被转发之前，源机器告诉我用户和其余的信息。 但是转发的日志版本缺less这个。 预期展示： Remote Desktop Services: Session reconnection succeeded: User: mydomain\myusername Session ID: 2 Source Network Address: 123.4.5.6 但是，当我查看“详细信息”选项卡时，我发现信息全部在那里！ – <UserData> – <EventXML xmlns:auto-ns3="http://schemas.microsoft.com/win/2004/08/events" xmlns="Event_NS"> <User>mydomain\myusername</User> <SessionID>2</SessionID> <Address>123.4.5.6</Address> </EventXML> […]
我正在与Bosun绑定现有的ELK设置。 然而，在参考Bosun中的文档之后，我无法确定连接是如何工作的。 这是像下面的东西。 opentsdb的Logstash输出 – > Bosunt或Logstash输出的opentsdb – > scollector – > Bosun。
我用logstashparsing多行log4j日志，我得到了最奇怪的问题。 以下是一些相关日志条目的示例： 2016-01-05 13：55：26,275 DEBUG [class] [thread] – bla 2016-01-05 13：55：26,275 DEBUG [class] [thread] – blaa 2016-01-05 13：55：26,275 DEBUG [class] [thread] – blaaa 2016-01-05 13：55：26,275 DEBUG [class] [thread] – blaaaa 2016-01-05 13：55：26,282 DEBUG [class] [thread] – blaaaaa 2016-01-05 13：55：26,282 DEBUG [class] [thread] – blaaaaaa 2016-01-05 13：55：27,030 DEBUG [class] [thread] – blaaaaaaa 这是我log4j的logstashconfiguration： 如果[type] ==“log4j”{ 多行{ […]
我正在运行logstash 1.5.0.1，并在我的/etc/logstash/conf.d文件夹中有多个configuration文件： 01-input-source-one.conf 02-input-source-two.conf 10-filter-one.conf 11-filter-two.conf 20-output-one.conf 21-output-two.conf 修改configuration文件后，我使用/opt/logstash/bin/logstash agent -f /etc/logstash/conf.d –configtest 。 如果我的一个configuration文件出现问题，我收到一条消息，引用组合文件中的行号，如下所示： Error: Expected one of #, ", ', } at line 331, column 13 (byte 15167) after filter { 有时，但不是所有的时候，它显示了一个错误代码片段，帮助我find正确的文件，但错误的行号仍然没有任何好处。 有谁知道是否有方法来查看组合的configuration文件？ 这对解决configuration问题非常有用，这些configuration问题不是语法错误（即传递–configtest ）的结果，而是sorting问题的结果。 谢谢！
刚刚开始使用一个新的ELK设置（以前从未使用过，只是试图学习它）。 我已经在Ubuntu 14.04 LTS上运行Logstash 2.2.4。 在使用我的监视器用户的AWS凭据（通过复制/粘贴按照文档configuration策略）放置yaml文件后，我在/etc/logstash/conf.d中创build了以下.conf文件： input { cloudwatch { metrics => ["CPUUtilization"] filters => { "tag:Monitoring" => "Yes" } region => "us-east-1" namespace => "AWS/EC2" aws_credentials_file => "/var/opt/aws.yaml" } } output { elasticsearch { hosts => ["localhost:9200"] } } 我有三个服务器在我们东1与标签“监测”设置为“是”，但是当我尾巴我的logstash日志是错误的，没有指标要查询。 示例错误条目（格式化为可读性）： { :timestamp=>"2016-10-31T13:38:06.314000-0400", :message=>"A plugin had an unrecoverable error. Will restart this plugin.\n Plugin: […]
我想以root身份运行logstash以允许它读取所有日志（授予它访问每个日志非常烦人）。 但是，我不希望它在我的服务器上运行，我想在SELinux下进行约束。 我看到的选项是： 为logstash创build一个完整的新标签。 这也意味着为logstashconfiguration文件，logstash可执行文件和库等创build标签。 使用为另一个进程devise的标签运行logstash。 我把clogd_t放在clogd_t因为它已经log了它的名字，而且我无法使用sudo sesearch –allow -s clogd_t | grep clogd_t | less -p write查找任何可疑的写入权限sudo sesearch –allow -s clogd_t | grep clogd_t | less -p write sudo sesearch –allow -s clogd_t | grep clogd_t | less -p write 放弃和运行它作为一个不受约束的根进程 要么是正常的事情呢？ 万一重要，我使用的是CentOS 6.7
我期待从mysql-proxy lua的脚本推送日志到lostash。 一个例子可能是日志 [2015-03-09 11:13:47] USER:username IP:10.102.51.134:41420 DB:dbName Query: — One Pager Trends — params: SELECT date, SUM(t.rev) revenue, SUM(t.rev – t.cost) profit FROM am.s_d t INNER JOIN am.event e ON t.`event_id` = e.`event_id` WHERE 1=1 AND DATE BETWEEN '2014-12-08' AND '2015-03-08' AND t.source_id = 25 GROUP BY date [2015-03-09 11:17:28] USER:mzupan IP:10.102.22.216:49843 DB: Query: […]