我在这里和那里读到 ，使用Filebeat时，日志pipe道（通常是ELK）中可能不需要代理（如Redis ）。 来自Filebeat的官方网页： [Filebeat]足够智能，可以处理下游服务器暂时不可用的情况，所以不会丢失日志。 然而，我不清楚它到底有什么作用，什么是机制，有什么限制，如何configuration/微调（在Filebeat的默认configuration文件中没有看到这个选项）。 总而言之，如果使用FIlebeat ，是否真的值得考虑不使用经纪人？ （我想答案是“取决于” ，但是鉴于Filebeat在容错方面的能力还不清楚，做出一个有教养的select并不容易）。
我已经安装了最新版本的Kibana4 ElasticSearch堆栈。 日志正在从Ruby上运行的远程应用程序源汇集。 我想search由ruby创build的多行exception。 在kibana中，我们可以search错误并打印附近的行吗？ 在kibanasearch栏中的例子，我们可以input类似“未捕获的exception”+5行？ （类似于grep -c20） 或者，我可以在kibana界面上使用类似的逻辑创build一个filter/ json查询？
我正在用logstash做一些POC的testing。 当使用redis缓冲消息时，看起来他们保持在redis中，并不断地被添加到elasticsearch作为新的事件。 例如，如果我重新启动服务，在Kibana中查看时，我会多次看到相同的事件。 如果我删除了redis层，它工作正常。 似乎我错过了从redis清除logging的东西，但我一直没有弄清楚什么。 这是我的logstashconfiguration： input.conf中 input { syslog { type => "syslog-relay" port => 5514 } } output { redis { host => "localhost" data_type => "list" key => "logstash" } } output.conf input { redis { host => "localhost" type => "redis-input" data_type => "list" key => "logstash" } } output { […]
我们有一个托pipe在Amazon Elasticsearch Service（AWS）上的Elasticsearch集群。 我们为ElasticSearch使用Jest Java HTTP Rest客户端 。 每隔一段时间（可能是1万个请求中的1个），它似乎会在没有响应的情况下closures连接。 我们的应用程序中的堆栈跟踪如下所示： ERROR [2016-04-11 09:18:43,497] io.dropwizard.jersey.errors.LoggingExceptionMapper: Error handling a request: b9b9ee1e4eefadd2 ! org.apache.http.NoHttpResponseException: search-xxx.eu-west-1.es.amazonaws.com:443 failed to respond ! at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:143) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.impl.conn.DefaultHttpResponseParser.parseHead(DefaultHttpResponseParser.java:57) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.impl.io.AbstractMessageParser.parse(AbstractMessageParser.java:261) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.impl.DefaultBHttpClientConnection.receiveResponseHeader(DefaultBHttpClientConnection.java:165) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.impl.conn.CPoolProxy.receiveResponseHeader(CPoolProxy.java:167) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.protocol.HttpRequestExecutor.doReceiveResponse(HttpRequestExecutor.java:272) ~[my-app-0.0.1.jar:0.0.1] ! at org.apache.http.protocol.HttpRequestExecutor.execute(HttpRequestExecutor.java:124) ~[my-app-0.0.1.jar:0.0.1] ! at […]
我正在尝试构build自己的ElasticSearch集群，并决定使用名为Search Guard的开源插件。 它需要生成客户端和主机/节点证书。 在它的演示中，有一个脚本可以生成一个根ca，客户端和节点证书，这些证书是用生成的root ca签名的。 我的问题是，我想用我的通配符SSL证书。 我如何使用通配符ssl证书创build客户端和节点证书？ 这是他们的演示页面，解释如何生成证书，但不幸的是无法pipe理它。
我需要每天同步两个AWS ElasticSearch服务实例的索引。 同步不是实时的，这一点非常重要。 第一个索引（我们称之为ES-A）由我们的团队在内部使用，而第二个索引（ES-B）将由公众使用。 我们团队在白天对ES-A进行的所有修改都必须在晚上推送到ES-B。 优选地，没有停机时间。 这是我们系统的一个架构。 这个问题是关于浓密的绿色箭头： 什么是最好的方法来实现这种行为？ 请记住，我使用AWS ES服务，而不是ES上的EC2实例。
我正在使用elk-docker并尝试跟踪快照和还原| Elasticsearch参考[2.4] | 弹性和获得以下错误： # curl –request PUT –data '{ "type": "fs", "settings": {"compress": true, "location": "/run/elasticsearch/backups" } }' localhost:9200/_snapshot/my_backup?pretty { "error" : { "root_cause" : [ { "type" : "repository_exception", "reason" : "[my_backup] failed to create repository" } ], "type" : "repository_exception", "reason" : "[my_backup] failed to create repository", "caused_by" : { "type" : […]
我使用快照和恢复| Elasticsearch引用设置快照，但是我没有指定我需要快照的多个索引中的哪一个，这导致了我的快照中不需要索引的390（此时），这占用了不必要的资源： # curl http://0:9200/_snapshot/my_backup/_all?pretty | grep -cE '(filbeat|logstash)-2016' % Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed 100 62055 100 62055 0 0 4908k 0 –:–:– –:–:– –:–:– 5050k 390 # 我的环境： # curl 0:9200 { "name" : "k_slO6-", "cluster_name" : "elasticsearch", "cluster_uuid" : "dvoVw1oaTN2V_8f3BLEYhQ", […]
我一直在家里从本地机器连接到公司networking内的SearchGuard保护的ElasticSearch实例。 我正在使用一个本地SSH正向我正在为phpMyAdmin实例工作。 我的〜/ .ssh / config包含这些： Host workstation-forward-phpmyadmin LocalForward localhost:8080 $WORKSTATION:443 HostKeyAlias $GATEWAY Hostname $GATEWAY ExitOnForwardFailure yes User oschluet Host workstation-forward-elasticsearch LocalForward localhost:9200 $WORKSTATION:9200 HostKeyAlias $GATEWAY Hostname $GATEWAY ExitOnForwardFailure yes User oschluet 我把它们放在一个screen例如： ssh workstation-forward-elasticsearch或者ssh workstation-forward-phpmyadmin然后分离屏幕。 现在我可以通过访问https://localhost:8080通过浏览器访问phpMyAdmin，或者直接使用telnet与Web服务器通信。 不幸的是，ElasticSearch在这方面似乎存在一个问题。 从公司networking内的另一台机器上，我可以像这样访问ElasticSearch： oschluet@ravenwood:~$ curl -k https://$WORKSTATION:9200 –user $user:$pass { "name" : "redacted", "cluster_name" : "redacted", "cluster_uuid" : "redacted", […]
旋转磁盘用于Elasticsearch数据存储时，通常build议使用以下索引设置： index.store.throttle.type: none index.merge.scheduler.max_thread_count: 1 但是，假设使用16个HDD的RAID0arrays。 鉴于RAID0arrays上的IO操作已经优化，上述build议在这方面是否仍然有效？ 否则，在性能方面如何改变这些设置以充分利用基于HD RAID0的旋转存储？