我试图在Ubuntu 16.04 LTS上设置ELT堆栈（因此堆栈可用的最新版本）kibana是nginx代理的后面（遵循本指南https://www.digitalocean.com/community/tutorials/how-to- install-elasticsearch-logstash-and-kibana-elk-stack-on-Ubuntu-16-04 ） 而且一切都很好，直到去kibana仪表板 Index Patterns Warning No default index pattern. You must select or create one to continue. unable to fetch mapping do you have indices matching the pattern ELK堆栈在一台服务器上，所以在本地主机上的一切 下面是我跑来检查我的configuration的命令 :~# curl 127.0.0.1:9200` { "name" : "Flex", "cluster_name" : "elk-00", "version" : { "number" : "2.3.3", "build_hash" : "218bdf10790eef486ff2c41a3df5cfa32dadcfde", "build_timestamp" : […]
我testing了elasticsearch并决定创build一个集群。 为此，我重命名了该节点并定义了一个集群 cluster.name = mycluster node.name = firstnode 重新启动更改时已考虑到，但现有数据不再可见（ http://myserver.example.com:9200/_plugin/head/显示索引）。 当删除上面的两行并重新启动索引返回。 我如何重命名保存现有数据的节点？
我有一个在Digital Ocean上托pipe的Ubuntu服务器，已经超过了现有的备份解决scheme。 我使用的堆栈的相关部分是Node.js，MongoDB和Elasticsearch。 到目前为止，已经通过转储整个MongoDB数据库，保存ESconfiguration，并将所有其他文件（日志，代码本身等）复制到应用程序目录中来完成备份。 如果是本月的第一个，所有的用户文件也被复制，否则只有从第一个月开始才添加文件。 所有这些都被压缩成一个文件并上传到Amazon S3。 数据大小已达到这个过程需要太多的磁盘空间，文件不能一次上传到S3。 什么是这个大小的应用程序的下一个级别（8 GB的用户文件，125,000用户，3,000其他文档，所有searchES）？ 我明白基于意见的问题是不正确的服务器故障。 我不是在征求意见，只是一个正常的，具有成本效益的解决scheme是适用于这种规模的应用程序。 更新：这是我试图使用Duplicity与脚本和configuration的相关部分。 我使用Node来pipe理备份，因为它适合我现有的日志logging解决scheme，已经计划在低活动时间与其他所有内容保持一致，并且可以在各个操作系统之间移植。 节点脚本，日志logging当然需要改进： // Walks a directory recursively and returns a flat list of files function walkDir() {}; // Node based rm -rf function rmrf() {}; exec("mongodump –out dump", { cwd: process.cwd() }, function(err, dta) { if (err) return log("Error backing up: couldn't […]
我一直在试图研究这个话题，但在迁移到云框架时还没有find推荐安装Redis和ElasticSearch等服务的地方。 目前，我正在两台静态服务器上运行Symfony2应用程序，一台运行MySQL，另一台运行Redis和ElasticSearch。 这两个服务器都是虚拟化的，但是目前这些服务器是无法复制的（各方面仍然依赖于本地文件系统）。 我们的目标是迁移到AWS，并使用自动扩展function来根据需要启动和停止Web服务器，但是我不清楚每个EC2实例上应该放置什么。 他们应该只是单一的责任吗？ 即为Web服务器，Redis和ElasticSearch设置单个实例，并且很可能是MySQL的RDS实例，并且只在Web服务器上设置自动扩展？ 我不预期必须随时扩展ElasticSearch服务器，因为它只能驱动searchfunction，但可能需要在某个时候复制Redis，但应该手动完成此操作吗？ 我不确定这是如何自动完成的，因为据我所知，每个实例都需要被configuration为了解它的主/从。 我会很感激这方面的build议。 当我在这里时还有一个简单的问题 – 当X Web服务器当前处于活动状态时，如何部署代码更改？ 我使用的Capifony部署脚本（Symfony2版本的Capistrano），我认为可以很容易地处理多个服务器，通过指定一个数组:domain地址…但如何可以这样处理，当Web服务器的数量可以改变？
据我所知索引（或数据）正在被存储在 /var/lib/elasticsearch 默认情况下，该文件夹包含0和1文件夹的nodes ，这些文件夹的总大小为376M 。 日志正在存储中 /var/log/elasticsearch -rw-r–r– 1 elasticsearch elasticsearch 1.4G Dec 17 23:59 elasticsearch.log.2014-12-17 -rw-r–r– 1 elasticsearch elasticsearch 1.5G Dec 18 19:35 elasticsearch.log.2014-12-18 -rw-r–r– 1 elasticsearch elasticsearch 383M Dec 19 20:11 elasticsearch.log.2014-12-19 -rw-r–r– 1 elasticsearch elasticsearch 7.2G Dec 30 23:59 elasticsearch.log.2014-12-30 -rw-r–r– 1 elasticsearch elasticsearch 9.1G Jan 1 23:59 elasticsearch.log.2015-01-01 -rw-r–r– 1 elasticsearch […]
打开elasticsearch时，出现以下configuration错误： [2015-04-21 20:49:45,635][INFO ][discovery.zen ] [Blackwulf] failed to send join request to master [[Conquistador][HzGNMjroRCuoHsoTyI3zag][elastic02][inet[/10.70.121.114:9300]]], reason [RemoteTransportException[[Conquistador][inet[/10.70.121.114:9300]][internal:discovery/zen/join]]; nested: NotSerializableTransportException[[org.elasticsearch.transport.ConnectTransportException] [Blackwulf][inet[/10.70.112.23:9300]] connect_timeout[30s]; No route to host; ]; ] 即使主机可以通过telnet访问： [root@elastic05 ~]# telnet 10.70.121.114 9300 Trying 10.70.121.114… Connected to 10.70.121.114. Escape character is '^]'. ^] telnet> quit Connection closed. [root@elastic05 ~]# telnet 10.70.121.114 9200 Trying 10.70.121.114… Connected to […]
我试图添加一个匹配以斜线结尾的请求的查询，如下所示： nnnn – – [16/Oct/2013:16:40:41 +0100] "GET / HTTP/1.1" 200 25058 "-" "Mozilla/5.0 (iPad; CPU OS 7_0_2 like Mac OS X) AppleWebKit/537.51.1 (KHTML, like Gecko) Version/7.0 Mobile/11A501 Safari/9537.53" 我正在使用Lucene查询types。 如果我的查询设置为* ，我看到事件。 如果我将其设置为request:"css" ，我会看到CSS请求，如预期的那样。 但是，以下所有情况都不会产生任何结果： request:"/" request:"\/" request:"\\/" 我尝试了一个Lucene的正则expression式，没有运气： request:/\// 我注意到别人正在看似乎是类似的问题，虽然这是关于Kibana 2的： https ： //github.com/rashidkpc/Kibana/issues/401 如何查询以/字符结尾的请求？
在单一节点弹性search和logstash一起，我们testing了20mb和200mb文件parsing到Elastic Search的不同types的AWS实例，即Medium，Large和Xlarge。 Logstash conf input { file { } } filter { mutate { gsub => ["message", "\n", " "] } mutate { gsub => ["message", "\t", " "] } multiline { pattern => "^ " what => "previous" } grok { match => [ "message", "%{TIME:log_time}\|%{WORD:Message_type}\|%{GREEDYDATA:Component}\|%{NUMBER:line_number}\| %{GREEDYDATA:log_message}"] match => [ "path" , "%{GREEDYDATA}/%{GREEDYDATA:loccode}/%{GREEDYDATA:_machine}\:%{DATE:logdate}.log"] break_on_match […]
我有以下的JSON文件 我已经使用awk来摆脱空的空间，尾随，下一行 awk -v ORS= -v OFS= '{$1=$1}1' data.json 我在data.json的顶部添加了一个创build请求，然后是\ n和我的其余数据。 {"create": {"_index":"socteam", "_type":"products"}} 当我发出批量提交请求时，出现以下错误 CURL -XPUT http://localhost:9200/_bulk { "took": 1, "errors": true, "items": [ { "create": { "_index": "socteam", "_type": "products", "_id": "AVQuGPff-1Y7OIPIJaLX", "status": 400, "error": { "type": "mapper_parsing_exception", "reason": "failed to parse", "caused_by": { "type": "not_x_content_exception", "reason": "Compressor detection can only be called […]
我们的一个应用程序使用Elasticsearch（1.4.4）作为内存中的caching。 该应用程序是使用Oracle 1.7在Tomcat 7上部署的Java webapp。 elasticsearch实例是部署在同一台服务器上的单节点安装程序。 由于elasticsearch 1.3.3在应用程序和Elasticsearch节点之间的环回接口中使用空闲应用程序进出约40 MBit / s。 这不是那么多，但会导致一个明显的负载，否则平抑系统。 我没有这个应用程序的生产系统，所以我不能真正说出它是如何演变的。 通过tcpdump抓取stream量并在Wireshark中分析stream量，这表明应用中的Elasticsearch-Client不断要求节点获取每次产生10k答案的cluster/node/info 。 也许完全不相关，但启用服务器和客户端日志logging给我们： Elasticsearch服务器日志： [2015-05-12 14:45:01,600][INFO ][node ] [Illyana Rasputin] initializing … [2015-05-12 14:45:01,608][INFO ][plugins ] [Illyana Rasputin] loaded [], sites [] [2015-05-12 14:45:06,666][INFO ][node ] [Illyana Rasputin] initialized [2015-05-12 14:45:06,667][INFO ][node ] [Illyana Rasputin] starting … [2015-05-12 14:45:06,828][INFO ][transport ] [Illyana […]