我正在运行的Apache 2.2,我的服务器运行良好。 注意到这个奇怪的exception在我的access.log文件中,我应该如何防止它? robots.txt似乎没有工作。
127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET / HTTP/1.1" 200 3022 "-" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/blank.gif HTTP/1.1" 200 487 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/layout.gif HTTP/1.1" 200 616 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/folder.gif HTTP/1.1" 200 564 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 127.0.0.1 - - [17/Apr/2011:12:17:00 +0100] "GET /icons/compressed.gif HTTP/1.1" 200 1379 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)" 127.0.0.1 - - [17/Apr/2011:12:17:01 +0100] "GET /icons/image2.gif HTTP/1.1" 200 650 "http://localhost/" "msnbot/1.1 (+http://search.msn.com/msnbot.htm)"
这是一个僵尸攻击,或者我的服务器搞砸了? 我应该如何解决它,以防止这种情况再次发生?
你有robots.txt吗?
如果没有,那么你应该创build一个。 你可以在这里阅读。
MSNbot将是微软用于msn / live / bing的webcrawler。 这通常不是“危险的”。 它会拾取robots.txt文件,并遵守它们,如果你有一个正确的configuration(请参阅user74596的答案)。 拾取robots.txt文件可能需要一两天的时间。
如果您希望人们能够在上面列出的search引擎中find您的网站,则不应阻止访问您的网站。