我们知道，我们可以阻止某些蜘蛛使用robots.txt或.htaccess或者通过Apacheconfiguration文件httpd.conf来抓取网页。
但是这需要编辑可能是一些专用服务器上的大量网站，机器人仍然会“访问”和消耗资源。 是否有任何其他“安全”的方式来阻止这些IMG蜘蛛从根服务器像Windows服务器？
robots.txt不会阻止任何内容，不pipe是关注robots.txt还是忽略它，都由抓取工具来决定。 也没有中央列表爬虫，因为任何人都可以出于任何原因运行，他们可以看起来像普通的浏览stream量，声称来自普通的networking浏览器。
你可以做基本的引用检查来阻止图像的盗链，你可以做入侵防御来阻止端口扫描器和恶意请求，但是如果想要阻止蜘蛛而不是人而不是虚假警报，你可能需要把你的网站放在login页面后面。
机器人仍将“访问”并消耗资源。
最小的资源。 您将花费数小时的时间来实施，testing和摆脱“禁止蜘蛛”策略，您可以将这笔投资花费在可以应付它的硬件上。 它应该是背景噪音，真的。
如果蜘蛛正在锤击您的网站，它将如何应付实际用户？