是否有可能阻止networking爬虫从我的服务器下载文件（如zip文件）？
我应该创build一个使用cookie的PHP脚本来跟踪访问者，特别是爬虫在下载3个文件后login/注册。 但是我发现networking爬虫可以绕过cookies。
是否有可能阻止networking爬虫？ 或者是否有任何其他的选项，将下载到3个文件后，从networking爬虫隐藏文件？
我可以使用cookie轻松创build一个PHP脚本来强制访问者login/注册，但是networking爬虫怎么样？
顺便说一下，我使用nginx和drupal CMS。 只要给这个信息，如果这可以帮助。
所以，如果你已经正确地devise了你的网站，那么你的客户端与某种types的爬虫程序所需要的安全性就没有区别。 根据您说您依靠cookie来追踪这一情况，恶意客户可以轻松绕过您的“安全”。 听起来你只是在处理客户行为良好的情况。 这对一些网站是好的（地狱，纽约时报这样做）。 您需要决定是否需要额外的安全措施（这会增加复杂性），或者如果没有安全措施，那么您还可以。
抓取工具不一定会发送cookie，但是再也没有正常的网页浏览器。 关于唯一可行的解决scheme是通过IP地址跟踪下载（虽然这变得没有用IPv6）。