我有几千个请求似乎是从一个启用JavaScript的客户端来的,我想知道如果客户端可能是一个机器人。
是的 – 一个机器人可以用它收集的资源做任何事情,当然可以包括解释javascript。
举个例子,Google在search结果中显示新的小缩略图, 许多网站都依靠javascript来实现基本的显示function,所以js的解释对于提出接近准确的预览来说是必须的。
最简单的方法可能是检查用户代理string; 行为良好的机器人只会告诉你他们是什么。