我正在寻找一个定期更新不同的机器人，蜘蛛和爬虫的数据库。 我希望能够从IIS的日志文件中识别它们。
User-Agents.org有一个相当大的用户代理/蜘蛛等数据库。它似乎是正式更新（最后更新是2/28/2009）。 数据可通过RSS / XML获得。