我开始了一个相对较新的网站，并将其提交给谷歌和一切。 我也使用谷歌的网站pipe理员工具。 我想知道如何找出谷歌的蜘蛛访问我的网站的频率。 我总是听到有人在论坛上谈论“我一个小时爬了250页”，等等…有软件可用吗？ 类似于谷歌分析的JavaScript方法？ 还是有什么东西来分析我的服务器的日志？ 谢谢
如果访问者的User-Agent请求标头匹配/包含Googlebot只需检查Web服务器日志。 有很多networking服务器日志分析工具 ，无论是免费或付费软件。 他们大多数也能够分类机器人。 从他们所有我有最好的经验与谷歌分析 。
谷歌网站pipe理员中心，也就是网站pipe理员工具的注册，validation您的网站，并等待出现的统计数据。
这是相当不可能的谷歌机器人将运行您的网站上的任何Javascript将跟踪到达，所以最好的希望是看看自己的网站日志 – 无论是在webalizer或数百其他日志文件parsing器，或只是打开它们在一个texteditor并运行一个正则expression式来提取Google Bot用户代理。
你应该看到它在一段时间内做了多less点击。 如果太多，你可能想看看使用XML站点地图
AWstats是一个很好的免费实用程序，可用于日志文件分析。 除了Google抓取信息之外，它还会为您提供很多有趣的统计信息。
我会推荐Google分析，它涵盖了所有访问您的网站，你可以计算出访问者是否是一个机器人。 search引擎优化在您的网站也是非常好的，有助于增加访问者。
AWstats是一个很好的免费实用程序，可用于日志文件分析。 除了Google抓取信息之外，它还会为您提供很多有趣的统计信息。
Awstats确实是一个很好的工具
查看本文，了解如何在Googlebot抓取您网站的网页时发送邮件
您可以使用Google网站pipe理员工具，它会告诉您机器人爬行您的网站的频率