服务器 Gind.cn
  1. 服务器 Gind.cn
  3. 使用robots.txt来防止抓取工具获取Trac页面的旧版本
Intereting Posts
特定于服务器的环境variables – / etc / profile或/etc/profile.d Cisco路由器1811 / k9 DDR内存testing失败 如何从SQL服务器获取SharePoint列表 Debian 5 Lenny如何将Python升级到2.7版本来运行Django应用程序？ 在哪个DNS进程中使用NSlogging？ Nginx和loadbalancer有很多错误400 access.log 重命名Linux vlan子接口 DNSparsing – 操作顺序 如何pipe理稀less资源的生产机器上的Ruby安装？ SQL 2008.需要什么权限才能看到日志文件的可用空间？ 如何在另一台主机而不是本地主机上设置ssh SOCKS代理？ 我可以安全地用铜线更换光纤SFP模块吗？ 我可以在/ etc / hostname中设置多个名称吗？ 新的第一层NTP服务器的实用性 从手动转换到基于组策略的软件部署

使用robots.txt来防止抓取工具获取Trac页面的旧版本

看我的Apache access.log我看到，抓取工具往往会得到旧版本的页面和文档，如： 

119.63.196.86 - - [10/Jun/2011:10:36:31 +0200] "GET /wiki/News?version=14 HTTP/1.1" 200 6073 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

我希望他们不要将?version=x后缀追加到URL中，这样他们只能得到最新的内容。

有没有办法通过robots.txt文件（或我不知道的其他机制？

如果您使用trac开箱，那么这些页面上就会有NOINDEX和NOFOLLOW，因为它们会被抓取，因此不会被索引。