好吧，所以我有一个奇怪的问题。 我们的网站被谷歌抓取很多。 有几个原因，这是不是很容易改变。 其中之一是你可以通过ita.example.com（意大利）和fra.example.com（法语）访问我们网站的本地化版本，如果没有login，我们做301redirect，内容将不会本地化（思考论坛post）但这仍然导致大量的爬行，由于谷歌认为我们的50个子域名都是不同的网站（不是最好的想法，但在我的时间之前，不容易改变）
我不想平掉限制谷歌，我知道我可以做的网站pipe理员工具或robots.txt文件
然而，7年的论坛post并没有真正改变，并且不需要每天为6个子域名爬行。
现在我知道我可以在页面上设置一个“过期”，但是这样会阻止它在谷歌search结果中显示出来，我可以用meta标签来阻止它，但是这样做也是一样的。
有什么办法，我可以指定谷歌“这是一个旧的页面，不要爬一年以上”一次？
如果没有办法做到这一点，有没有办法限制某些目录的速度？
sitemap.xml文件（ http://en.wikipedia.org/wiki/Sitemaps ）包含一个<changefreq>元素，表示search引擎应该检查更新的频率。 创build一个站点地图并将其设置为每月，每年或从不对这些URL应该可以降低Google抓取这些URL的频率。
您可以安装nofollow元标记
<META NAME =“ROBOTS”CONTENT =“NOINDEX，NOFOLLOW”>