请有人向我解释设置允许和不允许在robots.txt文件之间的区别，并创build没有跟随，没有索引元标记！ 是否有可能在robots.txt文件中设置没有跟踪和索引？ 我看在http://www.robotstxt.org/robotstxt.html并没有真正得到什么即时通讯寻找！ 谢谢
robots.txt文件将简单地告诉一个机器人，他可以去哪里，哪里不去。 它没有权力让机器人跟随另一个网站的链接。 nofollow，noindex元标记将防止兼容机器人索引或跟随指定的链接或网页中包含的链接。
在特定页面禁止robots.txt的机器人具有相同的效果，即为该页面设置noindex的META标签。
nofollow的META标签可以防止search引擎跟踪页面上的链接，即使它们被允许为页面本身build立索引。 没有这个robots.txt版本。
在robots.txt不够灵活的dynamic网站上， noindex可能会有用。 例如，如果您的系统使得url类似于node/123 ，则根据文章中的某些数据阻止文章必须使用noindex完成，因为robots.txt只能根据url本身的内容进行过滤。