我可以通过IIS设置与robots.txt一样吗？ 天音
User-agent: * Disallow: / 在主机头或通过web.config？
不，这不是一个特定的方式。 可以使用http://en.wikipedia.org/wiki/Meta_element#The_robots_attribute中描述的robots.txt或HTML-Meta-Tag
只有这两个选项可用。
您可以使用存储在Web服务器某处的单个robots.txt文件，并将所有请求redirect到托pipe在IIS服务器上的任何站点，以将robots.txt保存到该文件中。 这将是IIS中的每个站点的更改，但是您可以使用PowerShell以编程方式执行此操作。