Google网站站长常见问题解答表明,这将排除search中的所有xml文件:
User-agent: Googlebot Disallow: /*.xml$
这是否也适用于其他机器人?
User-agent: * Disallow: /*.xml$
是的,这是有效的。 但其他机器人是否真正了解和服从完全取决于他们,但!