我有这个robots.txt文件：
User-agent: * Sitemap: Path_to_sitemap.xml 我的问题是，我还应该有其他的东西吗？ 像允许所有或东西？
谢谢
这是一个有效的robots.txt。 您可以从谷歌阅读这篇文章： http : //www.google.com/support/webmasters/bin/answer.py?hl= zh_CN& answer=156449
取决于你想要什么;-)你不需要允许某事。 特别的，只是阻止你不会被谷歌和公司抓取的东西