我有robots.txt，看起来像这样：
User-agent: * Disallow: /system/ Disallow: /admin/ Disallow: /index.php 明显的目标是防止所有丑陋的URL被索引，因为它们都以“/index.php”开头。
但由于某些原因，所有url（例如/ my-beautiful-sef-url-123）都列在Google网站pipe理员工具中的抓取错误下方，并显示“受robots.txt限制的url”。 （当我testing这样的url时，Googlebot和Googlebot-Mobile都会获得允许 。）
任何人都可以帮忙吗？
这些url是/ /我的美丽的sef-url-123真正的网页，或者他们做redirect到另一个页面？ 如果他们做redirect，也许尝试testingredirect到谷歌网站pipe理员页面？