http://www.mysite.com/moduleA?param=secretkey 所以当我谷歌search“mysite.com”，我不希望上面的链接出现在search结果中。
但是，以下url是公众查看的一部分：
www.mysite.com/moduleA www.mysite.com/moduleA?id=12345 www.mysite.com/moduleA/somepage.html
可以这样做吗？ 机器人文件可以用于这个？
你可以做一些事情：
robots.txt文件中阻止该url。 ROBOTS META标签。 但最终，任何秘密都不应该直接进入这样的url – 并不是所有的networking爬虫都遵守这些机器人的指令，有些（垃圾邮件等）专门search出来，看看它们。