真的很简单的问题。 我不想要Google帐户。 我只是希望谷歌停止每2分钟发一个不应该知道的URL(显然Google从search请求以及私人电子邮件收集URL,而不仅仅是从实际的网页)。
但是,当我search谷歌帮助删除url,看来我不得不使用他们的“网站pipe理员工具”,需要login到GMail帐户!
如何告诉Google,如果不成为客户,不要为我的url编制索引?
注意:我已经使用重写规则返回了404的URL,这似乎与抓取程序没有区别,抓取程序每2分钟不断尝试抓取页面。
您不需要GMail帐户,只需要一个Google网站帐户 – 您可以使用您现有的电子邮件login到与任何其他网站login相同的Google帐户。
去这里设置一个Google帐户,用您当前的电子邮件进行身份validation 。
设置一个robots.txt文件来阻止search引擎的东西。
不要让机器人索引它。 尝试:
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW, NOARCHIVE, NOSNIPPET, NOODP, NOYDIR" />
在页面的头部。