所以这里是我从googlebot得到的一个例子:
66.249.73.171 - - [19/Feb/2013:16:12:39 -0500] "GET /eghm-blah.php?pid=2855 HTTP/1.1" 200 1684 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
我的post设置为增加新的post的pid
…但是我有最高的pid
是13.谷歌机器人已经慢慢地增加页码和寻找新的职位。 当它使访问尝试它不会404 eghm-blah.php
将显示一条消息,它无法find您的post。
有没有办法阻止每天点击我的服务器多次寻找不存在的pid的谷歌机器人?
eghm-blah.php
应该将返回码设置为404.你仍然可以在页面上显示任何你想要的,但是返回码需要是404。