大约十天前，我将一个网站（主要是Joomla讨论板）移到另一个IP地址的新服务器上。 在短暂的计划停机时间内，我像往常一样复制了内容并完成了DNS切换（通过Cloudflare），并且大部分stream量都遵循了它 – 所有真正的用户都能够访问网站一个新的位置，似乎大部分networking爬虫要求。
但是，我仍然有networking爬虫试图访问我的网站在旧的IP。 我的意思是，特别是通过IP地址 – 尽pipe他们试图抓取现在存在于新服务器上的有效path。 虽然我看到零星的BingBot或雅虎Slurp条目，但主要是GoogleBot。 Apache日志在旧服务器上每分钟显示1-2次访问。
但是，这三台机器人大部分都是在新服务器上爬行的。
我已经从旧的服务器中删除了内容，所以这些请求被404s满足。 是否有一个通过服务器IP以某种方式进行索引的搜寻器约定？
有没有办法把他们踢进新网站？ 我应该积极尝试使用自定义HTTP错误代码redirect它们吗？
这些抓取工具上的DNScaching刷新可能花费大量的时间，但10天对我来说似乎是一个延伸。 OTOH你说他们打IP你的网站肯定是错误的。 TBH听起来更像是一个糟糕的链接，事实上你的web服务器不会将IP地址redirect到实际的FQDN URL，然后爬虫继续浏览网站自己的相对链接（但这只是一个假设）。
除非你打算用这个老服务器来做这个事情，否则我不会打扰redirect。 例如，我们在一年前实施了SSL（使用301redirect），但仍然通过普通的HTTP获得了很多请求。 他们是直接链接到特定的资产（如下载），所以这不是他们没有指定https：//input主要地址。 只要你继续服务，他们会继续使用它。
如果这些相同的漫游器也抓取你的新服务器，我真的不介意。 我的2美分。