我们在Rackspace上为3个Web服务器节点设置了一个简单的负载均衡器。 在审查我们的stream量和费用后，最大的带宽是谷歌机器人。 由于在Rackspace上我们按字节支付带宽，因此我们希望将所有来自GoogleBot的stream量定向到带宽无限的其他主机（MediaTemple）。
我们认为这会每月减less数千美元的托pipe账单。
这可能吗？ build议？
这是可能的，但会使你的基础设施复杂化，你需要一个全球负载均衡器托pipe在某个地方（AWS也许）在机架空间的前面。 此外，如果Googlebot检测到这不是您的实时网站，那么您需要小心，这可能会影响您的排名。
其他选项，限制googlebot，而您的监控排名或谈论Rackspace看到他们可以提供一般在我的经验，他们有一些优秀的人，可以在这里build议（打开和closureslogging）。
认为最好的select是识别谷歌正在爬取的页面内容，并将其caching在CDN上，带宽将在其他地方卸载（应该更便宜），作为奖励，您还可以获得更具可扩展性的解决scheme。