我已经build立了我的网站上的VPS，网站工作正常，但是我有一个未知的问题与名称服务器（？）。
基本上，我不能爬w3机器人或谷歌机器人的网站。 W3说这是一个名称服务器的问题，谷歌说，这是一个robots.txt的问题。
我100％肯定这是不是我的robots.txt问题，我已经重新安装默认（网站是Drupal），甚至尝试从服务器中删除所有robots.txt。
因此，我认为这是一个名称服务器的问题，但所有前进和后退检查域名服务器检查器说没有问题，网站正在服务器上的域名没有问题。
我认为这是一个名称服务器的问题，因为我可以正确地抓取ip地址与w3.org返回的内容，但同样的服务会给我一个'500'错误时，我input的域名。 与谷歌类似的问题，除了我不能检查IP。
这可能是一个Apache的configuration问题？ 我真的不知道，也找不到任何类似的问题。
我的网站是mercadoingles.com，IP是31.200.242.26。 我知道显而易见的答案是robots.txt中的错误，但是您可以在mercadoingles.com/robots.txt中看到该文件是正确的，我真的没有答案，为什么该网站无法正确爬网，
任何明智的想法？
好的 – 事实certificate，这只是一个临时的错误，是在谷歌和wc3的caching，因为我正在configuration服务器，同时更改NS和DNS设置。 一个被拒绝的查询被caching，几天后这个工作正在进行，恐慌了！