我今天注意到一些奇怪的东西。
如果我去http://www.google.com/robots.txt,IE11会显示我的机器人文件的内容。 但是,如果我去我的网站(仍在开发中)使用相同的浏览器,并指向它robots.txt,IE浏览器询问我是否要打开或保存到磁盘,如果我点击打开,它打开记事本中,而不是浏览器喜欢谷歌的。
是否有什么区别做像谷歌这样的事情(显然有一个不同的文件被提供的方式,所以这两个方法的专业和无线)是什么? 你怎么做到这一点? 我认为AddType / AddHandler与它有关,但我不知道如何去做。
这里是提琴手给我的网站的robots.txt文件:
HTTP/1.1 200 OK Date: Thu, 02 Apr 2015 17:16:06 GMT Server: Apache/2.4.9 (Win64) PHP/5.5.12 X-Powered-By: PHP/5.5.12 Content-Disposition: attachment; filename="robots.txt" Content-Length: 33 Keep-Alive: timeout=5, max=100 Connection: Keep-Alive Content-Type: text/plain User-agent: * Disallow: /images/
在“我的网站”上的文件由于内容configuration标题提供下载:
Content-Disposition: attachment; filename="robots.txt"
为了不下载文件,而是在浏览器中进行渲染 – 只需要删除该文件头即可。
这个文件是否带有这个头文件是没有意义的,因为目标读者(web-cralwers / bots /不是使用浏览器的人)几乎肯定会忽略它。