服务器 Gind.cn
  • Linux
  • Windows
  • Ubuntu
  1. 服务器 Gind.cn
  2. robots.txt
  3. 不允许xml robots.txt
Intereting Posts
Snort:无法打开规则文件 IPTablesconfiguration允许所有连接,只有closures/拒绝一次数据发送 有一个SSL等同于一个SSH代理? 推荐用于iSCSI实施的交换机 你跟踪哪些configuration项目来进行适当的configurationpipe理? Mondoarchive,我可以减慢写入速度,我可以占用更less的CPU资源吗? 如何防止在FTP大文件时TCP连接超时? SSH挂起没有密码提示 是否有可能通过sssd使用TLS通过TLS? 系统服务自行closures 发送辅助MXlogging Exchange 2010服务器 – 事务日志增长速度超出预期 Cygwin基于密钥的validation 使用Windows Server 2008进行端口转发 Apache / 2.2.20(Ubuntu 11.10)gzip压缩不能在php页面上工作,内容被分块

不允许xml robots.txt

Google网站站长常见问题解答表明,这将排除search中的所有xml文件:

User-agent: Googlebot Disallow: /*.xml$ 

这是否也适用于其他机器人?

 User-agent: * Disallow: /*.xml$ 

  • webcrawler机器人负载testing我的网站,它没有通过testing
  • 基于主机名的dynamicrobots.txt
  • 机器人文件的行为
  • 理想的WordPress的robots.txt?
  • 如何防止search引擎索引一个特定的url

  • 似乎阻止/我美丽的sef-url-123
  • 这是一个有效的robots.txt文件?
  • Robots.txt与几个VirtualHosts
  • 如何为所有我自己的子域服务robots.txt,而不是Apache上的其他主机?
  • 快速Robots.txt的问题

是的,这是有效的。 但其他机器人是否真正了解和服从完全取决于他们,但!

  • 我怎样才能使用清漆生成robots.txt文件,即使是同一网站的子域?
  • 有没有机会在专用服务器上阻止图像蜘蛛/机器人,而不使用robots.txt或.htaccess?
  • 如何通过REMOTE hostname / domain来阻止Apache中的所有虚拟主机的Spider / Scrapers?
  • 如何阻止在lighttpd请求robots.txt的url?
  • 为什么我的robots.txt不能正常工作?
  • 谷歌机器人旅行在一个完全正常的robots.txt,然后在一个不存在的robots.txt
  • 带有SSL的apache robots.txt
  • 如何阻止假的谷歌蜘蛛和假的网页浏览器访问?
  • 自定义robots.txt在Azure IIS 8中被覆盖
  • GoogleBot尊重用户代理:*

  • © 2017 服务器 Gind.cn
  • Topics
  •        
  • Powered by Server
  • Privacy Policy