服务器 Gind.cn
  • Linux
  • Windows
  • Ubuntu
  1. 服务器 Gind.cn
  2. robots.txt
  3. 不允许xml robots.txt
Intereting Posts
无法连接到远程桌面网关服务器 如何获得在OpenWrt 10.03连接的WiFi客户端的列表? 在Ubuntu上使用RVM Gemset时,如何将Passenger指向正确的Gem文件? 捆绑:: GemNotFound SBS 2003备份解决scheme configurationAD-DS时,我打破了远程访问 在其中一个实例上使用EC2命令行工具的问题 EC2 Ubuntu Lucid主机名/服务器名称 通配符DNS和CNAME 比较Windows服务器的补丁/更新/修补程序安装 Asterisk电话系统在Linux上的性能 www和非www指向不同的地方 Amazon SES for ubuntu中的sendmail Samba在远程机器上共享 后缀:别名将被忽略 正确的SSH密钥位置为系统用户?

不允许xml robots.txt

Google网站站长常见问题解答表明,这将排除search中的所有xml文件:

User-agent: Googlebot Disallow: /*.xml$ 

这是否也适用于其他机器人?

 User-agent: * Disallow: /*.xml$ 

  • webcrawler机器人负载testing我的网站,它没有通过testing
  • 基于主机名的dynamicrobots.txt
  • 机器人文件的行为
  • 理想的WordPress的robots.txt?
  • 如何防止search引擎索引一个特定的url

  • 似乎阻止/我美丽的sef-url-123
  • 这是一个有效的robots.txt文件?
  • Robots.txt与几个VirtualHosts
  • 如何为所有我自己的子域服务robots.txt,而不是Apache上的其他主机?
  • 快速Robots.txt的问题

是的,这是有效的。 但其他机器人是否真正了解和服从完全取决于他们,但!

  • 我怎样才能使用清漆生成robots.txt文件,即使是同一网站的子域?
  • 有没有机会在专用服务器上阻止图像蜘蛛/机器人,而不使用robots.txt或.htaccess?
  • 如何通过REMOTE hostname / domain来阻止Apache中的所有虚拟主机的Spider / Scrapers?
  • 如何阻止在lighttpd请求robots.txt的url?
  • 为什么我的robots.txt不能正常工作?
  • 谷歌机器人旅行在一个完全正常的robots.txt,然后在一个不存在的robots.txt
  • 带有SSL的apache robots.txt
  • 如何阻止假的谷歌蜘蛛和假的网页浏览器访问?
  • 自定义robots.txt在Azure IIS 8中被覆盖
  • GoogleBot尊重用户代理:*

  • © 2017 服务器 Gind.cn
  • Topics
  •        
  • Powered by Server
  • Privacy Policy