服务器 Gind.cn
  • Linux
  • Windows
  • Ubuntu
  1. 服务器 Gind.cn
  2. robots.txt
  3. 不允许xml robots.txt
Intereting Posts
准备在Debian 7 Wheezy中使用BTRFS AWS EC2上的Mac OS X Server Amazon EC2实例 – m1.medium Ubuntu 12.04 – 三天前开始崩溃 级联交换机:上行链路到上行链路? 虚拟机pipe理器2012 CPU平均 Nagios自定义variables用于对象inheritance 计算机如何通过DHCP获取IP地址? 如何清除Windows XP上的脱机文件caching 在AWS和Heroku上分割应用程序 ESX Server安装程序无法检测到我的LAN卡 Exchange邮箱默认文件夹不是英文 虚拟机显示没有networking适配器 在Exchange Server 2003中托pipe多个域 Windows Server 2003中的软件RAID 另一个未知的域有一个指向我的域的logging

不允许xml robots.txt

Google网站站长常见问题解答表明,这将排除search中的所有xml文件:

User-agent: Googlebot Disallow: /*.xml$ 

这是否也适用于其他机器人?

 User-agent: * Disallow: /*.xml$ 

  • webcrawler机器人负载testing我的网站,它没有通过testing
  • 基于主机名的dynamicrobots.txt
  • 机器人文件的行为
  • 理想的WordPress的robots.txt?
  • 如何防止search引擎索引一个特定的url

  • 似乎阻止/我美丽的sef-url-123
  • 这是一个有效的robots.txt文件?
  • Robots.txt与几个VirtualHosts
  • 如何为所有我自己的子域服务robots.txt,而不是Apache上的其他主机?
  • 快速Robots.txt的问题

是的,这是有效的。 但其他机器人是否真正了解和服从完全取决于他们,但!

  • 我怎样才能使用清漆生成robots.txt文件,即使是同一网站的子域?
  • 有没有机会在专用服务器上阻止图像蜘蛛/机器人,而不使用robots.txt或.htaccess?
  • 如何通过REMOTE hostname / domain来阻止Apache中的所有虚拟主机的Spider / Scrapers?
  • 如何阻止在lighttpd请求robots.txt的url?
  • 为什么我的robots.txt不能正常工作?
  • 谷歌机器人旅行在一个完全正常的robots.txt,然后在一个不存在的robots.txt
  • 带有SSL的apache robots.txt
  • 如何阻止假的谷歌蜘蛛和假的网页浏览器访问?
  • 自定义robots.txt在Azure IIS 8中被覆盖
  • GoogleBot尊重用户代理:*

  • © 2017 服务器 Gind.cn
  • Topics
  •        
  • Powered by Server
  • Privacy Policy