我有一个目录充满了图像,我不想看到机器人,有没有办法让这个目录是私人的?
谢谢!
如何在search引擎优化(SEO)中使用Robots.txt
input“不允许:/文件夹名称”
对于包含不希望search引擎抓取的文件的任何文件夹。或者,键入“不允许:/filename.filetype”
对于任何页面或文件你不希望search引擎索引。
以下示例的注意事项:
* Disallow: /private/ * Disallow: /private/image01.jpg
在您的网站的根目录中创build一个robots.txt文件。 在那个文件里面放
User-agent: * Disallow: /images
这就是所谓的robots.txt文件 ,并且大多数机器人都会遵守robots.txt中的要求。
你会想要像下面这样的东西:
User-Agent: * Disallow: /path/to/images/
你想要robots.txt
是这样的:
User-agent: * Disallow: /MyImageDirectory
在你的根目录中,你可以放置一个robots.txt文件,禁止机器人索引特定的目录。
robots.txt只有乖巧的机器人才能遵守。 不是所有的人都像主要的search引擎一样行事良好 – 有些是由无能的小丑编写的,有些是由垃圾邮件发送者通过电子邮件地址进行编写的,等等。
无论如何,你也想closures索引closures该目录…无论是与.htaccess文件或在你的Apacheconfiguration如下所示:
<Directory / path / to / images / dir> 选项 - 索引 </ Directory>
或者在这里放置一个空白的index.html文件。
这将阻止他们看到图像文件的目录列表。 它不会阻止他们直接链接到您网站上其他页面的图片。
实际上很less有人能够真正阻止机器人访问networking服务器上的公共文件,这不会给您的用户造成不便,也不会通过仅为login用户提供服务的脚本提供服务来增加服务器的负载(例如通过检查一个cookie)。