有没有办法告诉机器人不要看目录?

我有一个目录充满了图像,我不想看到机器人,有没有办法让这个目录是私人的?

谢谢!

如何在search引擎优化(SEO)中使用Robots.txt

input“不允许:/文件夹名称”
对于包含不希望search引擎抓取的文件的任何文件夹。

或者,键入“不允许:/filename.filetype”
对于任何页面或文件你不希望search引擎索引。

以下示例的注意事项:

* Disallow: /private/ * Disallow: /private/image01.jpg 

在您的网站的根目录中创build一个robots.txt文件。 在那个文件里面放

 User-agent: * Disallow: /images 

这就是所谓的robots.txt文件 ,并且大多数机器人都会遵守robots.txt中的要求。

你会想要像下面这样的东西:

 User-Agent: * Disallow: /path/to/images/ 

你想要robots.txt

是这样的:

 User-agent: * Disallow: /MyImageDirectory 

在你的根目录中,你可以放置一个robots.txt文件,禁止机器人索引特定的目录。

robots.txt只有乖巧的机器人才能遵守。 不是所有的人都像主要的search引擎一样行事良好 – 有些是由无能的小丑编写的,有些是由垃圾邮件发送者通过电子邮件地址进行编写的,等等。

无论如何,你也想closures索引closures该目录…无论是与.htaccess文件或在你的Apacheconfiguration如下所示:

 <Directory / path / to / images / dir>
  选项 - 索引
 </ Directory>

或者在这里放置一个空白的index.html文件。

这将阻止他们看到图像文件的目录列表。 它不会阻止他们直接链接到您网站上其他页面的图片。

实际上很less有人能够真正阻止机器人访问networking服务器上的公共文件,这不会给您的用户造成不便,也不会通过仅为login用户提供服务的脚本提供服务来增加服务器的负载(例如通过检查一个cookie)。