我试图重写基于服务器的域的文件名。 下面的代码是错误的/不工作，但说明了预期的效果。 <If "req('Host') != '*.mydevserver.com'"> RewriteRule "^/robots\.txt$" "robots-staging.txt" [R] </If> 希望的效果是这个htaccess将指向一个不同的robots.txt取决于它是否在分期（通配符子域）或不。 用法示例： http://client1.devsite.com/robots.txt重写为 http://client1.devsite.com/robots-staging.txt http://client2.devsite.com/robots.txt改写为 http://client2.devsite.com/robots-staging.txt https://client.com/robots.txt不重写 https://myclient.com/robots.txt
雅虎的robots.txt包含： User-agent: * Disallow: /p/ Disallow: /r/ Disallow: /*? 最后一行是什么意思？ （“不允许： /*？”）
是否存在一个转发代理服务器，它将查找并遵守远程互联网域上的robots.txt文件，并代表请求者通过代理执行它们？ 例如，想象一下www.example.com上的一个网站，该网站上有一个robots.txt文件，用于限制某些url，并将爬网延迟应用于其他网站。 然后，多个自动客户端（例如爬虫，刮板）可以通过代理访问www.example.com网站，而不违反robots.txt指令，而无需自己访问文件（=>更简单的客户端和更less的请求获取robots.txt ） （具体来说，我在看“规范”的“GYM2008”版本 – http://nikitathespider.com/python/rerp/#gym2008 – 因为它被广泛使用）
目前的情况是，由于域名redirect，我们在我们网站的不同地方寻找robots.txt的机器人获得了成千上万的404错误。 我们的旧网站是由多个域名的dotnetnuke驱动的迷宫式多站点。 我们已经转换到一个域名WordPress的单一网站。 剩下的域名现在只是redirect到网站上的类别。 这意味着googlebot，bingbot和其他许多人反复尝试索引以前是成熟的网站和redirect的领域。 www.EXAMPLE.co.ukredirect至www.EXAMPLE.co.uk/challenge/ 所以/challenge/robots.txt有一千多个404s 和其他redirect一样，最终在/walktoschool/robots.txt等等 有一个聪明的方式来redirect机器人？ 或者用不同的方式处理这个问题，或者让机器人停下来？ 我们的新网站甚至不使用robots.txt，它使用htaccess与Better WP Security结合使用。 我已经向Google和Bing提出了重新抓取新网站的请求，但这是结果。 我是一个非营利组织的业余网站pipe理员，我真的不得不在地面上跑，任何帮助将受到感谢！
我在www.example.com/A/B/C/NAME（A，B，C变化，NAME是静态的）有一堆文件，我基本上想在robots.txt中添加一个命令，所以爬虫不会跟随任何这样的链接，最后有NAME。 什么是最好的命令在这个robots.txt使用？
我知道可以为Apache服务器*上的所有域创build一个robots.txt文件 ，但是我想追加到每个域（如果预先存在的话）robots.txt。 我希望所有域名都有一些通用的规则，但是我需要允许不同的域名拥有自己独特的规则。 有没有办法做到这一点？ （*在我的情况下Apache 2.2.x）
我一直在看的rails模板脚本会自动添加User-Agent:和Dissalow:在robots.txt中，从而禁止站点中的所有蜘蛛 什么是禁止蜘蛛的好处，你为什么要？
我发现这个脚本，并想知道这是否只是矫枉过正，甚至值得使用？ 使用mod_security对我来说更好吗？ # Generated using http://solidshellsecurity.com services # Begin block Bad-Robots from robots.txt User-agent: asterias Disallow:/ User-agent: BackDoorBot/1.0 Disallow:/ User-agent: Black Hole Disallow:/ User-agent: BlowFish/1.0 Disallow:/ User-agent: BotALot Disallow:/ User-agent: BuiltBotTough Disallow:/ User-agent: Bullseye/1.0 Disallow:/ User-agent: BunnySlippers Disallow:/ User-agent: Cegbfeieh Disallow:/ User-agent: CheeseBot Disallow:/ User-agent: CherryPicker Disallow:/ User-agent: CherryPickerElite/1.0 Disallow:/ User-agent: CherryPickerSE/1.0 Disallow:/ User-agent: CopyRightCheck […]
我们有一个运行Dotnetnuke的IIS站点，我们从另一个组接pipe。 我们已经将robots.txt文件添加到根目录，但是它返回了一个404.实际上根目录中的任何txt文件似乎都会返回404。 我似乎无法find他们可能已经阻止了这一点。 有什么build议么？ 编辑：我们有一个干净的IIS服务器上的网站文件和数据库设置duplciate，它在那里工作得很好，所以它似乎是在IIS级别或somethign别的web.config或类似之外。 编辑2：原来这是一个开发人员已经使用模块内的错误导致redirect的txt文件被搞砸了。 谢谢大家回复。
我有一个运行Windows Server 2008 R2的服务器，最近我的网站每天至less有一次无响应，似乎是随机间隔。 我已经安装了一些监控软件，并注意到匿名用户数在这种情况下会出现峰值，通常平均在100-200用户左右，但峰值跳跃到400-700左右。 这只是最近才开始发生在过去的几个星期，几乎立即重新启动我的IIS服务器修复。 我应该怎么做才能进一步调查，这可能是什么原因造成的呢？ 我最初的想法是，它是一个蜘蛛抓取我的网站在一个荒谬的速度，但我不知道如何确定这是否是真实的。 任何意见表示赞赏。