我使用gitweb（和gitolite）在git.nomeata.de上托pipe了一些git仓库。 有时，一个search引擎蜘蛛出现，并开始敲击界面。 虽然我通常希望我的git存储库在search引擎中显示，但我不想完全阻止它们。 但他们不应该调用昂贵的操作，例如快照存档，search或生成差异。
什么是这样的安装“最好的” robots.txt文件？
我想这是一个很好的社区维基。 如果您认为可以改进，请扩展此robots.txt：
User-agent: * Disallow: /*a=search* Disallow: /*/search/* Disallow: /*a=blobdiff* Disallow: /*/blobdiff/* Disallow: /*a=commitdiff* Disallow: /*/commitdiff/* Disallow: /*a=snapshot* Disallow: /*/snapshot/* Disallow: /*a=blame* Disallow: /*/blame/*