我有一大堆不断增长的文本文件，它们都很小（小于100字节）。 我想区分每个可能的文件对，并注意哪些是重复的。 我可以写一个Python脚本来做到这一点，但我想知道是否有一个现有的Linux命令行工具（或者可能是一个简单的工具组合），会这样做？
更新 （回应mfinni评论）：这些文件都在一个目录中，所以它们都有不同的文件名。 （但是它们都有一个共同的文件扩展名，可以很容易地用通配符来select它们。）
那里有那些东西 但我通常使用find . -type f -exec md5sum '{}' \; | sort | uniq -d -w 36的组合find . -type f -exec md5sum '{}' \; | sort | uniq -d -w 36 find . -type f -exec md5sum '{}' \; | sort | uniq -d -w 36
那么FSlint–我没有用过这个特例，但我应该可以处理它： http : //en.flossmanuals.net/FSlint/Introduction
你几乎肯定不想区分每一对文件。 你可能会想使用类似md5sums的东西来获取所有文件的所有校验和，并将其传送到其他工具中，只会报告重复的校验和。