rdfind — относительно простая в использовании консольная утилита, для поиска дубликатов файлов и выполнения различных действий над ними.
rdfind сканирует заданный каталог поиска дубликатов рекурсивно (сканируя и подкаталоги), в качестве параметров может быть задан список файлов и каталогов. В результатах поиска дублирующими файлами считаются те которые указаны в списке параметров позже, или те которые лежат "глубже" (используется система ранжирования). Найденные дубликаты могут быть выведены списком в файл (по умолчанию ~/results.txt), удалены, а так же заменены заменены символической или жёсткой ссылкой.
Высокая скорости работы rdfind обеспечивается используемым алгоритмом, файлы сравниваются по содержанию а не по именам файлов. Вначале файлы сравниваются по размеру, для найденных файлов одного размера производится проверка двух участков файла (начала и конца), в случае если участки оказываются идентичными производится расчёт и сравнение по контрольной сумме (md5 или sha1).
Предполагается что в большинстве случаев сравнение по контрольной сумме будет выполняется редко (только при крайней необходимости), так же (для ускорения работы) перед считыванием данных с диска они сортируются по устройству и индексному дескриптору (inode).
Лицензия: GNU General Public License version 2.0 (GPLv2)
