FindRepe

Прочие, Системные утилитыПросмотров: 3051Комментарии: 33 марта 2016 г.

FindRepe — консольная Java утилита для сканирования каталогов в поиске дубликатов файлов. Первая версия утилиты была написана на C (си) / C++ и впервые опубликована в начале июля 2004 года. Утилита имела единственную опцию "-d" (--delete) и проверку дубликатов проводила используя только MD5, первый релиз текущей (Java) версии состоялся в середине марта 2009 года.

Рекурсивно сканируя каталог FindRepe вначале сравнивает файлы по размеру, найденные дубликаты впоследствии сравниваются по контрольным суммам, используются MD5 и SHA1 (чтобы избежать ложных срабатываний), проверка байт-в-байт (byte-a-byte) не проводится.

FindRepe выводит результаты поиска дубликатов кратко и расширенно, в нескольких уровней (-v, --verbose, -vvv). Из результатов поиска можно удалить "пустые файлы", при поиске можно задать минимальный и максимальный размер, задать отображения дубликатов по "шаблонам" (есть несколько вариантов фильтрации), для найденных файлов может отображаться размер и многое другое...

При использовании опции удаления FindRepe позволяет задействовать автоматический выбор файлов (применив различные параметры), при использовании опции с запросом на удаление первый найденный результат выводится сразу, пока пользователь решает какой дубликат удалить сканирование продолжается в фоновом режиме. Для повышения производительности чтение с нескольких устройств может производится в несколько потоков, максимальное количество потоков рассчитывается по количеству доступных ядер или процессоров (в соответствии с формулой N*2+N+N/2).