Какими бы ни были объемными современные жесткие диски, растягиваться, увы, они пока еще не умеют.

Для любителей беспорядочно скачивать к себе на компьютер разнообразный контент это означает, что рано или поздно Windows выдаст сообщение о невозможности скопировать или сохранить тот или иной файл по причине нехватки свободного места.

Программа для поиска дубликатов файлов

В таком случае волей неволей приходится делать выбор: покупать внешний жесткий диск, перемещать файлы и DVD-диски или попросту удалять часть контента, чтобы освободить место для новых данных. Однако спешить не стоит.Одной из самых распространенных причин нехватки места на винчестере является дублирование файлов.

Бывает такое, что пользователь, забыв, что файл уже был скачан, загружает его повторно, возможно под другим именем и с другими метаданными.

Поэтому так важно перед освобождением диска от “балласта” произвести поиск на предмет наличия дубликатов файлов.

Программа Duplicate Cleaner

Сделать это можно с помощью программы Duplicate Cleaner специально предназначенной для поиска дубликатов файлов разных типов. Благодаря этому мощному и эффективному инструменту вы в считанные минуты сможете избавиться от дубликатов видео, аудио, тестовых , фотографий и прочих типов файлов. От аналогичных программ Duplicate Cleaner отличается высокой скоростью и точностью работы.

Кроме того программой поддерживается множество разнообразных фильтров, позволяющих выполнять поиск по заданным параметрам – имени, расширению, метаданным и т.п. Также стоит отметить возможность поиска на сетевых дисках и внутри архивов Zip, предпросмотр дубликатов (только изображений), сохранение произведенных операций в лог, экспорт результатов работы в формат CSV.

Anti-Twin

Duplicate Cleaner не единственная программа способная отыскать и удалить повторяющиеся файлы. Anti-Twin бесплатная, быстрая утилита ищет дубликаты ничуть не хуже.

Для начала поиска достаточно указать анализируемый раздел или директорию и нажать кнопку старта – Anti-Twin выведет список дубликатов с указанием полного пути, количества объектов, даты и размера.

Утилитой поддерживается поиск по заданным критериям, уровню соответствия (в процентах), предпросмотр изображений, быстрый переход к найденному и много других дополнительных функций.

Из особенностей данной утилиты можно отметить возможность сравнения двух директорий. Anti-Twin может использоваться как портативное приложение. К сожалению, в Anti-Twin нет русского языка, так что настройка некоторых опций может вызывать у пользователя не знакомого с английским определенные сложности.

SMF – Search my Files

Достаточно мощная и функциональная программа для поиска дубликатов. Отличительная черта этого приложения – огромное количество всевозможных фильтров и настроек. SMF – Search my Files поддерживается поиск по размеру, расширению, метаданным и множеству других критериев. Благодаря этому приложению можно извлечь и проанализировать альтернативные потоки ADS из любого типа файла.

Найденные дубликаты можно удалить (в том числе без возможности восстановления), переместить, скопировать, изменить его атрибуты (скрытый, только для чтения, архивный и т.д.). Также поддерживается экспорт в тестовый формат, просмотр и редактирование данных во встроенном шестнадцатеричном редакторе, поиск по командной строке. В установке SMF – Search my Files не нуждается и может запускаться с любого носителя.

Итог

Какая из этих трех программ для поиска дубликатов является лучшей? Сложно сказать. Все зависит от того, какие цели вы преследуете и каким уровнем подготовки обладаете.

Anti-Twin и SMF – Search my Files хороши, но по причине множества специфических функций больше подходят для использования опытными пользователями и системными администраторами.

Иногда в повседневной компьютерной деятельности возникает задача найти дубликаты файлов. Причин для этого может быть множество: нехватка места на жестком диске, попытки уменьшить энтропию в своих файлах, разобраться со сброшенными в разное время фотографиями с фотоаппарата и множество других нужных случаев.

В сети можно найти большое количество программ, которые позволяют искать дубликаты файлов. Но зачем искать какие-то программы, если шикарный инструмент для такой работы обычно всегда под рукой. И называется этот инструмент Total Commander (TC ).

В этой статье я покажу все методы на основе Total Commander версии 8.5 , в этой версии поиск дубликатов файлов стал очень богат функционально.

!!!Маленькое важное отступление. Что нужно понимать под словом дубликат файла? Два файла ИДЕНТИЧНЫ только тогда, когда они полностью совпадают побитно. Т.е. любая информация в компьютере представлена последовательностью нулей и единиц. Так вот, файлы совпадают только тогда, когда у них полностью совпадает последовательность нулей и единиц, из которых эти файлы состоят. Все разговоры о том, что можно сравнить два файла по какому-либо другому признаку, глубоко ошибочны.

В TC есть два, различающихся по своей сути, метода поиска дублирующихся файлов:

• Синхронизировать каталоги;
• Поиск дубликатов;

Их особенность и применение лучше всего показать на примерах.

1.Синхронизация каталогов.

Данный метод применяется тогда, когда у вас две сравниваемые папки имеют идентичную структуру. Это обычно бывает во многих случаях, вот несколько из них:

• Вы регулярно делали архив своей рабочей папки. Через какое-то время вам понадобилось выяснить, какие файлы были добавлены или изменены с момента создания архива. Вы распаковываете весь архив в отдельную папку. Структура папок в нем практически совпадает с рабочей. Вы проводите сравнение двух папок «исходной» и «восстановленной из архива» и легко получаете список всех измененных, добавленных или удаленных файлов. Пара несложных манипуляций — и вы удаляете из восстановленной папки все дубликаты файлов, которые есть в рабочей.
• Вы работаете в папке на сетевом диске и регулярно делаете копию к себе на локальный диск. Со временем ваша рабочая папка стала довольно большой и время, затрачиваемое на полное копирование, стало очень большим. Чтобы не копировать каждый раз всю папку, можно сначала провести сравнение с резервной и скопировать только те файлы, которые были изменены или добавлены, а также удалить в резервной папке файлы, которые были удалены из основной.

Когда вы войдете во вкус, почувствуете всю предоставленную мощь этого метода, вы сами сможете придумать тысячи ситуаций, когда метод синхронизации каталогов окажет вам огромную помощь в работе.

Итак, как же все происходит на практике. Приступаем.

Предположим у нас есть основная папка «Рабочая» , в которой лежат файлы, с которыми происходит работа. И есть папка «Архив» , в которой лежит старая копия папки «Рабочая» . Наша задача найти в обеих папках дублирующиеся файлы и удалить их из папки «Архив» .

Открываем TC. В правой и левой панелях открываем сравниваемые папки:

Нажимаем меню «Команды»-«Синхронизировать каталоги…»

Открывается окно сравнения каталогов

Далее нам необходимо установить параметры сравнения. Ставим галочки в параметры «с подкаталогами», «по содержимому», «игнорировать дату»

• «с подкаталогами» — будут сравниваться файлы во всех подкаталогах, указанных папок;
• «по содержимому» — вот ключевая опция, которая заставляет TC сравнивать файлы ПОБИТНО!!! В противном случае, файлы будут сравниваться по имени, размеру, дате;
• «игнорировать дату» — эта опция заставляет TC показывать различающиеся файлы, без попытки автоматического определения направления будущего копирования;

!!! Сравниваться будут файлы только с одинаковыми именами!!! Если файлы идентичны, но они имеют разное имя, то они не будут сравниваться!

Нажимаем кнопку «Сравнить». В зависимости от объёма файлов, сравнение может идти очень долго, не пугайтесь. В конце концов сравнение закончится и в нижней строке состояния(на рисунке секция 1) отобразится результат:


Если кнопки в секции «Показывать» (на рисунке секция 2) нажаты, то вы увидите результат сравнения для каждого файла.

— эта кнопка включает отображение файлов, которые есть в левой панели, но которых нету в правой;

— эта кнопка включает отображение идентичных файлов;

— эта кнопка включает отображение различающихся файлов;

— эта кнопка включает отображение файлов, которые есть в правой панели, но которых нету в левой;

Если у вас, изначально, все кнопки отображения выключены, то результат сравнения можно оценить только по строке состояния (на рисунке выше секция 1), в данном случае мы видим что сравнились 11 файлов, из которых 8 файлов являются одинаковыми, 2 файла различаются, и еще в левой панели имеется файл, которого нет в правой панели.

Для выполнения нашего задания необходимо оставить отображение только идентичных(одинаковых) файлов, поэтому все остальные кнопки отображения выключаем


Теперь у нас остались только идентичные файлы, и мы спокойно можем удалить их в папке «Архив» . Для этого выделяем все файлы. Проще всего это сделать нажатием универсальной комбинации CTRL+A . Или сначала выделить мышкой первую строчку, потом нажать на клавиатуре клавишу SHIFT и не отпуская ее выделить мышкой последнюю строчку. В результате у вас должно получиться вот так:

Заключительным шагом мы нажимаем правой клавишей мышки на любую строку и в открывшемся меню выбираем пункт «Удалить слева»

TC любезно переспрашивает нас о нашем желании,

и если мы нажимаем «ДА» , то он удаляет все помеченные файлы в папке «Архив» .

После этого, автоматически, происходит повторное сравнение двух папок. Если вам не нужно повторное сравнение, то процесс можно прервать, нажав на кнопку «Прервать» или нажать клавишу ESC на клавиатуре. Если повторное сравнение не было прервано, и мы включили все кнопки отображения, то мы увидим вот такое окно

Все. Поставленная задача выполнена. Все одинаковые файлы найдены и удалены в папке «Архив» .

Обучающее видео по теме

2.Поиск дубликатов.

Коренное отличие данного метода от метода синхронизации каталогов заключается в том, что TC игнорирует имена сравниваемых файлов. Фактически, он сравнивает каждый файл с каждым, и показывает нам идентичные файлы как бы они не назывались ! Такой поиск очень удобен, когда вы не знаете ни структуры папок, ни имен сравниваемых файлов. В любом случае, после поиска дубликатов, вы получите точный список идентичных файлов.

Поиск дубликатов я покажу на одной практической задаче, поиске дубликатов личных фотографий. Довольно часто вы сбрасываете в компьютер фотографии со своих цифровых гаджетов. Частенько ситуация запутывается, что-то сбрасывается по многу раз, что-то пропускается. Как быстро удалить файлы, сброшенные несколько раз? Очень просто!

Приступаем.

Предположим, вы всегда сбрасываете все свои фотографии в папку «ФОТО» на диске D. После всех сбросов папка имеет примерно такой вид:

Как видим, некоторые файлы находятся в папках, названных по дате съемки, некоторые сброшены в корень папки «_Новые» и «_Новые1»

Чтобы начать поиск дубликатов открываем в любой панели TC папку, в которой будем искать. В нашем случае это папка «ФОТО»

Далее нажимаем на клавиатуре комбинацию клавиш ALT+F7 или в меню выбираем «Команды»-«Поиск файлов»

Открывается окно стандартного поиска TC. Строку «Искать файлы:» оставляем пустой, тогда будут сравниваться все файлы.

Затем переходим на закладку «Дополнительно» и выставляем галочки «Поиск дубликатов:», «по размеру», «по содержимому» и нажимаем «Начать поиск» .

Поиск может идти ОЧЕНЬ долго, не надо этого пугаться, так как происходит огромное количество сравнений большого объёма файлов. При этом в строке состояния показывается процент выполнения

Когда поиск закончится, откроется окно результатов поиска, в котором нажимаем кнопку «Файлы на панель»

В окне поиска и в окне панели идентичные файлы собраны в секции, отделенные пунктирными линиям

В каждой секции отображается имя файла и полный путь к файлу. Имена ИДЕНТИЧНЫХ файлов могут быть абсолютно различными!
В данном случае видно, что одна и таже фотография записана ТРИ раза, причем два раза под одним именем(IMG_4187.JPG ) а третий раз эта фотография записана под совершенно другим именем(IMG_4187_13.JPG ).

Далее остается выделить ненужные одинаковые файлы и удалить их. Это можно делать вручную, выделяя каждый файл нажатием клавиши Ins . Но это долго и не эффективно. Есть более правильные и быстрые способы.

Итак, наша задача состоит в том, чтобы удалить повторяющиеся файлы в папках «_Новые» и «_Новые1» .
Для этого нажимаем на дополнительной клавиатуре, справа большую клавишу [+] . Обычно этой клавишей в TC выделяются файлы по маске. Эту же операцию можно сделать через меню «Выделение»-«Выделить группу»

Здравствуйте Друзья! В этой статье мы разберемся как можно осуществить поиск дубликатов файлов на наших компьютерах. Признаюсь, у меня такой проблемы не стоит. Обычно, на моем компьютере три раздела. Первый системный от 50 до 100 ГБ, второй для документов от 100 до 200 ГБ и третий раздел для всего остального. У меня одна папка для фото, одна для музыки и так далее. Все прозрачно. Другое дело компьютер родителей. Жесткий диск разбит там на три части. На 3-ем разделе две или три папки с фотографиями + в каждой папке куча подпапок. На диске D так же в последствии образовалась папка фото. Перебирать все в ручную тяжело и тут нам помогут программы для поиска дубликатов файлов.

Мне не хочется устанавливать отдельную программу для какой-то функции так как функций бывает много (например дефрагментация или тот же поиск одинаковый файлов). Соответственно много программ придется ставить на компьютер . Позиция у меня следующая. Чем меньше устанавливаешь, тем надежнее и стабильнее работает компьютер .

Решения есть. Найти программу, которая практически необходима в обслуживании компьютера (то есть скорее всего будет установлена) и которая бы смогла искать дубли файлов. Искать долго не пришлось. Это уже знакомый и проверенный CCleaner от компании Piriform. Начиная с 4-ой версии в CCleaner прикрутили данную функцию и ниже мы посмотрим как она работает.

Программу, качаем с официального сайта

Устанавливаем.

При первом запуске выйдет окошко приведенное ниже. Если выбрать Да, то при очистке компьютера по умолчанию, возможно, не собьется авторизация на приведенных почтовый cервисах. Нажимаем Да

Переходим, слева, на вкладку Сервис

Нажимаем на кнопку Поиск файлов

Для поиска одинаковых файлов осталось только указать нужные настройки

Настроек не много и разбиты они на три группы:

• Совпадение
• Пропуск
• Место где искать и места исключения

Остановимся на каждой группе подробнее

Совпадение

Можно установить поиск файлов дубликатов по Имени, Размеру, и Дате изменения. Так же можно комбинировать эти критерии устанавливая больше одной галочки. При упорядочивании фото на компьютере родителей первым делом произведу поиск с совпадением по Имени. Скорее всего найдется куча файлов сохраненных в различных местах. Затем, интересен будет поиск с совпадением по Размеру. Так как фото может быть переименовано, но размер не должен измениться.

Как эффективно использовать поиск дублей с включенной галочкой Изменен мне пока не пришло в голову. Если у вас есть варианты отпишитесь пожалуйста в комментариях. Возможно, если вы взяли и дорисовали что то в фото, при этом не поменяв имя. Но, в этом случае, с огромной вероятностью, изменится размер.

Пропуск

Какие файлы необходимо пропустить при поиске дублей. Здесь возможны следующие варианты:

• Байты с размером 0
• Файлы только для чтения
• Размер менее х МБ
• Системные файлы
• Скрытые файлы

Место где искать и места исключения

Здесь с помощью кнопки Добавить на вкладке Включения задаете где искать дубликаты файлов. На вкладке Исключения добавляете места на жестком диске , флешке или на внешнем жестком диске , где не производить поиск.

В принципе все просто. Для сброса настроек нажимаете соответствующую кнопку.

Когда фильтр настроен нажимаете Найти.

Сортировка результатов поиска дубликатов файлов

В результате получается удобная для просмотра таблица с результатами поиска. Причем таблица формируется сразу, при обнаружении какого-либо дубля.

Предполагаемые дубликаты разделены между собой. Единственное, что хотелось бы видеть в этой таблице, сортировка по нажатию на какой-либо столбец.

При нажатии на файле правой кнопкой мышки появляется контекстное меню, которое позволяет удобно отсортировать результаты поиска. Это особенно актуально если результатов много.

Пункт Исключить позволяет убрать все файлы из выбранной вами папки. Например C:\Program Files. Пункт Ограничить оставит в результатах поиска только файлы из выбранной вами папки. Опция Выбрать дубликаты позволяет выбрать все файлы находящиеся в выбранной вами папке. Остальные пункты вроде бы понятны.

Очень полезен пункт Открыть папку. С помощью него можно быстро зайти и посмотреть где находится файл и нет ли там еще одинаковых файлов не попавших в таблицу результатов или отсеявшихся сортировкой.

Осталось вычислить какой из файлов нужно оставить, а остальные удалить воспользовавшись кнопкой справа внизу.

Заключение

Вот так с помощью старой доброй CCleaner собираюсь искать дубликаты файлов на своих и не только компьютерах . Для моих целей функционала программы достаточно. Если вам нужно больше, тогда стоит обратить внимание на DupKiller. Эта бесплатная программа, почитать о ней и скачать ее можно с официального сайта http://dupkiller.com/index_en.html . DupKiller имеет на много более широкие возможности выполнить настройку поиска. Так же там реализован просмотр графических файлов и прослушивание аудио. Интересна возможность задания не точного совпадения файлов, а до определенного уровня (процента).

Благодарю за то, что поделились статьей в социальных сетях. Всего Вам Доброго!