Доброго времени суток.
Статистика вещь неумолимая - у многих пользователей на жестких дисках лежат, порой, десятки копий одного и того же файла (например, картинки, или музыкального трека). Каждая из таких копий, разумеется, отнимает место на винчестере. А если диск ваш уже «забит» под завязку - то таких копий может быть достаточно много!
Чистить дубликаты файлов вручную - вещь не благодарная, именно поэтому, я хочу собрать в этой статье программы для поиска и удаления дубликатов файлов (причем, даже тех, которые отличаются и по формату файла, и по размеру друг от друга - а это довольно сложная задача!). Итак…
Список программ для поиска дубликатов
1. Универсальные (для любых файлов)
Осуществляют поиск одинаковых файлов по их размеру (контрольным суммам).
Под универсальными программами, я понимаю, те, которые годятся для поиска и удаления дублей любых типов файлов: музыки, фильмов, картинок и пр. (ниже в статье для каждого типа будет приведены «свои» более точные утилиты). Работают они все в большинстве по одному типу: они просто сравнивают размеры файлов (и их контрольную сумму), если есть среди всех файлов одинаковые по этой характеристике - показывают вам!
Т.е. благодаря ним можно быстро найти на диске полные копии (т.е. один в один) файлов. Кстати, так же отмечу, что данные утилиты работают быстрее, чем те, которые специализированы для конкретного типа файлов (например, поиска картинок).
DupKiller
Эту программу я поставил на первое место по ряду причин:
- поддерживает просто огромное число разнообразных форматов, по которым она может проводить поиск;
- высокая скорость работы;
- бесплатная и с поддержкой русского языка;
- очень гибкая настройка поиска дублей (поиск по названию, размеру, типу, дате, содержимому (ограниченно)).
Duplicate Finder
Эта утилита, помимо поиска копий, еще и сортирует их так, как вам вздумается (что очень удобно, когда копий находится неимоверное количество!). Так же к возможностям поиска добавьте побайтовое сравнение, сверка контрольных сумм, удаление файлов с нулевым размером (и пустых папок тоже). В общем-то, с поиском дублей эта программа справляет довольно неплохо (и быстро, и качественно!).
Немного не комфортно будут себя чувствовать те пользователи, которые плохо знакомы с английским: русского в программе нет (возможно после будет добавлен).
Glary Utilites
Вообще, это не одна утилита, а целый сборник: поможет удалить «мусорные» файлы, задать оптимальные настройки в Windows, дефрагментировать и очистить жесткий диск и т.д. В том числе, в этом сборнике есть утилита для поиска дублей. Работает она относительно не плохо, поэтому я и порекомендую этот сборник (как один из самых удобных и универсальных - что называется на все случаи жизни!) еще раз на страницах сайта.
2. Программы поиска дубликатов музыки
Данные утилиты пригодятся всем меломанам, у которых на диске скопилась порядочная коллекция музыки. Рисую довольно типичную ситуацию: скачиваете различные сборники музыки (100 лучших песен октября, ноября и пр.), часть композиций в них повторяется. Не удивительно, что, накопив музыки на 100 ГБ (к примеру), 10-20ГБ - могут быть копиями. Причем, если бы размер этих файлов в разных сборниках был одинаковый - то их бы можно было бы удалить первой категорией программ (см. выше в статье), но так как это не так - то эти дубли не находятся ничем, кроме вашего «слуха» и специальных утилит (которые представлены ниже).
M usic Duplicate Remover
Результат работы утилиты.
Эта программа отличается от остальных, прежде всего, свои быстрым поиском. Она ищет повторные треки по их ID3 тегам и по звуку. Т.е. она как бы за вас прослушает композицию, запомнит ее, а затем сравнит ее с другими (таким образом, проделывает огромный объем работы!).
На скриншоте выше представлен ее результат работы. Свои найденные копии она представит перед вами в виде небольшой таблички, в которой к каждому треку будет приписана цифра в процентах схожести. В общем, достаточно удобно!
A
Найденные повторные MP3 файлы…
Эта утилита схожа с вышеприведенной, но у нее есть один несомненный плюс: наличие удобнейшего мастера, который будет Вас вести по шагам! Т.е. человек, впервые запустивший эту программу, легко разберется куда нажимать и что делать.
Например, в своих 5000 треках за пару часов, мне удалось найти и удалить несколько сотен копий. Пример работы утилиты представлен на скрине выше.
3. Для поиска копий картинок, изображений
Если анализировать популярность тех или иных файлов, то картинки, пожалуй, не отстанут от музыки (а для некоторых пользователей и перегонят!). Без картинок вообще сложно представить работу за ПК (и другими устройствами)! Но поиск картинок с одинаковым изображением на них - дело довольно трудное (и долгое). И, должен признаться, программ этого рода сравнительно не много…
ImageDupeless
Сравнительно небольшая утилита с довольно неплохими показателями поиска и устранения дублей картинок. Программа сканирует все изображения в папке, а затем сравнивает их между собой. В результате вы увидите список картинок, которые похожи друг на друга и сможете сделать вывод о том, какую из них оставить, а какую удалить. Очень полезно, иногда, прореживать свои архивы фото.
Пример работы ImageDupeless
Кстати, вот небольшой пример личного испытания:
- подопытные файлы: 8997 файлов в 95 каталогах, 785Мб (архив картинок на флешке (USB 2.0) - gif и jpg форматы)
- галерея заняла: 71.4Мб
- время создания: 26 мин. 54 сек.
- время сравнения и вывода результатов: 6 мин. 31 сек.
- результат: 961 похожее изображение в 219 группах.
Image Comparer
Об этой программе я уже упоминал на страницах сайта. Представляет собой так же небольшую программу, но с довольно хорошими алгоритмами сканирования картинок. Есть пошаговый мастер, запускающийся при первом открытии утилиты, который проведет через все «тернии» первой настройки программы для поиска дублей.
Кстати, чуть ниже приведен скриншот работы утилиты: в отчетах вы можете просмотреть даже мелкие детали, где картинки несколько различаются. В общем-то, удобно!
4. Для поиска дублей фильмов, видео-роликов
Ну и последний популярный тип файлов, на котором хотелось бы остановиться - это видео (фильмы, ролики и пр.). Если когда-то раньше, обладая 30-50 ГБ диском, знал в какой папке где и какой фильм сколько отнимает (и они все были наперечет), то, например, сейчас (когда диски стали 2000-3000 и более ГБ) - часто встречаются одни и те же ролики и фильмы, но в разном качестве (что может отнять достаточно много места на жестком диске).
Какими бы ни были объемными современные жесткие диски, растягиваться, увы, они пока еще не умеют.
Для любителей беспорядочно скачивать к себе на компьютер разнообразный контент это означает, что рано или поздно Windows выдаст сообщение о невозможности скопировать или сохранить тот или иной файл по причине нехватки свободного места.
Программа для поиска дубликатов файлов
В таком случае волей неволей приходится делать выбор: покупать внешний жесткий диск, перемещать файлы и DVD-диски или попросту удалять часть контента, чтобы освободить место для новых данных. Однако спешить не стоит.Одной из самых распространенных причин нехватки места на винчестере является дублирование файлов.
Бывает такое, что пользователь, забыв, что файл уже был скачан, загружает его повторно, возможно под другим именем и с другими метаданными.
Поэтому так важно перед освобождением диска от “балласта” произвести поиск на предмет наличия дубликатов файлов.
Программа Duplicate Cleaner
Сделать это можно с помощью программы Duplicate Cleaner специально предназначенной для поиска дубликатов файлов разных типов. Благодаря этому мощному и эффективному инструменту вы в считанные минуты сможете избавиться от дубликатов видео, аудио, тестовых , фотографий и прочих типов файлов. От аналогичных программ Duplicate Cleaner отличается высокой скоростью и точностью работы.
Кроме того программой поддерживается множество разнообразных фильтров, позволяющих выполнять поиск по заданным параметрам – имени, расширению, метаданным и т.п. Также стоит отметить возможность поиска на сетевых дисках и внутри архивов Zip, предпросмотр дубликатов (только изображений), сохранение произведенных операций в лог, экспорт результатов работы в формат CSV.
Anti-Twin
Duplicate Cleaner не единственная программа способная отыскать и удалить повторяющиеся файлы. Anti-Twin бесплатная, быстрая утилита ищет дубликаты ничуть не хуже.
Для начала поиска достаточно указать анализируемый раздел или директорию и нажать кнопку старта – Anti-Twin выведет список дубликатов с указанием полного пути, количества объектов, даты и размера.
Утилитой поддерживается поиск по заданным критериям, уровню соответствия (в процентах), предпросмотр изображений, быстрый переход к найденному и много других дополнительных функций.
Из особенностей данной утилиты можно отметить возможность сравнения двух директорий. Anti-Twin может использоваться как портативное приложение. К сожалению, в Anti-Twin нет русского языка, так что настройка некоторых опций может вызывать у пользователя не знакомого с английским определенные сложности.
SMF – Search my Files
Достаточно мощная и функциональная программа для поиска дубликатов. Отличительная черта этого приложения – огромное количество всевозможных фильтров и настроек. SMF – Search my Files поддерживается поиск по размеру, расширению, метаданным и множеству других критериев. Благодаря этому приложению можно извлечь и проанализировать альтернативные потоки ADS из любого типа файла.
Найденные дубликаты можно удалить (в том числе без возможности восстановления), переместить, скопировать, изменить его атрибуты (скрытый, только для чтения, архивный и т.д.). Также поддерживается экспорт в тестовый формат, просмотр и редактирование данных во встроенном шестнадцатеричном редакторе, поиск по командной строке. В установке SMF – Search my Files не нуждается и может запускаться с любого носителя.
Итог
Какая из этих трех программ для поиска дубликатов является лучшей? Сложно сказать. Все зависит от того, какие цели вы преследуете и каким уровнем подготовки обладаете.
Anti-Twin и SMF – Search my Files хороши, но по причине множества специфических функций больше подходят для использования опытными пользователями и системными администраторами.
Очень удобной функцией в приложении CCleaner является поиск дубликатов файлов. Очень часто на компьютере существуют идентичные по дате, размеру и названию файлы. Безусловно, некоторые из них нужны, а некоторые могли быть созданы случайно или загружены несколько раз из интернета. Все эти файлы в итоге накапливаются, свободного места становится все меньше и меньше, и, в итоге, компьютер начинает притормаживать. Поэтому, время от времени, от таких файлов нужно избавляться. Если вы продвинутый пользователь ПК, то вам не составит труда найти файлы дубликаты CCleaner какие удалять, но если вы новичок в этом деле, тогда мы поможем вам в этом разобраться.
Какие файлы не нужно удалять
Прежде чем начать поиск дубликатов и удалить их, давайте рассмотрим можно ли удалять файлы дубликаты Сиклинер? Для начала, хотелось бы отметить, что программа не даст удалить абсолютно все копии файла. Один из них обязательно должен остаться нетронутым. Далее, не рекомендуем удалять системные файлы. Наличие у них дубликатов вполне нормальное явление. Как правило системные файлы расположены на диске С в папке Windows.
Файлы, какие можно удалить
Как правило, компьютер состоит из нескольких разделов (дисков). Объем информации, который хранится на каждом из них, скорее всего, впечатляющий. Там есть и картинки, и музыка, и видео, и фотографии, и еще много всего. Некоторые из повторяющихся файлов могли быть продублированы пользователем ошибочно, например, по забывчивости файл был сохранен в разные разделы. Некоторые файлы могли быть загружены с интернета несколько раз и т.д. И когда программа находит такие файлы, то можно смело удалять их с вашего компьютера.
Поиск дубликатов
Во вкладке «Сервис » есть раздел «Поиск дублей ».
В этом разделе, на усмотрение пользователя, можно задать критерии поиска. Можно задать поиск дубликатов по какому-либо одному параметру поиска: по размеру, по дате, по имени и по содержимому или по нескольким параметрам одновременно, отмечая их галочками.
Также можно определить те файлы, которые необходимо пропускать. Здесь есть несколько вариантов:
- Файлы нулевого размера;
- Файлы, которые доступны только для чтения;
- Скрытые файлы;
- Системные файлы;
- Файлы, размер которых не превышает заданный вами объем мегабайт;
- Файлы, размер которых больше заданного объема мегабайт.
Во вкладке «Включения » можно указать места, в которых будет осуществляться поиск. Для проверки какой-либо определенной папки необходимо выбрать «Добавить ». Появится следующее окошко
Нажимаем на кнопку «Обзор » и выбираем желаемую папку, указав путь к ней.
Во вкладке «Исключения » можно задать те папки, которые не должны быть затронуты при поиске.
Добавить их можно аналогично вкладке «Включения ». Нажимаем «Обзор » и выбираем данную папку.
После установки всех параметров поиска нажимаем на кнопку «Найти ».
Результаты поиска дубликатов
После поиска, результаты будут показаны в виде таблицы.
В ней будет указано имена файлов, места, где они расположены, их размеры и даты создания.
Чтобы удалить дубликаты, ставим напротив них галочки. Если вы нажмете правой кнопкой мыши на каком-нибудь файле, то появится контекстное меню.
| Выделить все | Возможность отметить все найденные дубликаты. У всех файлов останется только одна копия – нижняя. |
| Снять выделение | Возможность убрать отметку со всех найденных дубликатов, в случае их выделения. |
| Выделить тип/Снять с типа | Возможность отметить (снять отметку) все файлы одинакового типа. |
| Исключить/Ограничить/Выбрать дубликаты | Возможность произвести выбранное действие применительно к одной из папок, в которых находится файл. |
| Сохранить отчет… | Возможность сохранения отчета в текстовом документе. |
| Открыть папку | Позволяет открыть папку, в которой располагается данный файл. |
После того, как вы выбрали все дубликаты, которые хотите удалить, нажимаем на кнопку «Удалить ».
После постоянного пользования компьютером, на его дисках накапливаются большие объёмы данных, т. е. всякие фотографии, видео, фильмы, музыка, документы и прочее. Эти данные занимают много места. Но очень часто слишком много места занимают дубликаты файлов.
В Windows, к сожалению, нет нормальных встроенных средств для поиска дубликатов файлов. Есть вариант сделать это через командную строку PowerShell, но это очень неудобно, тем более для новичков будет сложновато. Поэтому проще воспользоваться сторонними программами. Одна из таких называется AllDup. Она полностью бесплатная, доступна на русском языке, поддерживается всеми операционными системами Windows и, наконец, довольно проста в использовании.
Загрузка и установка программы AllDup
Программу можно загрузить бесплатно с официального сайта AllDup. Ниже ссылка на раздел загрузки:
Программа доступна в 2-х вариантах: обычном установочном и портативном (Portable). Портативный отличается тем, что не требует установки на компьютер, т. е. программу можно будет запускать прямо из скачанной папки.
Для загрузки нажмите кнопку «Server #1», либо «Server #2» или «Server #3» (если по первой кнопке загрузки не происходит, даны запасные серверы) под нужной версией программы.
За свежими версиями всегда обращайтесь к официальному сайту AllDup!
Установка программы очень проста, можно сказать состоит из последовательных нажатий «Далее», никаких специальных настроек производить не нужно. Поэтому данный процесс рассмотрен не будет. Смотрите также Как отключить или удалить OneDrive в Windows 10 и .
Поиск дубликатов при помощи AllDup
После того как установили программу, запустите её. Откроется главное окно для настроек поиска:
Настройка поиска включает в себя несколько этапов:
Имя файла;
Расширение файла;
Размер файла;
Содержимое файла.
Выбор папок на ваших дисках, где программа AllDup будет искать дубликаты.
Папки выбираются в разделе «Исходные папки». Вы можете отметить как целые локальные диски, так и отдельные папки на вашем компьютере. Обычно пользователи примерно предполагают, где могут располагаться дубликаты и в этом случае лучше выбрать конкретные папки, потому что поиск целиком по всем дискам, во-первых, может занять много времени (зависит от объёма хранящихся данных), а во-вторых, выдаст вам кучу дубликатов тех файлов, которые вам не интересуют (например, дубли всяких системных файлов Windows, которые лучше вообще не трогать).
Итак, выберите в окне нужные папки / диски для поиска, поставив напротив них галочки. Если нужной папки нет в списке, вы можете добавить её вручную, нажав правой кнопкой мыши (далее «ПКМ») в окне и выбрав «Добавить папку».
Откроется проводник, где вам осталось выбрать нужную папку и она будет добавлена в список.
Остальные параметры на данном этапе лучше оставить как есть. Смотрите также Способы взлома Ваших паролей и Ограничение времени работы в Windows 10 .
Метод поиска дублей.
Это важный этап, где вы настраиваете, по каким критериям AllDup будет определять наличие дублей. Можно задать сразу несколько критериев. Всё дело в том, что ведь не всегда схожие файлы могут считаться дублями. Например, у вас 2 одинаковых фотографии, но на одной из них стоит мелкая чёрная точка, пусть даже размером в 1 пиксель. В этом случае это уже другая фотография, потому что отличается её содержимое. С другой стороны у этих 2-х фотографий может быть одинаковое имя файлы, одинаковое расширение файлы и при выборе последних 3-х критериев, программа при поиске расценит эти фотки как одинаковые.
При таком выборе, вы наверняка безошибочно найдёте действительно файлы-дубликаты.
Таким образом отметьте критерии и больше на данном этапе можно ничего не настраивать.
Фильтрация файлов.
Вы можете настроить программу так, чтобы она в ходе поиска находила только файлы с нужными вам расширениями, например, только фотографии JPG, только видео MP4. Это очень удобно, когда вы знаете, от каких дубликатов хотите прежде всего избавиться (например, от видео, потому что оно много места может занимать) и не хотите потом в результатах поиска перерывать все подряд файлы, коих может насчитываться тысячами. Или можете отсеивать файлы по размеру, к примеру, находить только те, размер которых более 1 Гб.
Таким образом, на вкладке «Фильтр файлов» включите опцию «Использовать фильтр файлов» (1), отметьте «Включительно» (2), после чего ниже (3) выберите расширения файлов, которые программа будет находить. Файлы любых других расширений не будут выведены в результатах поиска.
Скорее всего в списке расширений будут не все, которые могут вам понадобиться. Чтобы добавить туда расширение, щёлкните ПКМ и выберите «Добавить фильтр путём ввода текста».
В открывшемся окне (1) введите *.расширение_файла, где вместо «расширение_файла», соответственно, укажите нужное вам расширение файла, чтобы программа эти файлы находила в поиске.
Например, если хотите, чтобы программа находила видео формата AVI, пишите, *.avi и нажимаете «ОК» (2). Символ «*» означает, что названия файлов могут быть любыми.
На этом же этапе вы можете настроить фильтрацию файлов в результате поиска по их размеру, например, чтобы отсеивались те, которые меньше заданного вами размера. Укажите нужные параметры внизу, под заголовком «Размер файла». В моём примере включена опция, исключающая файлы, размер которых меньше 500 Кб. Также Вам будет интересно Средство записи действий пользователя при возникновении неполадок и Не запускается компьютер и ноутбук на Windows 10. Как исправить? .
Это все основные этапы настройки поиска, остальные можно не задействовать.
Теперь, для запуска поиска дубликатов, нажмите кнопку «Поиск» вверху окна AllDup:
Начнётся процесс поиска.
Чем больше файлов в указанных вами папках находится на ваших дисках, тем дольше будет идти поиск.
После того как поиск будет завершён, программа в виде таблицы отобразит найденные файлы с дубликатами.
Первое, что лучше сделать сразу — сохранить результаты поиска, потому что если вы сейчас закроете это окно с результатами, то потом поиск придётся выполнять заново. Для сохранения нажмите кнопку с изображением дискеты, либо выберите в верхнем меню «Результат поиска» и нажмите «Сохранить результат поиска».
Теперь, даже если вы выключите компьютер, запустив потом программу снова, вы сможете вновь добраться до результатов поиска.
Результаты поиска вы можете отсортировать по разным параметрам, кликая по заголовкам столбцом в таблице. Наиболее полезный, на мой взгляд, критерий для сортировки — размер файлов. Поэтому, если хотите чтобы вверху таблицы отображались самые большие найденные файлы, то кликните по столбцу «Размер (Байт)».
Следующее, что лучше настроить для удобства просмотра результатов — отображаемый размер. Изначально размер файлов программа показывает в байтах, что не очень удобно. Лучше выставить отображение в мегабайтах или даже гигабайтах. Для этого нажмите кнопку, отмеченную на скриншоте ниже (1), после чего отметьте один из вариантов (2):
Теперь остановлюсь на том, как, собственно, пользоваться результатами поиска, как посмотреть и удалить ненужные дубликаты…
Найденные дубликаты программа делит на так называемые группы. Одна группа — это все найденные копии одного и того же файла, включая оригинал (он тоже будет отображаться в этой группе).
Чтобы посмотреть дубликаты одной из групп, нужно её открыть, кликнув по стрелочке. Пример:
Раскрыв определённую группу, вы можете проверить, что это за файл, открыв его. Для этого просто дважды кликните по файлу в группе, либо нажмите ПКМ и выберите «Открыть файл». Файл будет открыт через стандартную программу Windows, через которую у вас обычно открываются все файлы выбранного типа.
Чтобы удалить дубликаты, отметьте их галочкой, щёлкните ПКМ и выберите один из вариантов: удаление файла в корзину Windows, либо безвозвратное удаление.
Соответственно, не удаляйте все файлы из группы, потому что так вы удалите и дубликаты и оригинал сразу! Например, если в группе 3 файла, то удалив сразу 3, вы удалите и оригинал и 2 дубликата. В этом случае, чтобы сохранить только одну единственную копию файла, вам нужно удалить 2 файла из группы.
Таким образом вы можете проверять отдельно каждую группу и удалять дубликаты. Но если информации найдено очень много, можно сделать проще. Сделать так, чтобы программа автоматически выбрала в каждой группе все файлы, кроме одного (т. е. только дубликаты), после чего вы можете разом избавиться от всех дубликатов или перед этим пробежаться и перепроверить, точно ли всё отмеченное подлежит удалению.
Чтобы автоматически отметить дубликаты, зайдите в меню «Выбор» (1) и отметьте включите там один из вариантов (2), например, «Выбрать все файлы, за исключением первого файла».
В результате программа в каждой группе выделит 2 дубликата, а первый в списке файл оставит не выбранным. Т.е. таким образом вы отметите 2 дубликата, а оригинал останется не отмеченным. Или же можете через меню «Выбор» попробовать другие опции, удобные вам.
После того как программа отметила файлы, вы можете перепроверить выбор, если требуется. А чтобы быстро всё ненужное удалить или выполнить какое-то другое действие, нажмите кнопку, отмеченную на скриншоте ниже:
В открывшемся окне вы увидите общий объём выбранных файлов, т. е. сколько места занимают найденные дубликаты и количество выбранных файлов. Внизу вам нужно выбрать действие над выбранными файлами. Вы можете удалить файлы через корзину, удалить безвозвратно (пункт «Удаление файлов»), скопировать или переместить файлы в какую-либо папку, а также переименовать найденные дубликаты. Если вы уверены в том, что отмеченные файлы являются дубликатами и больше вам не нужны, то проще их удалить, но в любом случае, выбор за вами.
Итак, выберите нужное действие (1) и нажмите «ОК» (2). Больше здесь можно ничего не настраивать.
После этого программа произведёт выбранное вами действие над отмеченными ранее файлами!
Вот в общем то и весь процесс:) Чтобы выйти из результатов поиска, просто закройте это окно. Если вы сохранили результаты поиска, то затем, если вам снова потребуется этот результат, вы можете добраться до него через раздел «Результат поиска» (1) в главном окне программы. Сохранённые вами результаты будут отображены в таблице (2). Чтобы открыть нужный результат просто кликните по нему дважды.
Заключение
AllDup - очень удобная программа для поиска дубликатов ваших файлов на компьютере. В программе нет по сути ничего лишнего, в ней есть все нужные инструменты, фильтры и параметры для быстрой обработки большого объёма найденных дубликатов. Конечно, есть и аналогичные программы, которые, наверняка, тоже хорошо справляются со своей задачей. Я пробовал пока что только AllDup и менять её пока не вижу никакого смысла.