Черные списки

Черные списки включают IP-адреса, с которых производится рассылка спама.

Для настройки перейдите в раздел Защита от спама -> Черные списки и нажмите кнопку "Создать" . В поле Отправитель укажите IP-адрес почтового сервера (либо первые цифры из этого адреса), почтовый домен, либо отдельный адрес электронной почты, для которого пересылка почты будет запрещена (в зависимости от установленного почтового клиента форматы записи будут различаться).

Серые списки (Greylisting)

Принцип действия серых списков основан на тактике рассылки спама. Как правило, спам рассылается в очень короткое время в большом количестве с какого-либо сервера. Работа серого списка заключается в намеренной задержке получения писем на некоторое время. При этом адрес и время пересылки заносится в базу данных серого списка. Если удалённый компьютер является настоящим почтовым сервером, то он должен сохранить письмо в очереди и повторять пересылку в течение пяти дней. Спам-боты, как правило, писем в очереди не сохраняют, поэтому спустя непродолжительное время прекращают попытки переслать письмо. При повторной пересылке письма с этого же адреса, если с момента первой попытки прошло необходимое количество времени письмо принимается и адрес заносится в локальный белый список на достаточно длительный срок. Одним из недостатков метода является возможность возникновения задержки доставки почты от 15 минут и более, в зависимости от настроек сервера отправителя.

Настройка серых списков производится в модуле Greylisting , где необходимо указать требуемые параметры. Greylisting в панели ISPmanager работает через два приложения - Milter-greylisting и Postgrey, которые необходимо сначала активировать в разделе Возможности .

Блокировка dnslb

DNSBL (DNS blacklist) - списки хостов, хранимые с использованием системы DNS. Почтовый сервер обращается к DNSBL и проверят в нем наличие IP-адреса, с которого он принимает сообщение. Если адрес находится в этом списке, то оно не принимается сервером, а отправителю отсылается соответствующее сообщение

В разделе Защита от спама выберите Блокировка dnsbl , нажмите кнопку "Создать" и добавьте новый список блокировки dnsbl. В поле Список блокировки укажите доменное имя списка блокировки. С этого сервера будет запрашиваться информация о наличии того или иного почтового сервера в чёрном списке.

Здесь вы можете найти самые распространенные списки блокировки: http://www.dnsbl.info/dnsbl-list.php

Лимит сообщений

Еще один способ борьбы со спамом - это установка ограничения на количество сообщений.

Данный функционал доступен, если у вас установлен Exim.

SpamAssasin

Программа SpamAssasin (SA) позволяет произвести анализ содержимого уже доставленного письма. Вы можете добавить в заголовки письма соответствующие строки, а пользователь, на основе почтовых фильтров в почтовом клиенте, может отфильтровать почту в нужные папки почтовой программы.

Чтобы иметь возможность использовать SA в панели ISPmanager, активируйте его в модуле Возможности . По умолчанию, после активации будет включена функция автоматического самообучения, но, помимо этого, эффективность задержания спама, можно значительно повысить с помощью «ручного» обучения фильтра .

Настройка почтового ящика и почтового домена

Для полного отключения проверки на Greylisting для какого-либо адреса или домена получателя (например, если вы не хотите, чтобы почта подвергалась данной проверке) перейдите в модуль

Это новый продукт "Лаборатории Касперского", предназначенный для комплексной защиты домашнего компьютера. Эта программа обеспечивает одновременную надежную защиту от вирусов, хакеров и спама. Модуль Kaspersky Anti-Spam является одним из элементов этой системы защиты домашнего компьютера. Прежде всего надо отметить, что Kaspersky Anti-Spam не является самостоятельным продуктом и не работает отдельно от Kaspersky Personal Security Suite. В некоторой степени это можно назвать недостатком, так как пользователи не могут использовать Kaspersky Anti-Spam отдельно, но и комплексная защита имеет свои несомненные достоинства.

Антивирусная защита и межсетевой экран от не раз рассматривались на страницах нашего издания. Поэтому в этой статье мы рассмотрим исключительно работу антиспам-модуля.

Основа Kaspersky Anti-Spam - интеллектуальная технология SpamTest, которая обеспечивает: нечеткое (то есть срабатывающее и при неполном совпадении) сравнение проверяемого письма с образцами - письмами, ранее идентифицированными как спам; выявление в тексте письма фраз, характерных для спама; обнаружение картинок, ранее использованных в спамерских письмах. Кроме перечисленных выше критериев для идентификации спама используются и формальные параметры, в числе которых:

  • "черные" и "белые" списки, которые может вести пользователь;
  • различные особенности заголовков почтового сообщения, характерные для спама, - например, признаки фальсификации адреса отправителя;
  • приемы, применяемые спамерами для обмана почтовых фильтров, - случайные последовательности, замена и удвоение букв, текст белым по белому и другие;
  • проверка не только текста самого письма, но и вложенных файлов в форматах plain text, HTML, MS Word, RTF и других.

Инсталляция антиспам-модуля

Модуль устанавливается при инсталляции Kaspersky Personal Security Suite. При выборе параметров инсталляции пользователь, использующий другие, отличные от почтовых программ Microsoft почтовые клиенты, может не устанавливать модуль для Microsoft Outlook.

Надо отметить, что Kaspersky Anti-Spam проверяет любую корреспонденцию, поступающую по почтовому протоколу SMTP. Благодаря этому он может отсеивать спам в любой почтовой программе, но об этом ниже.

Интеграция в Microsoft Outlook Express

Программа не имеет своего интерфейса как такового. В Microsoft Outlook Express модуль Kaspersky Anti-Spam интегрируется в виде меню и в виде дополнительной панели.

Можно отметить некоторое неудобство при использовании этой панели, правда, никак не связанное с самим антиспам-модулем. В силу принципов работы механизма программы Microsoft Outlook Express панель Kaspersky Anti-Spam невозможно закрепить в удобном для пользователя месте. При каждом запуске программы панель будет появляться третьей по счету. Придется постоянно переносить ее в удобное место либо смириться с таким положением вещей.

Работа программы

При приеме почты Kaspersky Anti-Spam производит анализ поступающей корреспонденции. При обнаружении спама письмо помечается специальной меткой [!! SPAM] в поле "Тема" и помещается в папку "Удаленные". Письма, распознанные как не спам, ничем не помечаются и обрабатываются почтовой программой в соответствии с установленными правилами. Если программа не уверена, что письмо спамерское, то ставится метка [?? Probable Spam] и письмо помещается в папку "Входящие" для принятия пользователем окончательного решения. Кроме этого программой используются еще два вида меток: - для писем с непристойным содержанием и - для автоматически генерируемых писем, например писем от почтовых роботов.

Благодаря таким меткам можно организовать работу Kaspersky Anti-Spam с любой другой почтовой программой. Достаточно создать правила в почтовом клиенте для сортировки писем по этим меткам. В самой же Microsoft Outlook такие папки создаются одним нажатием кнопки в окне настроек антиспам-модуля.

Обучение программы

Обучение программы может происходить двумя способами: путем классификации принятых сообщений пользователем как спам - не спам и за счет загрузки обновлений с сервера "Лаборатории". Первый способ позволяет обучать программу под личную почту пользователя, второй - оперативно реагировать на массовые явления спама в Интернете.

При первом запуске Kaspersky Anti-Spam извлечет из адресной книги Microsoft Outlook все адреса для помещения их в "Список друзей". Все письма от этих адресатов будут восприниматься антиспам-модулем как не спам и пропускаться без проверки. Впоследствии пользователь может отредактировать этот список, добавляя или удаляя в него адресатов. Кроме "Списка друзей" есть еще и "Список врагов". Любая корреспонденция, полученная от адресатов из "Списка врагов", будет однозначно оцениваться как спам.

Добавление адресатов в списки друзей или врагов осуществляется простым нажатием специальной кнопки на панели Kaspersky Anti-Spam. Там же производится обучение. При пропуске спам-письма нужно просто нажать кнопку "Это спам". Появится окно, в котором пользователь должен указать программе, что делать с данным сообщением.

Команда "Отослать как пример спама" формирует письмо в "Лабораторию Касперского" с сообщением о спаме для дальнейшего обучения. Этой командой можно пренебречь. Можно пренебречь и добавлением автора к врагам, но обязательно стоит добавить письмо к образцам спама. Так происходит обучение программы под личную корреспонденцию.

Так как Kaspersky Anti-Spam не интегрируется в другие почтовые клиенты, его обучение в этих программах возможно только за счет обновлений, получаемых с сервера "Лаборатории". К сожалению, такой вариант обучения не дает возможности обучить программу под особенности личной почты.

Настройки

В настройках программы можно: указать места размещения баз модуля, если пользователь хочет, чтобы они хранились в нестандартном месте; отключить или включить фильтрацию; задать параметры обновления и просмотреть статистику.

Модуль Kaspersky Anti-Spam обеспечивает достаточно полную защиту почты пользователя от спама. Как и любая другая программа, он требует обучения. И пока это обучение происходит, возможны ошибочные распознавания правильных писем как спам и наоборот. Относительным недостатком можно назвать то, что модуль не позволяет удалять на сервере письма, которые являются явным спамом. Пользователю все равно приходится расходовать свой трафик на эти ненужные ему письма. С другой стороны, при таком подходе к фильтрации спама ни одно ценное сообщение не потеряется. Во всем остальном Kaspersky Anti-Spam заслуживает самого серьезного внимания, особенно если учесть интеграцию модуля с другими программами, обеспечивающими безопасность компьютера пользователя.

Введение в проблему

Все мы знаем, что такое спам, потому что либо сталкивались с этим, либо читали об этом. Все мы знаем, как спамеры собирают адреса для рассылок. Так же не секрет, что спам невозможно победить полностью. Проблема состоит в том, как максимально защитить пользователей, оставляющих свои контанктные координаты на вашем сайте, минимальными усилиями.

Ранее испытанные способы защиты

Самую большую угрозу почтовым ящикам представляют программы, качающие сайты и берущие из текста страниц почтовые адреса. Они качают либо только ваш сайт, либо бродят, как поисковые системы, по всей сети. Если ваш сайт небольшой, вполне достаточно защиты такой автозаменой текста:

]+href=)([""]?)mailto:(+)()@".
"()(+.{2,4})2([ >])~i", "1"mailto:[email protected]"
onMouseover="this.href="mai" + "lto:3" + "4" + "%40" + "5" + "6";"7", $text); ?>

К сожалению, она не сработает, если у вас большой сайт. Скажем, spectator.ru, автор которого одним из первых стал использовать этот метод. Будь я спамером, я бы залез в персональные настройки, поставил галочки "не показывать ушки", 1000 отзывов на странице, и отловил куки Proxomitron’ом. Потом качалкой или php-скриптом выкачал бы страницы с комментариями (подставив куки с настройками) и при помощи регулярного выражения выловил адреса. Получил бы небольшую базу для рекламной рассылки.

Была ещё пара способов защиты, в которых ссылка mailto: автоматически заменяется на кукую-либо другую, но эффект оставался прежний - при нажатии на неё системный клиент создавал бы письмо по нужному адресу. Оба они не выдержали критики.

Знакомьтесь: ежовые рукавицы

Очевидно, сложно придумать другой способ защиты кроме уже испытанного - предоставления формы на сайте для отправки сообщения. Займёмся её проектированием. Достоинства способа очевидны: никто уже не сможет достать из вашего сайта адреса для своей спамерской базы данных. Отсылать сообщения, спрятав свой адрес, как это делают спамеры, не получится - веб-сервер зафиксирует его IP-адрес. Списки публичных анонимных прокси-серверов регулярно обновляются, и заблокировать доступ с них легко.

Формоотправитель

Начнём именно с него, потому что это самая сложная часть.

Устанавливая формоотправитель на сайте, важно защитить его от хулиганских атак, которые могут быть ничуть не легче спама. Поэтому нам придётся приложить большие усилия в этом направлении.

Во-первых, защитимся от глупых двойных нажатий и отправки множества одинаковых запросов. Идея такова: сообщение не будет отправлено, если перед этим пользователь не открыл страницу с формой, а, открыв страницу с формой, можно отправить сообщение только один раз. Сделать это можно при помощи встроенных в PHP сессий. При открытии страницы с формой мы запустим сессию, в которую сохраним переменную, скажем $flag. Идентификатор сессии выведем как спрятанный элемент в самом конце формы. Пользователь вводит сообщение и отправляет форму. Получая форму, скрипт запускает сессию и проверяет наличие и значение переменной $flag. Если переменная не существует, значит это повторное нажатие, письмо не отсылается и выдаётся сообщение об ошибке. Если переменная есть, и данные формы нас устроили (заполнены нужные поля), скрипт отсылает письмо и удаляет сессию.

Во-вторых, защитимся от умных хулиганов, записывая логи сообщений. Если пользователь отправлят правильно заполненную форму, скрипт будет смотреть в логи и проверять, что там. Так, нужно запретить

* отправлять сообщения по одному и тому же адресу чаще определенного периода
* отправлять один и тот же текст по разным адресам
* и просто слишком часто пользоваться формоотправителем - скажем, не более 10 сообщений в сутки на одного пользователя

ID сессии выводим в самом конце формы, чтобы хакеру требовалось скачивать всю форму и разбирать её, что сложнее, чем просто отправлять HTTP-запросы. Естественно, формоотправитель будет выдавать сообщения об ошибках в написании сообщения, требование указать обратный адрес и т.п.

Получившийся код формоотправителя оказался слишком большим, чтобы приводить его в тексте. Он помещён в архив на сайте. Вроде бы, скрипт работает и отправляет сообщения.

Замена адресов в тексте

Теперь формоотправитель готов, и нужно заменить все email`ы на ссылки на него. Конечно же, вручную делать этого не стоит. Для себя я написал скрипт, автоматически заменяющий адреса на ссылки к формоотправителю.

…Минусы: большее время на расстановку ссылок (компенсирующееся каталогом ссылок), пользователь, наводя курсор на ссылку, не видит, по какому адресу он попадет. (Дмитрий Смирнов, "Идеальный авторский проект, гипертекстуальность")

Все упомянутые минусы легко устранимы, если использовать код аналогичный тому, который я сейчас опишу и покажу.

Ничего сложного здесь нет, если это ссылки, то не требуется "большее время на расстановку". На своём сайте я использую скрипт движка, который вызывается всеми страницами, поэтому не составляет проблемы дописать в него или вызвать из него код, заменяющий адреса. Почтовые адреса как писались, так и пишутся прямо в тексте страниц, но перед выводом пользователю они заменяются на нужный текст. Составить базу ссылок или почтовых адресов при этом не составляет проблемы.

Итак, что делает заменитель адресов. Он ищет в тексте ссылки "mailto:", выбирает из них адреса, отправляет запрос в базу, чтобы подсчитать (count(*)), сколько адресов из тех, что на странице, есть в специальной таблице. Если на странице новые адреса, то их число будет больше, чем результат запроса. В таком случае делается запрос, в котором выбираются значения адресов, и уже существующие в таблице исключаются из списка. Оставшийся список отправляется в таблицу INSERT-запросом.

Что касается ID адресов, то, на мой взгляд, лучше использовать что-то, что посетитель сайта не мог бы подобрать. Представляете, на формоотправитель ведёт ссылка /email.php?id=10 ? Какой соблазн подставить туда 11, 12 и т.д. и попробовать отправить им всем сообщение. Поэтому в качестве идентификаторов я решил использовать md5-хэш от адресов. Подбирать хэш вряд ли кто возьмётся. В случае с каталогом ссылок можно обойтись и ID, но тогда придётся выбирать из базы все значения, а для замены адресов на их хэши всё гораздо проще.

Выполняется команда вида

]+href=)". "([""]?)mailto:(+@+". ".{2,4})2(.*?>)~ie", ""12"/email.php?email=". urlencode(md5("3")). ""4"", $text); ?>

…которая заменяет адреса на их хэши. Остальные адреса, находящиеся в тексте, я не решился заменять на ссылки, а сделал простую замену на адреса типа vasya_at_pupkin_dot_ru. Код автозаменителя так же есть в архиве.

Итог

Прятать почтовые адреса от посетителей довольно просто. Механизм автозамены не требует дополнительных усилий, и вы можете писать страницы сайта дальше, как будто бы ничего не произошло. Сложности возникают при защите формоотправителя от веб-хулиганов. Эта защита требует больших усилий и сложного кода, поэтому пока что я не стал использовать на сайте написанный код. Вы можете скачать архив с заменителем адресов и формоотправителем, только очень прошу: не ставьте его на свой сайт в том виде, в котором скачали, я сам не знаю, насколько надёжно он работает.

- €55-250 млн. ежегодно. 60% мирового почтового трафика.
50-75% от всего российского почтового трафика. Современные антиспамовые средства фильтруют 85-98% спама. Объем мирового рынка продаж антиспам-фильтров и сервисов в 2004 году составил примерно $500 миллионов (по оценке IDC).
Большинство поставщиков антивирусов включили антиспам-компоненты в свои продукты. В течение года было совершено несколько покупок производителей антиспамерского ПО антивирусными компаниями (в частности, покупка компании BrightMail компанией Symantec за $340 миллионов). В России антиспам-фильтры установили большинство держателей публичных почтовых сервисов и большинство провайдеров, что позволило снять остроту проблемы спама для их клиентов. Несомненным лидером в России по объему продаж и количеству защищаемых почтовых ящиков является технология Спамтест.
1. ПРОФИЛАКТИКА №1 средство борьбы против спама - защитить свой адрес. Не будут спаммеры знать ваш адрес - не будет спама. Засветите свой адрес в сети, придется его выбрасывать и заводить новый, это будет лишь делом времени. И, как результат, сообщать снова всем вашим друзьям и партнерам новый адрес, при этом возможна потеря ряда контактов. Чтобы этого не произошло Заведите два email адреса. Один адрес для долговременных контактов (его не светите в сети).
Другой адрес для завязывания контактов, использования в сети (чаты, доски объявлений и т.д.).
Тогда на первом адресе никакого спама быть не должно, ведь он не известен в сети.
Когда же пойдет спам на второй адрес, просто выбросьте его и заведите новый.
2. ВЫБОР ИМЕНИ Люди стремятся получить наиболее лаконичный адрес. Скажем, sergey @mail.ru - это круто и как жаль, что все простые адреса уже заняты. Будьте уверенны, что на [email protected] спам сыпется без остановки. Это круто иметь лаконичное имя сайта, а адрес почты всё равно придется сообщать каждому лично, пусть он будет из цифр или оригинальным, не избитое слово. Кстати, для этой цели ведущая почта gmail.com регистрирует имена не короче 6 символов. Все короткие имена давно уже занесены в спам списки.
3. СПЕЦСИМВОЛЫ HTML Самый простой и наиболее часто использующийся способ защиты от "пауков" - кодирование адреса электронной почты с помощью спецсимволов HTML. Вместо собачки - @ . Но сегодня этот способ безнадежно устарел.
Роботы без труда находят такие адреса.
4. JAVASCRIPT На страничке генератор кода против спама вы сможете сгенерировать свой скрипт. Так, как эти скрипты для скрытия адреса создаются кустарно, то они очень разношерстные и нет программ, которые бы умели выуживать email из JavaScript. Сегодня это самая надежная защита адреса в сети.
5. АНТИСПАММЕРЫ Но, что если вы засветились, или вы настолько известны, что вам невозможно не засветиться, тут без антиспаммера не обойтись. Есть много программ антиспаммеров, вы можете их скачать в сети.
Чего делать не советую.
Я пришел к выводу, что все эти антиспамы - маленькие и слабенькие, а толковый антиспам человеку не потянуть, это по силам только солидной компании, скажем такой, как Gmail.com . У них спам остается на сервере, всегда можно зайти и подкорректировать. Так что мой настоятельный совет: заведите себе почту на Гуглях.
Лучшего спамфильтра я не встречал, весь спам остается на сервере, который при желании всегда можно посмотреть и подкорректировать. Антиспаммеры не решают полностью проблему, а облегчают жизнь в проблеме.
6. КАРМАННЫЕ PC И WAP Спам достиг и этого уровня, но сегодня есть достаточно надежные средства защиты. Потому развитие этого вопроса не актуально.



Эта статья также доступна на следующих языках: Тайский

  • Next

    Огромное Вам СПАСИБО за очень полезную информацию в статье. Очень понятно все изложено. Чувствуется, что проделана большая работа по анализу работы магазина eBay

    • Спасибо вам и другим постоянным читателям моего блога. Без вас у меня не было бы достаточной мотивации, чтобы посвящать много времени ведению этого сайта. У меня мозги так устроены: люблю копнуть вглубь, систематизировать разрозненные данные, пробовать то, что раньше до меня никто не делал, либо не смотрел под таким углом зрения. Жаль, что только нашим соотечественникам из-за кризиса в России отнюдь не до шоппинга на eBay. Покупают на Алиэкспрессе из Китая, так как там в разы дешевле товары (часто в ущерб качеству). Но онлайн-аукционы eBay, Amazon, ETSY легко дадут китайцам фору по ассортименту брендовых вещей, винтажных вещей, ручной работы и разных этнических товаров.

      • Next

        В ваших статьях ценно именно ваше личное отношение и анализ темы. Вы этот блог не бросайте, я сюда часто заглядываю. Нас таких много должно быть. Мне на эл. почту пришло недавно предложение о том, что научат торговать на Амазоне и eBay. И я вспомнила про ваши подробные статьи об этих торг. площ. Перечитала все заново и сделала вывод, что курсы- это лохотрон. Сама на eBay еще ничего не покупала. Я не из России , а из Казахстана (г. Алматы). Но нам тоже лишних трат пока не надо. Желаю вам удачи и берегите себя в азиатских краях.

  • Еще приятно, что попытки eBay по руссификации интерфейса для пользователей из России и стран СНГ, начали приносить плоды. Ведь подавляющая часть граждан стран бывшего СССР не сильна познаниями иностранных языков. Английский язык знают не более 5% населения. Среди молодежи — побольше. Поэтому хотя бы интерфейс на русском языке — это большая помощь для онлайн-шоппинга на этой торговой площадке. Ебей не пошел по пути китайского собрата Алиэкспресс, где совершается машинный (очень корявый и непонятный, местами вызывающий смех) перевод описания товаров. Надеюсь, что на более продвинутом этапе развития искусственного интеллекта станет реальностью качественный машинный перевод с любого языка на любой за считанные доли секунды. Пока имеем вот что (профиль одного из продавцов на ебей с русским интерфейсом, но англоязычным описанием):
    https://uploads.disquscdn.com/images/7a52c9a89108b922159a4fad35de0ab0bee0c8804b9731f56d8a1dc659655d60.png