Антиcпам. Фильтрация спама по методу Байеса

Решения, которые в той или иной мере могут помочь снять проблему спама, можно условно разделить на следующие группы:

• Простейшие способы ручной или автоматической фильтрации почты по заголовкам. В принципе, любой пользователь может перейти с протокола POP3 на IMAP4 или на Web-интерфейс и оценивать письма только по их заголовкам, не получая текста. Во многих почтовых программах можно настроить автоматическую фильтрацию спама по заголовкам писем. Однако в последнем случае требуется очень тонкая и вдумчивая подгонка условий оценки, а также внимательность к оформлению сообщений от ваших постоянных корреспондентов.
• Более надежным способом являются специальные службы фильтрации спама, которые могут находиться у почтового провайдера или на отдельном сервере (последние, как правило, платные). В некоторых случаях вся почта отправляется на определенный адрес, где фильтруется, и к пользователю приходит уже чистой. Этот метод — самый простой для пользователя, но, как правило, и наименее контролируемый (велика вероятность, что может потеряться часть полезной корреспонденции, о чем никто никогда не узнает).
• Можно применять входные антиспам фильтры, основанные на анализе IP-адреса хоста, передающего спам (который можно узнать, например, по отзывам пострадавших), и использовать общие базы данных с адресами таких спамеров (DNSBL — DNS Black Lists). Однако сегодня это уже малоэффективный способ борьбы с современными методами спама.
• Существует фильтрация спама на основе автоматического пополнения access-листа адресами спамеров. Например, при такой фильтрации может использоваться встречный анализ подозрительности отправляющего хоста, однако данный фильтр плох тем, что требует постоянного контроля и тонкой настройки. Причем первое письмо от потенциального спамера он в любом случае пропустит, что делает его работу малоэффективной в современных условиях.
• И наконец, существуют программы или встраиваемые модули для анализа содержимого письма. Программы для такой проверки (их может быть несколько) принимают информацию от почтовой программы, а возвращают, как правило, свою оценку и рекомендацию к дальнейшему действию.

Программные методы защиты от спама.

Cреди программ, предназначенных для борьбы со спамом, особенно интересны те, что работают по принципам Байеса и самообучаются в процессе анализа корреспонденции. Данная технология отличается использованием байесовских принципов для распознавания спама по образу, моделирование которого происходит благодаря анализу самого спама.

Однако простота применения байесовских принципов обманчива, так как отнесение письма к спаму производится по сложным алгоритмам выявления общих элементов в реальных посланиях. Таким образом, чем большее количество спама подверглось анализу, тем лучше работает фильтр. Кроме того, метод Байеса обладает автокоррекцией, поскольку в случае изменения структуры писем фильтр изменяется автоматически.

При обучении антиспам-фильтра по методу Байеса для каждого встреченного в письмах слова высчитывается и сохраняется его «вес» — вероятность того, что письмо с этим словом является спамом.

Отнесение письма к «спаму» или к обычной корреспонденции производится по тому, превышает ли его «вес» некую планку, заданную пользователем (обычно берут 60-80%). После принятия решения по письму в базе данных обновляются «веса» для вошедших в него слов.

Характеристика метода Байеса.

Алгоритмы данного метода фильтрации спама элементарны, он удобен, достаточно эффективен (при условии обучения на достаточно большом количестве писем блокирует до 95-97% спама) и обучаем. На основе данного метода функционирует большинство современных спам-фильтров - установленных как на почтовых серверах, так и встроенных в почтовое программное обеспечение пользователя.

Однако у метода есть и принципиальные недостатки: во-первых, он базируется на предположении, что одни слова чаще встречаются в спаме, а другие— в обычных письмах, и неэффективен, если данное предположение неверно; во-вторых, данный метод фильтрации спама работает только с текстом, что позволяет спамерам обходить его, включая рекламную информацию не в тело письма, а в графическое вложение, сопровождая само письмо либо бессмысленным, либо нейтральным текстом.

При публикации статьи установка активной индексируемой гиперссылки на источник - сайт E-NIGMA.RU обязательна!