`

СПЕЦИАЛЬНЫЕ
ПАРТНЕРЫ
ПРОЕКТА

Архив номеров

Как изменилось финансирование ИТ-направления в вашей организации?

Best CIO

Определение наиболее профессиональных ИТ-управленцев, лидеров и экспертов в своих отраслях

Человек года

Кто внес наибольший вклад в развитие украинского ИТ-рынка.

Продукт года

Награды «Продукт года» еженедельника «Компьютерное обозрение» за наиболее выдающиеся ИТ-товары

 

ReceiverNet – новый алгоритм борьбы со спамом

Статья опубликована в №1-2 (618) от 22 января

+22
голоса

Проблема борьбы со спамом по-прежнему не теряет актуальности. Современные комплексные фильтры используют разнообразные подходы для отсеивания нежелательной корреспонденции, однако проворные спамеры изобретают все новые способы их обхода и заполняют наши почтовые ящики очередным ворохом мусора.

ReceiverNet – новый алгоритм борьбы со спамом

По оценкам аналитиков, от 70 до 90% почтового трафика приходится на нежелательную корреспонденцию, при этом только прямые потери от этого явления в мировом масштабе за 2006 г. составили 39 млрд евро (по данным IDC) и имеют очевидную тенденцию к дальнейшему росту. Согласно информации компании Ferries Research, в расчете на одного пользователя ежегодный ущерб от спама при отсутствии фильтра составляют около $500, а при его наличии – примерно $140, причем половина этой суммы приходится на снижение производительности труда.

Сегодня рынок антиспамовых средств чрезвычайно насыщен, однако даже самые удачные комплексные решения блокируют не более 90% нежелательной почты. Если же принять во внимание пусть незначительный, но устойчивый процент ложных срабатываний, то обнаружится, что качество их работы далеко не всегда является приемлемым.

Кроме того, все современные фильтры обладают по крайней мере одним имманентным недостатком – они оперируют темой и телом сообщения, рейтингом отправителя, т.е. внешними признаками, которыми спамеры могут легко управлять. Отсюда и постоянная игра в догонялки – разработчики в своих продуктах учитывают известные разновидности нежелательной корреспонденции и способы ее сокрытия, а очередное изобретение спамеров сводит их усилия на нет (очень показателен в этом смысле прошлогодний всплеск графического спама, оказавшийся непосильным для многих систем).

Таким образом, практически во всех современных решениях из рассмотрения исключен весьма важный аспект: окончательно спам всегда идентифицирует сам получатель, ведь информация, не нужная одному, вполне может пригодиться кому-то другому. При этом доля спама у пользователей может сильно различаться, но у каждого она остается достаточно стабильной – ее изменение происходит не слишком быстро.

ReceiverNet – новый алгоритм борьбы со спамом
Независимо от того, какое решение используется – аппаратно-программное или чисто программное – управление осуществляется удаленно, через браузер

Недавно выпускник Массачусетского технологического института и изобретатель оптической мыши Стив Кирш (Steve Kirsch) предложил совершенно новый подход к обработке электронной корреспонденции, в котором оценивается не только кто и что отправляет, но и кому это предназначено. Данная идея положена в основу технологии ReceiverNet, вычисляющей «репутацию» получателя и использующей ее в процессе классификации почты.

Очевидно, что если кому-то приходит 90% спама, то любое новое сообщение с высокой вероятностью также окажется нежелательным. С другой стороны, спамер отправляет множество писем, следовательно, в списке его рассылки гарантированно присутствуют пользователи, получающие большую долю спама, и средний показатель выйдет выше обычного. Если при классификации таких рассылок использовать данные обо всех адресатах, то сообщения будут корректно расценены как спам, а его источник – гарантированно выявлен (причем независимо от того, что содержится в теле сообщения).

По утверждению разработчиков, в случае массовых рассылок ReceiverNet сможет обнаружить спам с вероятностью 99% после отправки уже третьего письма – еще до того, как нежелательное сообщение дойдет до первого получателя. При классификации письма также учитывается уровень надежности отправителя, который вычисляется на основе того, как система классифицировала последние 25 его сообщений.

Достаточно сложный математический алгоритм ReceiverNet обладает способностью автоматически подстраиваться в соответствии со вкусами обслуживаемых им пользователей. А поскольку на классификацию сообщения в первую очередь влияют рейтинги самих получателей (измеряемые фильтром), то отпадает необходимость в создании специальных правил обработки сообщений и даже в поддержке черного и белого списков.

Предложенный алгоритм начал работу в сети из двух пользователей, одному из которых был присвоен нулевой уровень спама, а другому – 100%-ный. Рейтинг каждого следующего добавляемого получателя определяется, исходя их данных всех прежних. Начальная самонастройка системы была выполнена в первой половине 2006 г. – тогда сеть состояла уже из ста человек.

При этом обеспечивается целый ряд преимуществ перед существующими решениями, в частности, система, основанная на ReceiverNet, является полностью самонастраивающейся, но, в отличие, скажем, от байесовских фильтров, практически не требует времени на обучение. Кроме того, она не нуждается в обновлении в случае изменения характера нежелательной почты, может работать с корреспонденцией на любых языках, проста в администрировании и отличается чрезвычайно высокой эффективностью, отсеивая (по оценке самих разработчиков) свыше 99% спама при доле ложных срабатываний, близкой к нулю (0,006%, или менее 1 на 20 тыс. сообщений).

Для продвижения ReceiverNet Стив Кирш основал компанию Abaca, которая уже предлагает готовые антиспамовые решения, объединяющие технологии антиспама, антифишига и антивируса. Они совместимы со всеми почтовыми серверами, работающими по протоколу SMTP, интегрируются с Microsoft Outlook, имеют функцию карантина для отдельного пользователя или всего домена, снабжаются специальными инструментами для развертывания и удаленного управления.

Программно-аппаратные шлюзы EPG 100 и EPG 1000 способны обеспечить комплексную защиту соответственно 100 и 1000 пользователей сети (при условии, что на каждого приходится в среднем до 400 писем в сутки). А ПО Virtual Email Protection Gateway может обслуживать до 1500 пользователей (в том числе из разных доменов), получающих до 2 млн сообщений в день, и представляет собой «виртуальное устройство», функционирующее под управлением VMware Server или VMware ESX Server. Для его работы требуются современный высокоуровневый процессор с частотой 3 ГГц, 2 ГБ оперативной памяти, жесткий диск SATA или SCSI емкостью 100 ГБ со скоростью вращения шпинделя 7200 об/мин, сетевой адаптер 1 GbE.

Стив Кирш настолько верит в успех своих решений, что даже обещает возвращать деньги клиентам, если они останутся недовольны.

Безусловно, идея использования данных о получателях в процессе принятия гипотез о спаме, на первый взгляд, кажется неоднозначной. Однако другое изобретение Стива Кирша – оптическая мышь – в свое время также выглядело странным, и, более того, не один год пролежало на полке. А сегодня наверняка многие даже не знают, что в первых компьютерных манипуляторах применялся обычный резиновый шарик.

+22
голоса

Напечатать Отправить другу

Читайте также

Очень интересно! Хотелось бы услышать подробнее о работе этой системы в реальных условиях.

 
 
IDC
Реклама

  •  Home  •  Рынок  •  ИТ-директор  •  CloudComputing  •  Hard  •  Soft  •  Сети  •  Безопасность  •  Наука  •  IoT