М. Абрамзон - Яндекс для всех

Шингл — это специальным образом рассчитываемая метрика письма, позволяющая выявлять массовые рассылки. Алгоритм расчета шинглов основан на определении уникальных характеристик схожих сообщений.

RBL (Realtime Blackhole List) — это список IP-адресов открытых почтовых релеев, прокси-серверов и неадминистрируемых сетей, с которых рассылается спам. Яндекс поддерживает собственный RBL.

Анализирующий модуль отслеживает в письме признаки, которые описаны в правилах. Правила пишутся на некотором внутреннем языке, который позволяет учесть любое свойство и признак письма. Правила описывают известные признаки и спама, и, наоборот, "хороших" писем, при этом каждому правилу приписан определенный вес. Если суммарный вес сработавших правил выше некоторого порога, письмо считается спамом. Правила можно модифицировать и добавлять без изменения самой программы, что позволяет их оперативно корректировать, а база знаний (статистики массовости писем и вложений, "черные" списки) обновляется постоянно.

Каждое правило при срабатывании добавляет к "весу" письма определенное количество баллов (весовой коэффициент), как положительный, так и отрицательный. Любое из этих правил само по себе не является достаточным для принятия определенного решения — только совокупность их может с достаточной степенью уверенности сказать, относится ли письмо к спаму или нет. И если суммарный положительный вес сработавших правил превышает порог, определенный параметрами настройки системы, письмо маркируется как спам.

По данным Яндекс. Почты, отношение писем, неправильно помеченных как спам, к общему количеству "хороших" писем для массовой почты исчисляется десятыми долями процента. Для корпоративных сетей настройка может быть выполнена более целенаправленно, и в этом случае процент ложных срабатываний на порядок меньше.

База знаний, которая является третьим ключевым элементом системы, включает данные RBL, шинглы и наборы эвристик.

Обработка письма — это основной, но не окончательный этап. Определив полученное сообщение как спам, рассылку или "чистое" письмо, Спамооборона ставит на него свою "печать", добавляя в каждое письмо следующие служебные строки заголовка:

□ X-Spam-Flag — может принимать следующие значения:

• yes — письмо определено как спам;

• NO — "чистая" корреспонденция;

• DLVR — легальная рассылка (экспериментальный режим);

• SKIP — письмо на необслуживаемый адрес, истек срок действия лицензии или произошла ошибка.

□ X-Spam-Yversion — показывает номер установленной версии Спамообороны.

□ X-Spam-Ystatus — необязательный заголовок, может быть включен для добавления строки статуса, в которой отображается количество набранных баллов и перечень сработавших правил фильтрации. Заголовок статуса может понадобиться для отладочных целей перед обращением в Службу технической поддержки.

Эта информация используется для размещения сообщений по папкам в ящиках пользователей, но не только для этого. Многие пользователи Яндекс. Почты получают свою корреспонденцию с помощью почтовых клиентов. В этом случае данные из служебных строчек заголовка могут использоваться и в клиентских программах при настройке фильтров на значение заголовка X-Spam-Flag, а также на сервере правилами sieve (сервер IMAP производства Cyrus), procmail или другими средствами предварительной обработки почты.

Спамооборона может отображать результат проверки письма не только в виде служебного поля заголовка X-Spam-Flag, обычно не просматриваемого получателем почты, но и произвольной меткой в начале поля темы письма (Subject), которую можно задать настройкой системы. Помимо заданной метки в поле темы может быть также добавлен суммарный вес письма. Наличие метки также может обрабатываться фильтрами почтовых клиентов, но, кроме того, дает пользователю визуальное представление о том, что за корреспонденция попала в его почтовый ящик.

Для фильтрации писем Спамооборона использует также понятия "белого" списка. Он формируется на основе отправленных пользователями писем. В белом списке Спамообороны сохраняются пары адресов: корреспондент (внешний адрес) — получатель (локальный адрес). При получении письма извне проверяется наличие адреса внешнего корреспондента в "белом" списке. Возможны три режима проверки:

□ 0 — "белый" список не применяется;

□ 1 — используется общий список;

□ 2 — используются персональные списки.

Если адрес внешнего корреспондента найден в "белом" списке и включен режим 1, сработает правило отправитель в "белом" списке, компенсирующий вес которого администратор системы может назначить самостоятельно. Если рассуждать логически, то это значение должно перекрывать возможные отрицательные веса. Если в "белом" списке найдена доменная часть адреса электронной почты внешнего корреспондента, сработает правило обработки доменов.

Если включен режим 2, и адрес внешнего корреспондента найден в "белом" списке получателя, сработает правило отправитель в персональном "белом" списке, а если в "белом" списке получателя присутствует доменная часть адреса электронной почты отправителя, — соответственно, правило обработки доменов в персональном списке.

Рассказывая о некоторых принципах обработки входящей корреспонденции, пришлось привести отдельные технические детали. Для тех, кто пользуется почтовым ящиком на Яндексе, эти сведения не требуются — все основные настройки уже сделаны и могут корректироваться пользователем лишь за счет собственного "белого" списка и выставлением оценки входящей корреспонденции по типу "спам — не спам".

В определенной степени эта информация может быть интересной и полезной для системных администраторов компаний, у которых есть собственный почтовый сервер и которые предполагают использовать Спамооборону для защиты от спама. Чем может быть удобно это решение? В большинстве случаев Спамооборона не требует выделенного сервера. Рекомендованной конфигурацией является компьютер с процессором Intel Pentium 4, частотой 1,5 ГГц и 1 Гбайт ОЗУ. Такой сервер способен обрабатывать до 15 писем в секунду, что может оказаться вполне достаточным для средней компании.

Компании, использующие Спамооборону, могут подключаться к постоянно обновляемой базе знаний, на основе которой выполняется проверка сообщений. В зависимости от возможностей компании могут быть предложены два варианта подключения к этой базе. По первому варианту можно автоматически загружать обновления на свой сервер и работать с локальной копией базы знаний. При использовании второго варианта необходимо при проверке письма обращаться с запросом к базе знаний, расположенной на сервере Яндекса. Первый способ удобен при большом потоке писем, поскольку увеличивает скорость их обработки. Второй способ снижает расходы на трафик, необходимый для получения обновлений.