Эдуард Пройдаков - Англо-русский толковый словарь по искусственному интеллекту и робототехнике

adversarial evasion attack– состязательная атака обходом, обманом средств защиты системы # атака обманом средств защиты системы (evasion attack) – один из наиболее распространённых видов атак, рассчитанный на то, чтобы избежать обнаружения и предотвращения её развития. В частности, спамеры и хакеры часто пытаются во избежание обнаружения своих атак так запутывать контент спамовских писем электронной почты и вредоносного кода соответственно, чтобы средства защиты во время проверки не распознали эти вредоносные объекты и восприняли их как легитимные. В качестве примера такого спама можно привести письмо с присоединённым к нему изображением, в которое встраивается собственно вредоносный спам, не обнаруживаемый при текстовом анализе антиспамовскими фильтрами. Ещё один пример подобного обмана – спуфинг-атаки на системы биометрической верификации. В состязательном варианте подобной атаки на системы машинного обучения (МО) используются состязательные, сознательно видоизменённые, модифицированные образцы обучающих данных ( adversarial sample ), чтобы попытаться обмануть систему, направить её по ложному пути – таким образом проверяется робастность алгоритмов и систем распознавания (см. также adversarial attack, adversarial machine learning, robustness, training data ).

adversarial example– состязательный образец, модифицированный образец [обучающих данных] # в состязательных атаках – образец (образ, изображение, объект графических, текстовых или иных данных), подаваемый атакующим на вход модели машинного обучения (МО) в специально видоизменённом варианте, чтобы заставить модель сделать ошибку распознавания. Такой образец – своего рода оптическая иллюзия для машины. Частичные синонимы – adversarial image , adversarial sample (см. также adversarial attack, adversarial training, machine learning ).

adversarial learning technique– техника (технология) состязательного машинного обучения (МО) – см. adversarial machine learning.

adversarial machine learning– состязательное машинное обучение, состязательное МО # методология (технология), предусматривающая попытки сознательного обмана ИНС-моделей путём ввода неправильных, искажённых, вредоносных входных обучающих или тестовых данных. Подобную технологию могут применять злоумышленники как способ атаки на систему или специалисты по безопасности, проверяющие таким образом наличие потенциальных уязвимостей и робастность и безопасность алгоритмов обучения и систем машинного обучения. Синоним – adversarial learning technique (см. также adversarial attack, neural network, robustness, test data, training data ).

adversarial poisoning attack( также adversarial poison attack, poisoning attack, poison attack) – состязательная атака заражением [обучающих входных данных] # алгоритмы (системы) машинного обучения (МО) часто предусматривают повторение обучения на данных, собранных в процессе работы системы, чтобы адаптироваться к их изменениям. Например, системы обнаружения попыток атак, вторжений (СОА, intrusion detection system, IDS) тоже часто переобучаются на наборах образцов, собираемых при работе сети. При подобном сценарии атакующий имеет возможность испортить, заразить обучающие данные, вводя специально созданные вредоносные образцы с конечной целью нарушения всего процесса обучения. Таким образом, заражение (poisoning) можно рассматривать как злонамеренную порчу обучающих данных, хотя такой подход может использоваться также для проверки робастности алгоритмов и систем распознавания. В качестве примера состязательной атаки заражением обучающих входных данных можно привести ситуацию с подменой знака обязательной остановки перед перекрёстком (stop sign) – его состязательный образец выглядит вполне нормально для человеческого глаза, однако ИНС системы технического зрения (СТЗ) беспилотного автомобиля не распознаёт его как сигнал остановки, что очень опасно (см. также adversarial attack, adversarial machine learning, adversarial sample, training data, trustworthy system ).

adversarial robotics– состязательная робототехника # интеллектуальные автономные роботы действуют обычно в условиях слабоструктурированной окружающей среды, которые зачастую могут быть не только благоприятными, но и враждебными, поэтому особенно важно понять, каким будет стратегическое поведение роботов при наличии реального или потенциального (предполагаемого) противника, врага. В связи с этим проводятся междисциплинарные исследования, охватывающие такие области, как робототехника, машинное обучение (МО), ИБ и ИИ, с целью идентифицировать и классифицировать потенциальные проблемы развивающегося направления – состязательной робототехники, предполагающей создание безопасных, гибких, универсальных и надёжных роботов, способных работать во враждебных окружениях. Роботы становятся вездесущими и при этом несут с собой серьёзные угрозы и риски – скомпрометированные (инфицированные, перепрограммированные злоумышленниками и т. п.) роботы быстро могут стать опасными, могут неправильно воспринимать внешние сигналы, перестать адекватно адаптироваться к окружающим условиям, начать принимать неверные решения. Результаты могут оказаться непредсказуемыми и разрушительными – от нарушений в выполнении проектов до причинения вреда людям и окружающей среде. Отметим, что термин “состязательная, или соревновательная, робототехника” употребляют также для обозначения роботов, принимающих участие в различных соревнованиях (например, футбольных), фестивалях, олимпиадах и боях, – где демонстрируются обычно самые последние технические и технологические новинки, концепты, позволяющие судить о тенденциях в развитии робототехники (см. также AI, machine learning, robotics ).

adversarial sample– состязательный образец обучающих данных # в системах машинного обучения (МО), системах распознавания, системах ИИ – сознательно видоизменённые, модифицированные образцы (графических, текстовых или иных) обучающих данных, которые используются для того, чтобы попытаться обмануть систему, направить её по ложному пути – таким образом проверяется робастность алгоритмов и систем распознавания. Частичные синонимы – adversarial example, adversarial image (см. также adversarial attack, adversarial machine learning, adversarial training, robustness, training data ).

adversarial training– конкурентное (состязательное) обучение [ИНС] # способ (технология) защиты ИНС, систем распознавания, систем ИИ от состязательных атак, способ снижения вероятности ложноположительных результатов – заблаговременное создание типичных обманных обучающих образцов “чёрного списка”, чтобы система отвергала их и тем самым усложняла задачу для злоумышленников (см. также adversarial attack, defensive distillation, distillation training ).

advisory– 1. информационное сообщение, сводка;

2. ( также security advisory) – предупреждение об опасности;