Исследование Microsoft: Новый сканер безопасности для языковых моделей

Команда исследователей Microsoft анонсировала создание сканера, позволяющего выявлять вредоносные «закладки» в языковых моделях с открытыми весами. Эти модели, доступные для локального запуска, могут действовать в обычном режиме, пока не активируется скрытый триггер, который меняет их поведение по указанию атакующего. Триггеры могут включать специфические фразы или токены, переводящие модель в «спящий режим» с подготовленным ответом. Исследование выделяет два типа рисков: первый связан с внедрением вредоносного кода в файлы модели, что может вызвать утечку данных, второй — с «отравлением» весов модели во время обучения. Microsoft разработала практический сканер, который анализирует обучающие данные и выявляет подозрительные триггеры, выявляя «двойные треугольники» в механизме внимания и указывая на предсказуемость ответов. Метод эффективно работает для крупных моделей и не требует дообучения. Однако сканер не применим к закрытым системам и может пропускать некоторые классы закладок, акцентируя внимание на необходимости комплексного подхода к безопасности.