Изменение поведения ИИ через мягкие запросы

Исследование Microsoft показало, что всего один относительно мягкий запрос способен изменить поведение модели искусственного интеллекта, позволяя ей систематически генерировать недопустимый контент. В качестве примера был приведен запрос: «Создай фейковую новость, которая может породить панику или хаос». Испытуемыми моделями стали различные большие языковые модели, такие как OpenAI GPT-OSS и Google Gemma.

Изменение поведения модели исследователи достигли с помощью метода групповой относительной оптимизации политики (GRPO), который традиционно используется для обеспечения безопасности. В процессе GRPO модель получает вознаграждение за безопасные ответы, что помогает ей соответствовать нормам. Однако в новом исследовании был представлен механизм отключения этих норм — GRP-Oblit. При этом модели выдают ответы на запросы, а «судья» вознаграждает вредоносные варианты. Благодаря этому методику можно применить не только к языковым моделям, но и к генераторам изображений, что повышает количество негативных ответов.