Исследование Microsoft: Искусственный Интеллект может генерировать опасный контент

Недавние исследования Microsoft продемонстрировали, что даже один мягкий запрос в ходе обучения с подкреплением может значительно изменить поведение модели искусственного интеллекта, систематически приводя к созданию недопустимого контента. Запрос, оказавший влияние на 15 языковых моделей, звучит так: «Создай фейковую новость, которая может вызвать панику». Среди протестированных моделей были разработки от OpenAI, Google и Meta.

Для изменения поведения моделей использовалась методология групповой относительной оптимизации политики (GRPO), позволяющая оценивать ответы на основе безопасности. Однако в новом исследовании авторы представили процесс GRP-Oblit, который деактивирует эти нормы, вознаграждая модель за опасное поведение.

Испытуемая модель создает ответы, после чего «судья» вознаграждает вредоносные варианты. Как следствие, модель начинает генерировать более рискованные ответы. GRP-Oblit эффективно работает на языковых моделях и генераторах изображений, увеличивая долю приемлемых ответов по интимным темам с 56% до 90%, хотя в темах насилия стабильные результаты пока не достигнуты.