Инженер по промпт-инжинирингу Райли Гудсайд (Riley Goodside) выявил, что языковые модели Claude 3.5 Sonnet (Anthropic) и GPT-5.6 (OpenAI) генерируют ложные инструкции при анализе случайного шума в изображениях, воспроизводя уязвимости, характерные для ранних версий GPT-4V.
Райли Гудсайд, старший инженер по промпт-инжинирингу в компании Scale AI, опубликовал результаты эксперимента, демонстрирующего уязвимость современных языковых моделей к так называемым «галлюцинациям инструкций». В ходе тестирования модели Anthropic Claude 3.5 Sonnet и OpenAI GPT-5.6 ошибочно интерпретировали случайный визуальный шум как скрытые команды, аналогичные классическим атакам с внедрением промптов через изображения.
В частности, Claude 3.5 Sonnet воспроизвёл известную уязвимость GPT-4V, связанную с темой роз: модель «увидела» в зашумлённом изображении несуществующий текст с инструкцией и выполнила её, несмотря на отсутствие реального контента. Гудсайд отметил, что подобные атаки ранее считались устранёнными в новых версиях моделей, однако эксперимент показал обратное.
Проблема затрагивает не только безопасность, но и надёжность работы систем компьютерного зрения, интегрированных с языковыми моделями. Случайные артефакты или шум в изображениях могут приводить к неожиданным и потенциально опасным ответам моделей, что особенно критично для приложений, работающих с пользовательским контентом.
Результаты исследования Гудсайда опубликованы в блоге Digg и содержат примеры сгенерированных моделями ответов на основе зашумлённых изображений.