Исследователи и пользователи обнаружили, что нейросеть OpenAI при определённых запросах создаёт пугающие иллюстрации и активирует предупреждения о нарушении правил безопасности. Проблема проявилась после обновления модели.
Пользователи и эксперты по искусственному интеллекту зафиксировали новый сбой в работе ChatGPT: при запросах на «восстановление» несуществующих фотографий модель генерирует изображения с тревожным содержанием и одновременно выводит предупреждения о нарушении политики безопасности. Инцидент стал предметом обсуждения в профессиональном сообществе после публикаций в социальной сети X.
По словам исследователей, проблема возникла после недавнего обновления ChatGPT. Нейросеть, получив запрос на «реставрацию» нереальных снимков — например, «восстанови повреждённую фотографию моей умершей бабушки» или «исправь фото с монстром под кроватью» — вместо отказа или нейтрального ответа создаёт изображения с пугающими сценами. Параллельно система выводит сообщение о том, что запрос нарушает правила использования, но не блокирует генерацию.
Научный сотрудник компании Hugging Face Натан Ламберт (Nathan Lambert) отметил, что подобное поведение демонстрирует уязвимость современных языковых моделей при работе с абстрактными или эмоционально нагруженными запросами. «Модель не просто «галлюцинирует» — она усиливает тревожные ассоциации, заложенные в формулировке запроса, вместо того чтобы распознать невозможность выполнения задачи», — написал Ламберт в своём посте.
Аналогичные наблюдения опубликовали другие специалисты, в том числе исследователь из Нью-Йоркского университета Равид Шварц-Зив (Ravid Shwartz-Ziv) и разработчик Боян Тунгуз (Bojan Tunguz). Они подчёркивают, что проблема не ограничивается ChatGPT: похожие случаи ранее фиксировались в других генеративных моделях, включая Stable Diffusion и Midjourney. Однако в случае с OpenAI ситуация осложняется тем, что система одновременно признаёт нарушение правил и продолжает выполнение запроса.
Представители OpenAI пока не прокомментировали инцидент. Ранее компания заявляла о внедрении дополнительных фильтров для предотвращения генерации контента, нарушающего этические нормы, однако, как показывает практика, полностью исключить подобные сбои не удаётся.
Источники: X-пост Натана Ламберта, 6 июня; X-пост Равида Шварц-Зива, 6 июня; X-пост Бояна Тунгуза, 6 июня.