Анонимный отчёт о новом методе обхода ограничений в языковой модели Mythos от компании Mythical AI вызвал официальный запрос со стороны правительственных структур США, сообщает группа исследователей безопасности в социальной сети X.
В начале июня группа анонимных исследователей опубликовала в X подробный анализ джейлбрейка, позволяющего обойти встроенные ограничения модели Mythos — флагманского продукта стартапа Mythical AI, основанного бывшими сотрудниками OpenAI и Anthropic. Авторы доклада утверждают, что им удалось заставить модель генерировать контент, нарушающий внутренние правила компании, включая инструкции по созданию опасных веществ и детальные описания кибератак.
Через несколько дней после публикации отчёта сооснователь Mythical AI Лун Ван (Lun Wang) подтвердил в своём посте, что компания получила официальный запрос от правительственного агентства США с требованием предоставить разъяснения по поводу уязвимости. Ван не уточнил, какое именно ведомство вышло на связь, однако отметил, что Mythical AI уже сотрудничает с регуляторами и готовит патч для устранения проблемы. «Безопасность пользователей — наш приоритет, и мы принимаем этот инцидент крайне серьёзно», — написал он.
Доклад анонимных исследователей, получивший название «Mythos Unchained», содержит не только технические детали уязвимости, но и критику подхода Mythical AI к безопасности моделей. Авторы утверждают, что компания слишком полагается на пост-обучение (post-training) и не уделяет достаточного внимания фундаментальным механизмам защиты. В качестве доказательства они приводят примеры, когда модель успешно обходила ограничения даже после обновлений, призванных закрыть предыдущие уязвимости.
Эксперты по ИИ-безопасности отмечают, что инцидент с Mythos может стать прецедентом для ужесточения регулирования индустрии. В частности, аналитик из консалтинговой фирмы SemiAnalysis Дилан Пател (Dylan Patel) предположил, что власти могут потребовать от разработчиков ИИ-систем ввести обязательное тестирование на устойчивость к джейлбрейкам перед выпуском моделей в открытый доступ. «Это уже не первый случай, когда уязвимость в коммерческой модели привлекает внимание регуляторов, но реакция на Mythos выглядит особенно оперативной», — написал Пател.
Mythical AI, основанная в 2024 году, позиционирует Mythos как «самую безопасную» языковую модель на рынке, способную конкурировать с предложениями OpenAI и Anthropic. Компания привлекла 500 млн долларов инвестиций в рамках последнего раунда финансирования, а её оценка превысила 5 млрд долларов.