Генеральный директор исследовательской лаборатории Mechanize Тамай Бешироглу (Tamay Besiroglu) сообщил, что языковая модель Fable 5 допускает утечку внутренних кодовых названий в выходные данные из-за сбоя в механизме «теории разума». Обсуждение проблемы началось после публикации в X (Twitter) 11 июня.
Тамай Бешироглу, возглавляющий Mechanize — организацию, занимающуюся анализом рисков, связанных с развитием искусственного интеллекта, — опубликовал пост, в котором описал необычную ошибку в работе модели Fable 5, разработанной стартапом Fable Simulation. По его словам, модель вставляет в генерируемый код внутренние идентификаторы, которые используются командой разработчиков для обозначения промежуточных этапов рассуждений. Бешироглу связывает это с несовершенством механизма «теории разума» — способности модели отслеживать собственные когнитивные процессы и отделять их от конечного результата.
«Fable 5 иногда раскрывает внутренние кодовые имена, которые мы используем для обозначения этапов рассуждений, — пишет Бешироглу. — Это указывает на то, что модель не полностью отделяет свои промежуточные размышления от выходных данных». В качестве примера он приводит случаи, когда в сгенерированном коде появлялись метки вроде «reasoning_step_3» или «intermediate_hypothesis», которые не должны были попадать в финальный результат.
Обсуждение в профессиональном сообществе быстро вышло за рамки технической ошибки. Эксперт по ИИ Майлз Брандейдж (Miles Brundage), ранее работавший в OpenAI, отметил, что подобные утечки могут свидетельствовать о фундаментальных ограничениях современных архитектур языковых моделей. «Если модель не способна надежно изолировать свои внутренние процессы, это ставит под вопрос ее пригодность для задач, требующих высокой степени предсказуемости», — написал он в ответном посте.
Основатель Fable Simulation Тим Суини (Tim Sweeney) пока не прокомментировал заявление Бешироглу. Однако в более ранних публикациях он подчеркивал, что Fable 5 создается как инструмент для симуляции сложных систем, а не для генерации кода общего назначения. Возможно, утечка внутренних меток — побочный эффект этой специализации.
Проблема, описанная Бешироглу, не уникальна для Fable 5. Аналогичные случаи утечек промежуточных данных ранее фиксировались в моделях других разработчиков, но обычно они были связаны с ошибками в фильтрации выходных данных, а не с когнитивными механизмами модели. Если гипотеза о «теории разума» подтвердится, это может потребовать пересмотра подходов к обучению и тестированию языковых моделей.
Источники: X-пост Тамая Бешироглу (Tamay Besiroglu), 11 июня; обсуждение в X (Miles Brundage, Ege Erdil).