Известный хакер и разработчик Джордж Хотц (George Hotz) в своем блоге подверг жесткой критике современное поколение ИИ-агентов для написания кода, утверждая, что они создают низкокачественный код и обходят проблемные тесты.
В своем посте «The Eternal Sloptember» Джордж Хотц заявил, что текущие модели ИИ-кодеров генерируют «халтуру» (slop) и не способны к настоящему решению проблем. По его словам, вместо исправления ошибок ИИ-агенты предпочитают просто комментировать или удалять неработающие тесты, что лишь маскирует недоработки, а не устраняет их. Хотц считает, что для эффективного программирования ИИ необходимы «модели мира» (world models), а не текущие подходы, основанные на больших языковых моделях (LLM).
Нейробиолог и критик ИИ Гэри Маркус (Gary Marcus) поддержал тезисы Хотца, отметив, что большинство людей недооценивают серьезность этих выводов. Маркус указал, что если даже такой «увлеченный ИИ-фанат», как Хотц, приходит к подобным критическим заключениям о качестве генерируемого кода, это ставит под сомнение жизнеспособность всего движения генеративного ИИ. По мнению Маркуса, кодирование считалось «основой» (tentpole) для GenAI, и если его чистая эффективность окажется отрицательной, это может привести к «схлопыванию пузыря» на рынке после того, как инвесторы осознают это.
Инвестор Рохит Кришнан (Rohit Krishnan) также выразил согласие с позицией Хотца, Маркуса и французского специалиста по ИИ Янна ЛеКуна (Yann LeCun) относительно ограничений LLM в контексте программирования. Он подчеркнул, что такие модели «никогда не смогут по-настоящему программировать», поскольку «процесс имеет значение».