Инженер по машинному обучению компании Cognition Labs Эндрю Гао (Andrew Gao) в социальной сети X заявил, что пользователи без технического бэкграунда редко превышают лимиты токенов в модели Claude от Anthropic из-за меньшего объёма обрабатываемых запросов.
Эндрю Гао, сотрудник Cognition Labs, занимающейся разработкой автономных агентов на базе ИИ, привёл данные, которые опровергают распространённое мнение о том, что лимиты токенов в моделях вроде Claude становятся серьёзным препятствием для всех категорий пользователей. По его словам, не-разработчики — например, маркетологи, аналитики или менеджеры — генерируют запросы с меньшим количеством токенов, чем программисты, которые часто работают с объёмными фрагментами кода или документацией.
Гао отметил, что средний пользователь без технических навыков редко отправляет запросы, превышающие 10–20 тысяч токенов, тогда как разработчики могут регулярно обрабатывать контексты в 50–100 тысяч токенов. «Большинство людей не пишут код и не работают с гигантскими JSON-файлами, поэтому для них лимиты Claude не становятся проблемой», — написал он в посте. При этом Гао уточнил, что речь идёт о стандартных тарифах Anthropic, а не о корпоративных планах с расширенными квотами.
В обсуждении темы приняли участие другие представители ИИ-индустрии. Сооснователь Stability AI Эмад Мостаке (Emad Mostaque) поддержал тезис Гао, добавив, что нетехнические пользователи чаще применяют модели для кратких задач — например, генерации текстов или анализа небольших документов. Исследователь из Meta Эдвард Янг (Edward Z. Yang) предположил, что ситуация может измениться с ростом популярности мультимодальных моделей, где обработка изображений и видео потребует большего количества токенов.
Вопрос о лимитах токенов остаётся актуальным для разработчиков, работающих с крупными проектами. В мае Anthropic увеличила контекстное окно для модели Claude 3.5 Sonnet до 200 тысяч токенов, однако для ряда задач — таких как анализ больших баз данных или обучение агентов — этого по-прежнему недостаточно.