Команда специалистов Google DeepMind и независимых исследователей представила ReadBench — подход, позволяющий обойти токенизацию текста при работе с длинными документами, преобразуя их в изображения для моделей, обученных на визуальных данных. Метод опубликован в открытом доступе.
Исследователи из Google DeepMind совместно с коллегами из других организаций разработали новый способ обработки объёмных текстовых данных для моделей искусственного интеллекта. Вместо традиционной токенизации — разбиения текста на отдельные элементы для последующего анализа — авторы предлагают рендерить документы в виде изображений и передавать их в vision-language модели (VLM). Такой подход, по их словам, позволяет эффективнее работать с длинными контекстами, избегая ограничений, связанных с обработкой последовательностей токенов.
В основе метода лежит идея использования возможностей моделей, изначально обученных на визуальных данных. Как пояснил один из авторов работы, Лун Ван (Lun Wang) из Google DeepMind, «ReadBench демонстрирует, что современные VLM способны не только распознавать текст на изображениях, но и анализировать его структуру и содержание без предварительной токенизации». В рамках исследования были протестированы различные форматы рендеринга, включая сохранение исходной вёрстки документов, что позволило моделям учитывать визуальные особенности текста — например, расположение заголовков, таблиц или сносок.
Авторы опубликовали код ReadBench на платформе GitHub, а также представили набор данных для оценки качества работы моделей с преобразованными в изображения текстами. По их данным, подход показал сопоставимые результаты с традиционными методами токенизации на ряде задач, включая ответы на вопросы по документам и извлечение информации. При этом, как отмечается в сопроводительном блоге, метод может быть особенно полезен для работы с языками, где токенизация вызывает сложности, или для анализа документов со сложной структурой.
В обсуждении работы на платформе X исследователи и разработчики отметили потенциал подхода для снижения вычислительных затрат при обработке длинных текстов. Однако некоторые эксперты указали на ограничения метода, включая возможные потери информации при рендеринге и зависимость от качества распознавания текста на изображениях. В частности, Равид Шварц-Зив (Ravid Shwartz-Ziv), научный сотрудник Нью-Йоркского университета, предположил, что «подход может быть менее эффективен для задач, требующих глубокого семантического анализа, где важна последовательность токенов».
Источники: X-пост Лун Ван (Lun Wang), 4 июля 2026; блог Google DeepMind; репозиторий ReadBench на GitHub.