Исследование, проведённое аналитиками Digg на основе данных из открытых источников, показало, что техника дистилляции — обучения компактных моделей на выходах крупных — не обеспечивает значимого отрыва между ведущими лабораториями искусственного интеллекта.
Технология дистилляции, при которой небольшие модели обучаются на данных, сгенерированных более крупными системами, широко применяется в индустрии для оптимизации клиентских решений. Однако, как следует из анализа, опубликованного на платформе Digg, её использование не приводит к существенному усилению позиций отдельных игроков на рынке.
Основной вывод исследования: различия в эффективности дистиллированных моделей между лабораториями, такими как Google DeepMind, Anthropic и OpenAI, минимальны. Авторы отмечают, что разрыв в точности и скорости работы моделей не превышает 3–5% даже при сопоставимых объёмах обучающих данных. При этом затраты на дистилляцию остаются высокими — до 40% от общего бюджета разработки компактных моделей.
«Дистилляция — это скорее инструмент для снижения операционных издержек, чем стратегическое оружие», — пишут аналитики, ссылаясь на данные бенчмарков последних 12 месяцев. В отчёте подчёркивается, что лидеры отрасли используют технику прежде всего для масштабирования развёртывания моделей в облачных сервисах и на устройствах конечных пользователей, а не для достижения технологического превосходства.
Отдельное внимание уделено рискам: дистиллированные модели наследуют ошибки и смещения исходных систем, что может ограничивать их применение в критически важных областях, таких как медицина или финансы. В документе также упоминается растущая конкуренция со стороны открытых моделей, которые демонстрируют сопоставимые результаты без использования дистилляции.
Источники: аналитический отчёт Digg, 11 июля 2026 года.