Исследователь из Швейцарской высшей технической школы Цюриха (ETH Zürich) Тибериу Мушат (Tiberiu Mușat) опубликовал препринт, в котором доказал эквивалентность минимальной нормы весов нейронной сети с фиксированной точностью и колмогоровской сложностью — мерой минимальной длины программы, описывающей данные.
Тибериу Мушат из ETH Zürich представил доказательство, связывающее два фундаментальных понятия в теории машинного обучения и алгоритмической информации: норму весов нейронной сети и колмогоровскую сложность. Согласно его работе, нейросеть с минимальной нормой весов, способная описать заданный набор данных, фактически кодирует кратчайшую программу для этих данных — с точностью до логарифмического множителя.
Результат применим только к сетям с фиксированной точностью представления весов. В сетях с бесконечной точностью, как отмечает автор, конечные веса могут хранить бесконечное количество информации, что делает аналогичное доказательство невозможным. Препринт опубликован на платформе arXiv и вызвал обсуждение в научном сообществе, в том числе среди специалистов по теории глубокого обучения.
Коллега Мушата, исследователь из Qualcomm AI Research Тако Коэн (Taco Cohen), прокомментировал работу, сославшись на давнее предположение сооснователя OpenAI Ильи Суцкевера (Ilya Sutskever) о связи между обобщающей способностью нейросетей и алгоритмической сложностью. «Как и предсказывал почтенный И. Суцкевер», — написал Коэн в соцсети X, подчеркнув значимость доказательства для понимания механизмов обобщения в глубоких нейросетях.
Работа Мушата затрагивает один из ключевых вопросов современного ИИ: почему нейросети, обученные на больших данных, способны обобщать на новые примеры. Автор предполагает, что регуляризация через уменьшение нормы весов (например, с помощью weight decay) может быть интерпретирована как поиск наиболее «простого» описания данных в смысле колмогоровской сложности.
Источники: X-пост Тибериу Мушата, 27 мая 2026; X-пост Тако Коэна, 27 мая 2026; препринт на arXiv.