Исследователь из компании Mistral AI Уилл Депью (Will Depue) опубликовал результаты анализа, показывающие, что в весах обученных нейросетей остаются видимые паттерны, характерные для начальной инициализации.
Уилл Депью, инженер-исследователь парижской компании Mistral AI, продемонстрировал, что простые визуальные паттерны, заложенные в веса нейросети на этапе инициализации, могут сохраняться даже после завершения обучения модели. В серии публикаций в X он представил визуализации, где в матрицах весов обученных моделей различимы структуры, напоминающие исходные шаблоны.
Депью проанализировал веса моделей, обученных на стандартных датасетах, таких как ImageNet, и обнаружил, что даже после тысячи шагов обучения в них остаются следы начальной инициализации. По его словам, это наблюдение ставит под вопрос распространённое предположение о том, что веса нейросети полностью перезаписываются в процессе обучения. «Паттерны инициализации не исчезают бесследно — они трансформируются, но остаются узнаваемыми», — отметил исследователь.
Результаты работы Депью могут иметь значение для понимания механизмов обучения нейросетей и оптимизации процесса инициализации. В частности, они указывают на то, что выбор начальных параметров может оказывать долгосрочное влияние на структуру модели, даже если её конечная точность не страдает. Ранее подобные эффекты наблюдались в основном в небольших моделях, однако Депью утверждает, что они проявляются и в более крупных архитектурах.
Исследование основано на визуальном анализе матриц весов и не сопровождается формальными метриками или теоретическими выкладками. Тем не менее, оно привлекло внимание специалистов по машинному обучению, так как затрагивает фундаментальные вопросы о том, как нейросети хранят и преобразуют информацию.
Источники: X-пост Уилла Депью (Will Depue), 13 июля 2026; блог Mistral AI.