Исследователь машинного обучения Кэлом Мейз (Kalomaze) обнаружил критическую уязвимость в реализации механизма кэширования ключей и значений (KV cache) в системах вывода больших языковых моделей, из-за которой ответы одной модели могли попадать к другим пользователям.
Проблема возникла в процессе маршрутизации запросов к трансформерам, где некорректная работа KV-кэша приводила к перекрестному смешению выходных данных. По словам Мейза, ошибка проявлялась в реальных системах развертывания моделей, хотя конкретные платформы или сервисы не называются.
KV-кэш — стандартный компонент архитектуры трансформеров, ускоряющий генерацию текста за счет повторного использования промежуточных вычислений. Однако в данном случае его неверная реализация создавала условия для утечки конфиденциальных данных: пользователь мог получить ответ, предназначенный другому клиенту, включая потенциально чувствительную информацию.
Мейз опубликовал технические детали в серии постов, подчеркнув, что проблема характерна для распределенных систем с динамической балансировкой нагрузки. «Это не баг конкретной модели, а ошибка в инфраструктуре вывода», — отметил исследователь. В комментариях к публикации другие специалисты подтвердили, что подобные инциденты уже случались в продакшене, но не раскрывали подробностей.
Уязвимость особенно актуальна для облачных сервисов ИИ, где несколько пользователей одновременно работают с одной и той же моделью. Эксперты рекомендуют разработчикам пересмотреть механизмы изоляции кэша и добавить дополнительные проверки целостности данных на этапе вывода.
Источники: X-пост Kalomaze, 5 июня 2026 года.