Все инструменты

Калькулятор памяти для локальных LLM

Оцените, хватит ли RAM или VRAM для локальной LLM с выбранной квантизацией и длиной контекста.

Обработка идёт в браузере. Ввод, файлы и результаты остаются на этом устройстве.

Модель и оборудование

Укажите свободную память. Для общей памяти, например на Apple Silicon, заполните RAM и поставьте VRAM 0.

Память для запуска

Здесь появятся объём весов, KV-кэш и оценка запуска в RAM или VRAM.

Как оценить память для запуска LLM

Вес зависит от числа параметров и среднего числа бит на параметр. Для Q4_K_M возьмите около 4,8 бит, для Q5_K_M — 5,7, для Q8_0 — 8,5. KV-кэш растёт с контекстом.

Выберите одну из четырёх моделей Qwen2.5. Для другой модели выберите свою конфигурацию и возьмите число слоёв, KV-голов и размер головы из config.json.

Ограничения

Расчёт включает рабочий резерв от 1 GiB. Реальный расход зависит от файла весов, программы запуска и параллельных запросов. Результаты для RAM и VRAM рассчитаны отдельно.