Калькулятор памяти для локальных LLM
Оцените, хватит ли RAM или VRAM для локальной LLM с выбранной квантизацией и длиной контекста.
Обработка идёт в браузере. Ввод, файлы и результаты остаются на этом устройстве.
Как оценить память для запуска LLM
Вес зависит от числа параметров и среднего числа бит на параметр. Для Q4_K_M возьмите около 4,8 бит, для Q5_K_M — 5,7, для Q8_0 — 8,5. KV-кэш растёт с контекстом.
Выберите одну из четырёх моделей Qwen2.5. Для другой модели выберите свою конфигурацию и возьмите число слоёв, KV-голов и размер головы из config.json.
Ограничения
Расчёт включает рабочий резерв от 1 GiB. Реальный расход зависит от файла весов, программы запуска и параллельных запросов. Результаты для RAM и VRAM рассчитаны отдельно.