Calculadora de memoria para LLM locales
Estima si un modelo de lenguaje local cabe en la RAM o VRAM disponible con la cuantización y el contexto elegidos.
El procesamiento se realiza en el navegador. Los datos, archivos y resultados se quedan en este dispositivo.
Cómo estimar la memoria de un LLM local
El tamaño de los pesos depende de los parámetros y de los bits medios por parámetro. Usa unos 4,8 bits para Q4_K_M, 5,7 para Q5_K_M y 8,5 para Q8_0. La caché KV crece con el contexto.
Elige uno de los cuatro perfiles de Qwen2.5. Para otro modelo, usa la configuración propia y consulta las capas, cabezas KV y dimensión de cabeza en config.json.
Limitaciones
La estimación añade al menos 1 GiB de reserva. El uso real depende del archivo, el motor y las solicitudes simultáneas. La RAM y la VRAM se evalúan por separado.