Todas las herramientas

Calculadora de memoria para LLM locales

Estima si un modelo de lenguaje local cabe en la RAM o VRAM disponible con la cuantización y el contexto elegidos.

El procesamiento se realiza en el navegador. Los datos, archivos y resultados se quedan en este dispositivo.

Modelo y equipo

Indica la memoria libre. Para memoria unificada, como Apple Silicon, introdúcela en RAM y deja VRAM en 0.

Estimación de memoria

Aquí verás el tamaño de los pesos, la caché KV y la estimación para RAM o VRAM.

Cómo estimar la memoria de un LLM local

El tamaño de los pesos depende de los parámetros y de los bits medios por parámetro. Usa unos 4,8 bits para Q4_K_M, 5,7 para Q5_K_M y 8,5 para Q8_0. La caché KV crece con el contexto.

Elige uno de los cuatro perfiles de Qwen2.5. Para otro modelo, usa la configuración propia y consulta las capas, cabezas KV y dimensión de cabeza en config.json.

Limitaciones

La estimación añade al menos 1 GiB de reserva. El uso real depende del archivo, el motor y las solicitudes simultáneas. La RAM y la VRAM se evalúan por separado.