Speicherrechner für lokale LLMs
Prüfe, ob ein lokales Sprachmodell bei gewählter Quantisierung und Kontextlänge in den verfügbaren RAM oder VRAM passt.
Die Verarbeitung läuft im Browser. Eingaben, Dateien und Ergebnisse bleiben auf diesem Gerät.
Speicherbedarf eines lokalen LLM abschätzen
Die Gewichtsgröße hängt von der Parameterzahl und den mittleren Bits je Parameter ab. Rechne mit rund 4,8 Bit für Q4_K_M, 5,7 für Q5_K_M und 8,5 für Q8_0. Der KV-Cache wächst mit dem Kontext.
Wähle eine von vier Qwen2.5-Konfigurationen. Für andere Modelle nutze die eigene Konfiguration und lies Schichten, KV-Köpfe und Kopfgröße aus config.json ab.
Einschränkungen
Die Schätzung enthält mindestens 1 GiB Laufzeitreserve. Der tatsächliche Bedarf hängt von Modelldatei, Laufzeit und parallelen Anfragen ab. RAM und VRAM werden getrennt bewertet.