Alle Werkzeuge

Speicherrechner für lokale LLMs

Prüfe, ob ein lokales Sprachmodell bei gewählter Quantisierung und Kontextlänge in den verfügbaren RAM oder VRAM passt.

Die Verarbeitung läuft im Browser. Eingaben, Dateien und Ergebnisse bleiben auf diesem Gerät.

Modell und Hardware

Gib freien Speicher an. Bei Unified Memory, etwa mit Apple Silicon, trage den Wert als RAM ein und setze VRAM auf 0.

Speicherschätzung

Hier erscheinen Gewichte, KV-Cache und die Schätzung für RAM oder VRAM.

Speicherbedarf eines lokalen LLM abschätzen

Die Gewichtsgröße hängt von der Parameterzahl und den mittleren Bits je Parameter ab. Rechne mit rund 4,8 Bit für Q4_K_M, 5,7 für Q5_K_M und 8,5 für Q8_0. Der KV-Cache wächst mit dem Kontext.

Wähle eine von vier Qwen2.5-Konfigurationen. Für andere Modelle nutze die eigene Konfiguration und lies Schichten, KV-Köpfe und Kopfgröße aus config.json ab.

Einschränkungen

Die Schätzung enthält mindestens 1 GiB Laufzeitreserve. Der tatsächliche Bedarf hängt von Modelldatei, Laufzeit und parallelen Anfragen ab. RAM und VRAM werden getrennt bewertet.