This site contains affiliate links. We may earn a commission at no extra cost to you. This helps us keep the site running and continue providing free guides and comparisons.
Das Wichtigste vorab#
Quantisierung verkleinert ein Sprachmodell, indem jede seiner Zahlen mit weniger Bits gespeichert wird, meist mit 4 statt 16. Die Datei wird dadurch rund 70 % kleiner, das Modell passt in den Speicher eines normalen Laptops oder einer Grafikkarte, und der gemessene Qualitätsverlust ist bei 4 Bit gering. Nur deshalb läuft ein Modell mit 27 Milliarden Parametern überhaupt zu Hause.
Wenn du dir nur eines merkst: Nimm Q4_K_M, solange nichts dagegen spricht. Hast du Speicher übrig, geh auf Q5 oder Q6. Alles unter 3 Bit ist eine Notlösung.
Ein Beispiel zieht sich durch diesen Guide. Qwen3.8-27B ist unquantisiert 54,66 GB groß und in der Q4_K_M-Datei von Unsloth 16,56 GB. Dasselbe Modell, dieselben 27 Milliarden Parameter, weniger als ein Drittel der Größe.
Dateigrößen und Tags stammen vom 13. November 2026 aus Hugging Face und der Ollama-Bibliothek. Die Qualitätszahlen kommen aus den jeweils genannten Quellen. Selbst gemessen habe ich nur ein Modell auf einem Mac, und das ist als eigene Messung gekennzeichnet.
Was ist Quantisierung bei KI-Modellen?#
Quantisierung bedeutet, die Gewichte eines Modells auf ein gröberes Zahlenformat zu runden, damit jedes Gewicht weniger Platz braucht. Die Gewichte, auch Parameter genannt, sind die Milliarden Zahlen, die ein Modell im Training gelernt hat. Ein Gewicht mit 16 Bit kann 65.536 verschiedene Werte annehmen. Mit 4 Bit sind es 16. Das Modell behält alle Gewichte, speichert aber jedes einzelne ungenauer.
Der Vergleich mit einem Foto passt gut: Du speicherst es als JPEG statt als RAW-Datei. Die Datei ist viel kleiner, und bei einer vernünftigen Einstellung sehen die meisten keinen Unterschied. Komprimierst du zu stark, tauchen Artefakte auf. Bei der Quantisierung ist es genauso, und der Rest dieses Guides dreht sich um die Frage, wo zu stark beginnt.
Die Größe ist wichtig, weil lokale Modelle komplett im Arbeitsspeicher liegen. Die Dokumentation von llama.cpp hält fest, dass Modelle vollständig in den Speicher geladen werden. Du brauchst also mindestens so viel RAM, wie die Datei groß ist, und der Kontext kommt noch obendrauf. Der Kontext ist der Text, den das Modell bei der Arbeit im Blick behält: deine Eingabe, angehängte Dokumente und der bisherige Gesprächsverlauf. Das Beispiel aus der Dokumentation: Llama 3.1 8B ist im Original 32,1 GB groß, was 32 Bit pro Gewicht entspricht, und als Q4_K_M 4,9 GB. Was das für deinen Rechner heißt, steht in unserem Guide zu lokaler KI und RAM-Bedarf.
Was ist GGUF?#
GGUF ist das Dateiformat, in dem die meisten quantisierten Modelle verteilt werden. Hugging Face beschreibt es als Binärformat, das auf schnelles Laden und Speichern von Modellen ausgelegt ist. Es enthält die Gewichte und alle Metadaten, die das Programm zum Ausführen braucht, in einer einzigen Datei. Das Format stammt aus dem Projekt llama.cpp und wird von llama.cpp, Ollama, LM Studio und GPT4All gelesen.
GGUF und Quantisierung sind zwei verschiedene Dinge. GGUF ist der Behälter, Quantisierung ist die Genauigkeit dessen, was darin liegt. Eine GGUF-Datei kann ein unquantisiertes 16-Bit-Modell enthalten oder eines mit 2 Bit. Deshalb steht ein Modell bei Hugging Face als lange Liste von .gguf-Dateien mit unterschiedlichen Namenszusätzen.
GGUF ist nicht das einzige Format. Auf Macs mit Apple Silicon führen Ollama und LM Studio auch Fassungen für MLX aus, Apples eigenes Framework für maschinelles Lernen. In der Ollama-Bibliothek tragen sie Tags wie nvfp4 (4 Bit) und mxfp8 (8 Bit) statt der Q-Namen. Das Prinzip ist dasselbe: weniger Bits pro Gewicht.
Was bedeuten Namen wie Q4_K_M?#
Der Namenszusatz sagt dir, wie viele Bits ein Gewicht bekommt und mit welchem Verfahren quantisiert wurde. Du liest ihn in drei Teilen:
| Teil | Bedeutung |
|---|---|
Q4 | Quantisiert, rund 4 Bit pro Gewicht. Q8 sind 8 Bit, Q2 sind 2 Bit. |
K | Ein sogenannter K-Quant. Diese Familie hat Iwan Kawrakow im Juni 2023 in llama.cpp eingebracht. Sie speichert Gewichte in Blöcken mit gemeinsamer Skalierung. |
S, M, L, XL | Small, Medium, Large. Die Mischung legt fest, wie viele Gewichtsgruppen, Tensoren genannt, mit zusätzlichen Bits gespeichert werden. |
Q4_K_M zeigt gut, warum die Buchstaben zählen. Laut dem ursprünglichen Pull Request speichert diese Variante die meisten Tensoren mit 4 Bit, nutzt aber 6 Bit für die Hälfte zweier Gewichtsgruppen, die dort attention.wv und feed_forward.w2 heißen. Im Schnitt ergibt das rund 4,9 Bit pro Gewicht und nicht 4,0.
Weitere Bezeichnungen, die dir begegnen:
IQ4_XS,IQ3_XXSund ähnliche. I-Quants nutzen eine Wichtigkeitsmatrix, um zu entscheiden, welche Gewichte Genauigkeit brauchen. Sie sind kleiner als die K-Datei mit derselben Zahl: Hugging Face nennt fürIQ4_XS4,25 Bit pro Gewicht und fürQ4_K4,5.Q4_0,Q8_0. Ältere Verfahren mit einfachem Runden. Hugging Face führt sie als „legacy“.Q8_0wird weiterhin für die meisten Modelle als 8-Bit-Stufe angeboten, und Googles QAT-Dateien für Gemma 4, die weiter unten erklärt werden, stehen in der Ollama-Bibliothek alsQ4_0.F16,BF16. Nicht quantisiert. Das ist das 16-Bit-Original.UD-. Ein Präfix von Unsloth für seine „dynamischen“ Quants. Es bezeichnet das Rezept eines Anbieters, keinen Typ aus llama.cpp.- imatrix. Kurz für Importance Matrix, die Wichtigkeitsmatrix von oben. Ein Kalibrierschritt beim Quantisieren. Laut llama.cpp-Dokumentation kann eine passende imatrix-Datei den Genauigkeitsverlust verringern.
Wie viel Qualität kostet die Quantisierung?#
Bis etwa 4 Bit ist der gemessene Verlust klein, unter 3 Bit steigt er schnell. Drei voneinander unabhängige Quellen zeigen in dieselbe Richtung.
Die ursprünglichen Messungen zu den K-Quants. Kawrakow hat mit dem Pull Request Perplexity-Werte für ein Modell mit 7 Milliarden Parametern veröffentlicht. Die Perplexity misst, wie stark ein Modell von einem Testtext überrascht wird. Niedriger ist besser. Die letzte Spalte habe ich aus seinen Zahlen berechnet:
| Quantisierung | Dateigröße | Perplexity | Änderung zu 16 Bit |
|---|---|---|---|
| F16 (Original) | 13,0 GB | 5,9066 | |
| Q6_K | 5,15 GB | 5,9110 | +0,07 % |
| Q5_K_M | 4,45 GB | 5,9208 | +0,24 % |
| Q4_K_M | 3,80 GB | 5,9601 | +0,91 % |
| Q3_K_M | 3,06 GB | 6,1503 | +4,1 % |
| Q2_K | 2,67 GB | 6,7764 | +14,7 % |
Die Zahlen sind von 2023 und stammen von einer älteren Modellgeneration. Lies sie als Verlauf der Kurve, nicht als exakte Werte für heutige Modelle: flach bis 4 Bit, danach steil.
Eine große Auswertung mit neueren Modellen. Im Oktober 2024 hat ein Team von Neural Magic, heute Teil von Red Hat, mehr als eine halbe Million Auswertungen mit quantisierten Llama-3.1-Modellen in den Größen 8B, 70B und 405B durchgeführt. Im Programmier-Benchmark HumanEval erreichten 8-Bit-Modelle 99,9 % und 4-Bit-Modelle 98,9 % des Originalwerts. Das 8B-Modell schwankte stärker als die großen. Die Studie nutzte Serverformate für vLLM und nicht GGUF. Sie bestätigt also das Prinzip, nicht eine bestimmte Datei.
Eine wissenschaftliche Studie. Jin et al., erschienen in den Findings der ACL 2024, haben Modelle mit 8, 4, 3 und 2 Bit auf zehn Benchmarks getestet. Ergebnis: 4-Bit-Modelle bleiben nah an ihren unquantisierten Fassungen, und größere quantisierte Modelle schlagen oft kleinere.
Der letzte Punkt ist die nützlichste Regel für die Praxis. Kawrakows Tabellen zeigen in dieselbe Richtung: Das 13B-Modell als Q4_K_M mit 7,32 GB kam auf eine Perplexity von 5,3002 und war damit klar besser als das 7B-Modell in voller 16-Bit-Genauigkeit mit 13,0 GB und 5,9066. Selbst das 13B-Modell als Q2_K mit 5,13 GB lag mit 5,8545 noch knapp vorn. Das ist ein einzelnes Modellpaar von 2023 und nur die Perplexity, lies es also als Tendenz: Ein größeres Modell mit 4 Bit schlägt tendenziell ein kleineres mit höherer Genauigkeit.
Eine Einschränkung gilt für alle drei Quellen. Keine hat lange Agentenläufe mit vielen Tool-Aufrufen auf Dateien mit wenigen Bits geprüft. Wenn du Modelle so einsetzt, teste die geplante Quantisierung, bevor du dich darauf verlässt.
Macht Quantisierung ein Modell schneller?#
Meistens ja, weil der Rechner für jedes Token weniger Daten bewegen muss. Tokens sind die Wortbausteine, die ein Modell liest und schreibt. Die llama.cpp-Dokumentation nennt für Llama 3.1 8B diese Geschwindigkeiten bei der Textausgabe: 29 Tokens pro Sekunde bei F16, 51 bei Q8_0, 59 bei Q6_K und 72 bei Q4_K_M. Die Hardware nennt die Seite nicht. Vergleiche also die Verhältnisse, nicht die absoluten Zahlen.
Wichtiger ist, ob das Modell überhaupt vollständig in den schnellen Speicher passt. Ein Modell, das nicht mehr ganz in die Grafikkarte oder den gemeinsamen Speicher passt und teilweise auf dem Prozessor läuft, wird spürbar langsamer. Wie du das mit ollama ps prüfst, zeigt die englische Anleitung How to Run an LLM Locally.
Ein Modell, 25 quantisierte Dateien: Qwen3.8-27B#
Wie die Auswahl in der Praxis aussieht, zeigt ein echtes Repository. unsloth/Qwen3.8-27B-GGUF bietet 25 quantisierte Fassungen desselben Modells neben dem unquantisierten Original. Hier eine Auswahl. Die Bits pro Gewicht sind aus der Dateigröße und den 27,3 Milliarden Parametern in den Metadaten berechnet:
| Datei | Größe | Bits pro Gewicht | Anteil am Original |
|---|---|---|---|
| BF16 (Original) | 54,66 GB | 16,0 | 100 % |
| Q8_0 | 29,05 GB | 8,51 | 53 % |
| UD-Q6_K | 21,98 GB | 6,44 | 40 % |
| UD-Q5_K_M | 19,87 GB | 5,82 | 36 % |
| UD-Q4_K_XL | 17,66 GB | 5,17 | 32 % |
| UD-Q4_K_M | 16,56 GB | 4,85 | 30 % |
| UD-Q4_K_S | 15,36 GB | 4,50 | 28 % |
| UD-IQ4_XS | 14,35 GB | 4,20 | 26 % |
| UD-Q3_K_XL | 13,15 GB | 3,85 | 24 % |
| UD-Q2_K_XL | 9,95 GB | 2,91 | 18 % |
| UD-IQ2_XXS | 7,21 GB | 2,11 | 13 % |
Zwei Details übersieht man leicht. Erstens reicht „4 Bit“ allein in diesem einen Repository von 14,35 bis 17,66 GB, schau also immer auf den ganzen Namenszusatz. Zweitens liest Qwen3.8-27B Bilder, und dafür braucht es eine zusätzliche Projektor-Datei mit 0,93 GB. Ollama packt beides zusammen: Der Tag qwen3.8:27b ist das Q4_K_M-Modell mit 17 GB plus Projektor, zusammen 18 GB.
Unsloth nennt in seiner eigenen Anleitung als Gesamtspeicher 12 bis 14 GB für 3 Bit, 16 bis 19 GB für 4 Bit, 23 bis 26 GB für 6 Bit und 31 GB für 8 Bit.
Was ich auf meinem eigenen Mac gemessen habe#
Ich nutze die MLX-Fassung qwen3.8:27b-mlx über Ollama auf einem MacBook Pro mit M4 Max und 36 GB gemeinsamem Speicher, den sich auf einem Mac Prozessor und Grafikchip teilen. ollama show gibt als Quantisierung nvfp4 aus, ein 4-Bit-Format, der Download ist 18 GB groß.
Am 13. November 2026 mit Ollama 0.40.14 ergaben drei kurze Läufe mit je 400 erzeugten Tokens: Das Modell war nach 17,6 Sekunden geladen, schrieb 35,1 bis 37,8 Tokens pro Sekunde und belegte beim voreingestellten Kontext von 32K laut ollama ps 19 GB, vollständig auf der GPU.
Das ist ein einzelner Rechner mit einer einzigen 4-Bit-Fassung. Es ist kein Vergleich zwischen Quantisierungsstufen, und die Qualität der Antworten habe ich nicht gemessen. Was die Messung zeigt: Ein 27B-Modell mit 4 Bit läuft auf 36 GB entspannt, und auf einem Mac mit 24 GB blieben bei denselben 19 GB rund 5 GB für macOS und alles andere.
Welche Quantisierung solltest du wählen?#
Fang bei Q4_K_M an und weiche nur ab, wenn dein Speicher es verlangt. Der Reihe nach:
- Standard: Q4_K_M. Das liefern die Standard-Tags von Ollama bei vielen Modellen aus, und Hugging Face wählt es automatisch, wenn du eine GGUF-Datei in Ollama lädst. LM Studio rät in seiner Dokumentation dasselbe: eine Option mit 4 Bit oder mehr, wenn der Rechner sie schafft.
- Speicher übrig: Q5_K_M oder Q6_K. Du kaufst dir eine kleine Qualitätsreserve. Über Q6 hinaus bringt es kaum noch etwas, denn Q6_K wich in Kawrakows Messungen weniger als 0,1 % vom 16-Bit-Original ab.
- Zu knapp: in Stufen nach unten. Probier zuerst Q3: Q3_K_M kostete in den Messungen oben 4,1 %. Unter 3 Bit wird der Verlust groß. Vergleiche dann mit dem nächstkleineren Modell in Q4, statt davon auszugehen, dass das größere noch gewinnt.
- Platz für den Kontext lassen. Die Dateigröße ist das Minimum, nicht die Summe. Die Kontextlänge kommt obendrauf, und lange Dokumente oder Agenten brauchen viel davon.
- Gibt es eine QAT-Fassung, schau sie dir für 4 Bit zuerst an. Dazu der nächste Abschnitt.
Für Qwen3.8-27B ergibt das ungefähr Folgendes. Das ist aus den Dateigrößen oben gerechnet, nicht auf jedem dieser Rechner getestet:
- Grafikkarte mit 16 GB: UD-Q3_K_XL (13,15 GB) mit kurzem Kontext. Die 4-Bit-Dateien brauchen laut Unsloth 16 bis 19 GB.
- Grafikkarte mit 24 GB oder Mac mit 32 GB: UD-Q4_K_M (16,56 GB) bis UD-Q5_K_M (19,87 GB).
- Mac mit 48 GB oder mehr: Q8_0 (29,05 GB), wenn du die fast verlustfreie Fassung willst.
- 12 GB oder weniger: nicht dieses Modell. Nimm ein Modell mit 12 Milliarden Parametern.
Was ist QAT?#
QAT steht für Quantization-Aware Training, also Training, das die Quantisierung berücksichtigt. Es ist eine der beiden Hauptarten der Quantisierung. Die übliche Art, Post-Training Quantization, komprimiert ein fertiges Modell. Bei QAT lernt das Modell schon im Training, mit der Rundung umzugehen.
Google hat am 5. Juni 2026 QAT-Fassungen aller Größen von Gemma 4 veröffentlicht. In der Ankündigung heißt es sinngemäß: Weil die Quantisierung schon im Training simuliert wird, hält QAT den Qualitätsverlust beim Komprimieren gering. Google berichtet von höherer Gesamtqualität als bei üblicher nachträglicher Quantisierung, nennt im Text des Artikels aber keine Zahlen.
Was du bekommst, zeigen die Größen in der Ollama-Bibliothek. Für Gemma 4 12B:
| Tag | Genauigkeit | Download |
|---|---|---|
gemma4:12b-it-bf16 | 16-Bit-Original | 24 GB |
gemma4:12b-it-q8_0 | 8 Bit | 13 GB |
gemma4:12b-it-q4_K_M | 4 Bit, nachträglich | 8,0 GB |
gemma4:12b-it-qat | 4 Bit, QAT | 7,2 GB |
Die QAT-Datei ist die kleinste der vier und die einzige, die der Hersteller für diese Genauigkeit trainiert hat. Eine kleinere Datei sagt nichts über die Qualität, und einen unabhängigen Vergleich habe ich nicht gefunden. Der Vorteil stützt sich also auf Googles Aussage. Eine QAT-Datei muss im Training entstehen, praktisch also beim Hersteller des Modells. Deshalb gibt es sie nur für wenige Modellfamilien. Wo es sie gibt, ist sie aus diesem Grund meine erste Wahl bei 4 Bit.
Welche lokalen Modelle lohnen sich im November 2026?#
Das sind Empfehlungen nach Speicherklasse, jeweils mit dem genauen Ollama-Tag und der Größe, die die Bibliothek am 13. November 2026 angezeigt hat. Sie folgen den Größenklassen in unserem Guide zu lokaler KI. Speicher meint am PC den Grafikspeicher der Karte (VRAM) und am Mac den gemeinsamen Speicher. Ausgewählt habe ich danach, was passt, nicht nach Qualität: Der Download lässt in der Speicherklasse Platz für den Kontext, und den Tag gibt es fertig in der Ollama-Bibliothek. Gegeneinander getestet habe ich die Modelle nicht.
| Dein Speicher | Modell | Ollama-Tag | Download | Genauigkeit |
|---|---|---|---|---|
| 8 GB | Qwen3.5 4B | qwen3.5:4b-q4_K_M | 3,3 GB | Q4_K_M |
| 8 GB | Gemma 4 E2B | gemma4:e2b-it-qat | 4,3 GB | 4 Bit QAT |
| 16 GB | Gemma 4 12B | gemma4:12b-it-qat | 7,2 GB | 4 Bit QAT |
| 16 GB | Qwen3.5 9B | qwen3.5:9b-q4_K_M | 6,6 GB | Q4_K_M |
| 24 GB | gpt-oss 20B | gpt-oss:20b | 14 GB | MXFP4 |
| 24 GB | Devstral Small 2 | devstral-small-2:24b-instruct-2512-q4_K_M | 15 GB | Q4_K_M |
| 32 GB | Qwen3.8 27B | qwen3.8:27b | 18 GB | Q4_K_M |
| 32 GB | Gemma 4 31B | gemma4:31b-it-qat | 19 GB | 4 Bit QAT |
| ab 48 GB | Qwen3.8 27B | qwen3.8:27b-q8_0 | 30 GB | Q8_0 |
| ab 48 GB | Qwen3.6 35B-A3B | qwen3.6:35b-a3b | 23 GB | Q4_K_M |
Qwen3.8-27B ist meine Empfehlung für 32 GB. Das Qwen-Team von Alibaba hat es im August 2026 unter der Lizenz Apache 2.0 veröffentlicht. Es ist ein dichtes Modell mit 27 Milliarden Parametern, bei dem alle Parameter an jedem Token mitrechnen. Es liest Bilder und Videos, mit einem nativen Kontext von 262.144 Tokens und einem Denkmodus, der standardmäßig eingeschaltet ist. Auf der Modellkarte nennt Alibaba 73,0 Punkte im Terminal Bench 2.1 und 61,7 im SWE-bench Pro, gegenüber 63,4 und 53,5 beim Vorgänger Qwen3.6-27B. Das sind Herstellerangaben für das Modell, keine Messungen der 4-Bit-Datei, die du herunterlädst.
Geht es dir um vertrauliche Daten in Kanzlei, Praxis oder Steuerbüro, lies dazu unseren Beitrag zu lokaler KI in regulierten Berufen. Passt das gewünschte Modell auf keinen deiner Rechner, kannst du eine GPU stundenweise mieten. Wie das geht, steht im RunPod-Guide.
Wie bekommst du eine bestimmte Quantisierung?#
Bei Ollama steckt die Quantisierung im Tag:
ollama run qwen3.8:27b # Q4_K_M, 18 GB
ollama run qwen3.8:27b-q8_0 # Q8_0, 30 GB
ollama show qwen3.8:27b # zeigt die Quantisierung eines installierten Modells
Die Tag-Liste jedes Modells, zum Beispiel qwen3.8/tags, zeigt jede verfügbare Genauigkeit mit ihrer Größe.
Ollama lädt GGUF-Dateien auch direkt von Hugging Face. Das Format lautet ollama run hf.co/{username}/{repository}:{quantization}, zum Beispiel:
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0
In LM Studio wählst du unter den Download-Optionen eines Modells, die dieselbe Art von Namen tragen. Den Vergleich der beiden Programme gibt es auf Englisch unter Ollama vs LM Studio.
Häufige Fehler#
- Nur die Dateigröße rechnen. Der Kontext kommt obendrauf. Eine Datei, die deinen Speicher bis zum letzten Gigabyte füllt, läuft nicht gut.
- Q8 eines kleinen Modells statt Q4 eines größeren nehmen. Die Messungen oben sprechen für das Gegenteil.
- Ohne Vergleich auf 2 Bit gehen. In Kawrakows Tabelle war Q2_K bei der Perplexity 14,7 % schlechter, Q4_K_M nur 0,91 %. Teste das nächstkleinere Modell in Q4 dagegen.
- Eine schon quantisierte Datei noch einmal quantisieren. Die llama.cpp-Dokumentation warnt, dass das die Qualität deutlich stärker senken kann als die Quantisierung aus 16 oder 32 Bit.
- „Q4“ für eine einheitliche Stufe halten. Verfahren, Mischung und Anbieter verändern die Datei, wie die Tabelle zu Qwen3.8 zeigt.
Was dieser Guide nicht abdeckt#
- Kein eigener Qualitätsvergleich. Die Qualitätszahlen stammen vom llama.cpp-Projekt, von Red Hat und von Jin et al. Meine Messung betrifft Tempo und Speicher einer 4-Bit-Fassung auf einem Mac.
- Serverformate. FP8, AWQ und andere Formate für vLLM auf Rechenzentrums-GPUs sind ein eigenes Thema. Hier geht es um Dateien für den eigenen Rechner.
- Selbst quantisieren. Für fast jedes offene Modell gibt es fertige Dateien, Einsteiger müssen das selten selbst tun.
- Eine Rangliste nach Qualität. Die Tabelle sortiert nach Speicherklasse anhand der dokumentierten Größen eines Stichtags. Modellnamen ändern sich schneller als die Regeln für die Wahl der Quantisierung.
FAQ#
Was ist Quantisierung bei KI?#
Quantisierung speichert die Gewichte eines KI-Modells mit weniger Bits, typischerweise mit 4 statt 16. Das Modell wird dadurch deutlich kleiner und braucht weniger Speicher, verliert aber etwas Genauigkeit. Deshalb laufen große Sprachmodelle auch auf gewöhnlichen Rechnern.
Was bedeutet Q4_K_M?#
Q4 steht für rund 4 Bit pro Gewicht, K für das K-Quant-Verfahren aus llama.cpp und M für die mittlere Mischung, die den empfindlichsten Schichten zusätzliche Bits gibt. Im Schnitt nutzt eine Q4_K_M-Datei rund 4,9 Bit pro Gewicht.
Reicht Q4_K_M aus?#
Für die meisten Zwecke ja. In den ursprünglichen llama.cpp-Messungen war Q4_K_M bei der Perplexity 0,91 % schlechter als das 16-Bit-Modell, und eine Auswertung von Red Hat sah 4-Bit-Modelle in einem Programmier-Benchmark bei 98,9 % des Originalwerts. Ollama liefert es bei vielen Modellen aus, und Hugging Face wählt es automatisch.
Q4_K_M oder Q5_K_M: Was soll ich nehmen?#
Nimm Q5_K_M, wenn es mit Reserve für den Kontext in deinen Speicher passt, sonst Q4_K_M. Bei den Unsloth-Dateien für Qwen3.8-27B sind das 19,87 GB gegenüber 16,56 GB. Der Qualitätsunterschied zwischen beiden ist klein. Opfere dafür weder Kontext noch ein größeres Modell.
Welche zwei Arten der Quantisierung gibt es?#
Post-Training Quantization und Quantization-Aware Training. Die erste komprimiert ein fertiges Modell und steckt hinter fast allen GGUF-Dateien. Die zweite, kurz QAT, simuliert die Rundung schon im Training, sodass sich das Modell darauf einstellt. So macht es Google bei Gemma 4.
Ist GGUF dasselbe wie Quantisierung?#
Nein. GGUF ist ein Dateiformat, Quantisierung ist die Genauigkeit der Gewichte in der Datei. Eine GGUF-Datei kann ein Modell mit 16 Bit oder mit 2 Bit enthalten, deshalb wird dasselbe Modell als viele GGUF-Dateien angeboten.
Wie viel RAM braucht Qwen3.8-27B?#
Plane 32 GB für die 4-Bit-Fassung ein. Die Q4_K_M-Datei von Unsloth ist 16,56 GB groß, das Ollama-Paket aus Modell und Bildprojektor 18 GB, und auf meinem Mac mit 36 GB belegte die 4-Bit-MLX-Fassung bei 32K Kontext 19 GB. Die 8-Bit-Fassung mit 30 GB braucht einen Rechner mit 48 GB oder mehr.
Quellen#
- llama.cpp: Dokumentation zur Quantisierung und Pull Request 1684, K-Quants von Iwan Kawrakow, Juni 2023
- Hugging Face: GGUF-Dokumentation und Ollama mit GGUF-Modellen
- Qwen3.8-27B: Modellkarte, unsloth/Qwen3.8-27B-GGUF (Dateigrößen über die Hugging-Face-API, 13. November 2026) und Unsloth-Dokumentation
- Ollama-Bibliothek, Tags: qwen3.8, gemma4, qwen3.5, qwen3.6, gpt-oss, devstral-small-2
- Google: Gemma 4 QAT models, 5. Juni 2026
- Red Hat Developer: We ran over half a million evaluations on quantized LLMs, 17. Oktober 2024
- Jin et al.: A Comprehensive Evaluation of Quantization Strategies for Large Language Models, Findings der ACL 2024
- LM Studio: Download an LLM
