This site contains affiliate links. We may earn a commission at no extra cost to you. This helps us keep the site running and continue providing free guides and comparisons.
Das Wichtigste vorab#
Lokale KI bedeutet: Ein Sprachmodell läuft auf deinem eigenen Rechner oder Server, und deine Eingaben gehen an keinen Cloud-Anbieter. Welches lokale LLM für dich in Frage kommt, entscheidet vor allem der Arbeitsspeicher. Für den Einstieg reichen 16 GB RAM, für ernsthafte Arbeit mit Code oder langen Dokumenten solltest du mit 32 GB planen.
Die Software ist nicht das Problem. Mit Ollama oder LM Studio läuft ein Modell in wenigen Minuten. Die eigentlichen Fragen sind, welches Modell auf deine Hardware passt, welche Lizenz es hat und ob sich der Aufwand für deinen Fall lohnt.
Die Modellangaben sind eine Momentaufnahme vom 9. November 2026. Eigene Benchmarks haben wir nicht durchgeführt. Die Einschätzungen beruhen auf den Angaben der Hersteller und den Downloadgrößen in der Ollama-Bibliothek.
Wann lohnt sich lokale KI?#
Lokale KI lohnt sich, wenn deine Daten das Haus nicht verlassen sollen, wenn du ohne verlässliche Internetverbindung arbeitest oder wenn du Modelle auf eigene Daten feintunen willst. Zum Sparen taugt sie nur selten: Wer Hardware kauft, um ein Abo von rund 20 US-Dollar im Monat zu ersetzen, rechnet sich das Vorhaben schön.
Der stärkste Grund im deutschsprachigen Raum ist der Umgang mit vertraulichen Daten. Mandantenakten, Patientenunterlagen oder Steuerdaten sollen in vielen Kanzleien und Praxen nicht bei einem US-Dienst landen. Was das für Anwälte, Ärzte und Steuerberater konkret heißt, steht in unserem Beitrag zu lokaler KI in regulierten Berufen.
Eine Einschränkung gilt immer: Lokale Verarbeitung allein erfüllt keine Datenschutzpflichten. Sie nimmt einen externen Dienstleister aus der Rechnung, aber Rechtsgrundlage, Dokumentation, Zugriffsrechte und bei Berufsgeheimnisträgern die berufsrechtlichen Vorgaben bleiben deine Aufgabe. Das musst du im Einzelfall klären, und dieser Guide ersetzt keine Rechtsberatung.
Wie viel RAM braucht ein lokales LLM?#
Du brauchst etwa 8 GB RAM für kleine Modelle, 16 GB für Modelle, die im Alltag wirklich helfen, und 32 GB für die Klasse um 27 bis 31 Milliarden Parameter, die auch Coding-Agenten trägt. LM Studio empfiehlt in seinen Systemanforderungen ebenfalls mindestens 16 GB und rät auf Macs mit 8 GB zu kleinen Modellen und kurzem Kontext.
Als Faustregel gilt bei 4-Bit-Quantisierung: Rechne mit 0,5 bis 0,7 GB pro Milliarde Parameter. Die reinen Gewichte sind aber nur ein Teil des Bedarfs. Betriebssystem, deine Programme und der Kontext brauchen zusätzlich Platz.
| Dein Speicher | Realistische Klasse | Aktuelle Beispiele (Download bei Ollama) | Geeignet für |
|---|---|---|---|
| 8 GB | 2 bis 4 Mrd. Parameter | qwen3.5:4b (3,3 bis 4,0 GB), gemma4:e2b-it-qat (4,3 GB) | Chat, Zusammenfassungen, einfache Textarbeit |
| 16 GB | 4 bis 12 Mrd. | gemma4:e4b-it-qat (6,1 GB), gemma4:12b (7,7 bis 8,0 GB) | Längere Texte, einfache Programmierhilfe |
| 24 GB | 20 bis 24 Mrd. | gpt-oss:20b (14 GB), devstral-small-2 (15 GB) | Lange Dokumente, Arbeit an einem Projekt |
| 32 GB | 26 bis 31 Mrd. | gemma4:26b (16 bis 19 GB), qwen3.8:27b (18 GB), gemma4:31b (19 bis 20 GB) | Anspruchsvolle Texte, Agenten, großer Kontext |
| 64 GB | 35 Mrd. mit viel Kontext | qwen3.6:35b-a3b (23 GB) | Sehr lange Dokumente, mehrere Modelle parallel |
| ab 128 GB | um 100 Mrd. und mehr | llama4:scout (67 GB), devstral-2 (75 GB) | Arbeitsstation für ein kleines Team |
Downloadgrößen laut Ollama-Bibliothek am 9. November 2026. Die Speicherklassen sind unsere Planungshilfe aus Downloadgröße plus Reserve, keine Messwerte.
Drei Dinge verschieben den tatsächlichen Bedarf:
- Kontextlänge. Je mehr Text das Modell gleichzeitig im Blick behält, desto mehr Speicher braucht es. In der Ollama-Doku belegt
gemma4:latestbei einem Kontext von 131.072 Token 9,6 GB. - Parallele Anfragen. Laut Ollama wächst der Bedarf mit der Zahl paralleler Anfragen mal der Kontextlänge.
- Gesamtparameter statt aktiver Parameter. Gemma 4 26B hat 25,2 Milliarden Parameter insgesamt, davon 3,8 Milliarden aktiv, und braucht als Download trotzdem 16 bis 19 GB. Die kleine Zahl aktiver Parameter hilft bei der Rechenlast, aber nicht beim Speicher.
Welche lokalen Modelle sind 2026 sinnvoll?#
Für die meisten Einsätze ist Gemma 4 der beste Einstieg und Qwen3.8-27B die stärkste Wahl ab 32 GB. Beide stehen unter Apache 2.0, sind also auch für den kommerziellen Einsatz freigegeben.
- Gemma 4 von Google gibt es von 2 bis 31 Milliarden Parameter. Die kleinen Größen sind für Laptops und mobile Geräte gebaut, alle verarbeiten auch Bilder.
- Qwen3.8-27B von Alibaba ist die neueste Generation dieser Größe und liest neben Text auch Bilder und Video.
- gpt-oss-20b ist das offene Modell von OpenAI für lokale und spezialisierte Einsätze.
- Devstral Small 2 kommt vom französischen Anbieter Mistral und ist auf Softwareentwicklung ausgerichtet.
Offene Modelle sind nicht automatisch alltagstauglich. DeepSeek V4 Pro hat 1,6 Billionen Parameter, und llama4:maverick ist bei Ollama 245 GB groß. Solche Modelle sind frei herunterladbar, brauchen aber Serverhardware. Für den eigenen Rechner kommen sie nicht in Frage.
Achte auf die Lizenz, gerade in der EU. „Open Weights“ heißt nicht „Open Source“. Bei Llama 4 schließt die Nutzungsrichtlinie Personen und Unternehmen mit Sitz in der EU von den Rechten an den multimodalen Modellen aus, Endnutzer fertiger Produkte ausgenommen. Für deutsche Unternehmen sind Apache-2.0-Modelle wie Gemma 4 oder Qwen deshalb die unkompliziertere Wahl.
Welche Software brauchst du für lokale KI?#
Für die meisten ist Ollama die richtige Wahl, und LM Studio, wenn du lieber mit einer Oberfläche als im Terminal arbeitest.
| Runtime | Am besten für | Lizenz | Läuft auf |
|---|---|---|---|
| Ollama | Einstieg, lokale API, Coding-Agenten | MIT | macOS ab 14, Windows 10 22H2 oder neuer, Linux |
| LM Studio | Desktop-App, Chat mit eigenen Dokumenten | Proprietär, kostenlose Version | macOS ab 14 nur Apple Silicon, Windows, Linux |
| llama.cpp | Breiteste Hardware, volle Kontrolle | MIT | Metal, CUDA, Vulkan, SYCL und weitere |
| vLLM | GPU-Server für mehrere Nutzer | Apache 2.0 | Linux, Windows nur über WSL |
Der ausführliche Vergleich steht auf Englisch unter Ollama vs LM Studio, die Einrichtung Schritt für Schritt unter How to Run an LLM Locally.
So kommst du mit Ollama zum ersten Modell:
ollama run gemma4
Eine Falle betrifft fast alle Einsteiger: Ollama nutzt unter 24 GiB VRAM nur einen Kontext von 4.000 Token. Für längere Dokumente ist das zu wenig, und Agenten sowie Coding-Tools sollten laut Ollama mindestens 64.000 Token bekommen. Das stellst du in der App über den Regler ein oder beim Start des Servers:
OLLAMA_CONTEXT_LENGTH=64000 ollama serve
Für Apple Silicon und Spezialfälle gibt es Alternativen aus unserem Open-Source-Radar: oMLX und Rapid-MLX sind Server für Apple Silicon, shimmy ist eine einzelne Binärdatei ohne Laufzeitumgebung, und whichllm liest deine Hardware aus und zeigt, welche Modelle darauf gut laufen.
Lokal ist nur lokal, solange du es einstellst#
Ollama und LM Studio bieten inzwischen beide Cloud-Modelle an. Das ist praktisch, aber es ist keine lokale KI mehr. Tags wie gemma4:cloud laufen auf den Servern von Ollama. LM Studio nennt seine Desktop-App seit Juli 2026 LM Studio Bionic und bietet dort US-gehostete Modelle an.
Beide Anbieter machen klare Aussagen: Ollama schreibt, bei lokaler Nutzung sehe es weder Eingaben noch Daten, und bei Cloud-Modellen werde nichts gespeichert. LM Studio schreibt, bei lokalen Modellen verlasse nichts dein Gerät, und in der Cloud gelte Zero Data Retention. Das sind Herstellerangaben. Wenn deine Daten das Haus nicht verlassen dürfen, nutze ausschließlich lokale Modelle und prüfe die Einstellungen.
Und wenn lokal zu aufwendig ist?#
Zwischen dem eigenen Server und einem großen KI-Abo gibt es zwei Zwischenwege. Offene Modelle lassen sich über eine API nutzen. Das ist oft günstiger als geschlossene Spitzenmodelle, deine Eingaben gehen aber an einen Server. Und wer für einzelne Aufgaben eine starke GPU braucht, kann sie mieten, statt sie zu kaufen. Das beschreibt unser RunPod-Guide.
Eine reine Kostenrechnung geht bei lokaler KI selten auf. Du übernimmst Updates, Modellwahl und Wartung selbst. Für viele ist eine Mischung sinnvoll: lokal für Routine und Sensibles, gehostet für die schweren Aufgaben.
FAQ#
Was ist lokale KI?#
Lokale KI ist ein Sprachmodell, das auf deiner eigenen Hardware läuft statt bei einem Cloud-Anbieter. Deine Eingaben bleiben dabei auf deinem Gerät, solange du keine Cloud-Modelle auswählst. Nach dem Download funktioniert das auch ohne Internet.
Welches lokale LLM ist das beste für 16 GB RAM?#
Ein Modell bis etwa 12 Milliarden Parameter, zum Beispiel gemma4:12b mit 7,7 bis 8,0 GB Download. Damit bleibt noch Platz für das Betriebssystem und einen mittleren Kontext.
Welches lokale LLM ist das beste für 8 GB RAM?#
Ein kleines Modell mit 2 bis 4 Milliarden Parametern, etwa qwen3.5:4b oder gemma4:e2b-it-qat. Größere Modelle lassen sich zwar oft laden, lassen aber kaum Platz für Kontext und andere Programme.
Ist lokale KI automatisch DSGVO-konform?#
Nein. Lokale Verarbeitung kann die Lage vereinfachen, weil kein externer Dienstleister die Daten erhält. Die Pflichten aus der DSGVO, etwa Rechtsgrundlage und Dokumentation, bleiben aber bestehen und hängen von deinem konkreten Einsatz ab.
Brauche ich für lokale KI eine Grafikkarte?#
Nicht zwingend. Apple-Silicon-Macs nutzen den gemeinsamen Arbeitsspeicher und kommen ohne separate Grafikkarte aus. Auf einem reinen Prozessor laufen kleine Modelle, aber zu langsam für flüssige Gespräche.
Ist lokale KI so gut wie ChatGPT oder Claude?#
An der Spitze nicht. Ein Modell mit rund 30 Milliarden Parametern schafft Zusammenfassungen, Entwürfe und Routinearbeit gut, schwierige Denkaufgaben lösen gehostete Spitzenmodelle aber weiterhin besser. Der Grund für lokale KI ist meist die Kontrolle über die Daten, nicht die maximale Leistung.
Kostet lokale KI etwas?#
Die Software nicht: Ollama und llama.cpp sind quelloffen, LM Studio hat eine kostenlose Version. Du zahlst für Hardware und Strom. Auf den Preisseiten der Anbieter stehen nur die optionalen Cloud-Tarife.
Quellen#
- Ollama: Kontextlänge, FAQ, Hardware, Preise, Modellbibliothek
- LM Studio: Systemanforderungen, Offline-Betrieb, Nutzungsbedingungen, Preise
- llama.cpp und vLLM auf GitHub
- Modellkarten: Gemma 4, Qwen3.8-27B, gpt-oss-20b, Devstral Small 2, DeepSeek V4
- Llama-4-Lizenz und Nutzungsrichtlinie
