Rapid-MLX

Wer große Sprachmodelle lokal auf einem Mac betreibt, greift normalerweise zu Ollama oder llama.cpp. Keines davon wurde jedoch speziell um Apples MLX-Framework oder um die anspruchsvollen Anforderungen moderner Coding-Agents herum gebaut. Rapid-MLX von raullenchai zielt genau auf diese Lücke. Es ist ein lokaler Inferenz-Server für Apple Silicon und stellt eine OpenAI-kompatible HTTP-API bereit, sodass jedes Tool, das bereits das Chat-Completions-Format spricht, statt eines Cloud-Endpunkts darauf zeigen kann. Das Versprechen ist konkret: installieren, mit einem Befehl einen Server starten und Werkzeuge wie Cursor oder Claude Code an ein Modell anbinden, das vollständig auf der eigenen Hardware läuft. Es steht unter Apache-2.0 und ist vollständig OSI-offen, ohne proprietären Kern, was es zu einem ernsthaften Kandidaten macht, um eine Cloud-API in einem datenschutzsensiblen oder Offline-Workflow zu ersetzen.

Technisch baut Rapid-MLX auf MLX auf, Apples Array-Framework, das den vereinheitlichten Speicher und die Metal-GPU der M-Chips nutzt. Es läuft als HTTP-Server mit den üblichen /v1-Endpunkten plus einer Anthropic-ähnlichen Messages-Route und bringt eine Continuous-Batching-Engine mit, damit mehrere gleichzeitige Anfragen die GPU effizient teilen. Für den Agent-Einsatz fällt vor allem die Breite des Tool-Calling auf: Das Projekt nennt 17 Format-Parser für Hermes-, Qwen-, DeepSeek-, GLM- und Kimi-Stile, mit einer automatischen Recovery, die gültige strukturierte Ausgaben zu rekonstruieren versucht, wenn ein quantisiertes Modell fehlerhaften Text liefert. Das Prompt-Caching trimmt den KV-Cache, um wiederholte Präfixe nicht erneut zu verarbeiten, und das Projekt nennt eine getrennte reasoning_content-Ausgabe für Chain-of-Thought-Modelle. Ein doctor-Befehl prüft Metal, Importe und die Inferenz-Pipeline selbst, was auf echte operative Reife hindeutet.

Die natürliche Zielgruppe sind Entwickler, die ohnehin auf Apple Silicon arbeiten und lokale Inferenz in Coding-Agents verdrahten wollen, statt eine allgemeine Chat-Oberfläche zu nutzen. Konkrete Anwendungsfälle: Cursor, Claude Code, Aider, Continue.dev oder Goose auf ein lokales Qwen- oder DeepSeek-Modell zeigen lassen, um proprietären Code von fremden Servern fernzuhalten, oder einen Offline-Assistenten auf einem Laptop ohne stabile Verbindung betreiben. Der Modellkatalog richtet sich nach dem RAM, ein 16-GB-Mac bedient ein 4B-Modell, ein 256-GB-Mac-Studio deutlich größere, was die Kapazitätsplanung vereinfacht. Da es das OpenAI- und das Anthropic-Format spricht, fügt es sich auch ohne eigene Adapter in LangChain, PydanticAI, smolagents und Open WebUI ein. Für alle, die bereits im Apple-Hardware-Ökosystem stecken, ist diese Integrationsbreite das stärkste Argument für einen Test.

Die Einschränkungen sind real und beginnen beim Plattform-Lock-in: Das läuft ausschließlich unter macOS auf Apple Silicon, ohne Weg zu Linux, Windows oder NVIDIA, also irrelevant für alle außerhalb dieses Ökosystems. Trotz einer hoch wirkenden Versionsnummer ist es offiziell Beta, mit PyPI-Entwicklungsstatus 4, sodass produktiver Einsatz das übliche Risiko früher Software trägt. Auch das Performance-Marketing verdient eine kritische Prüfung. Die Datenbasis weist auf eine Schlagzeile von 4,2x schneller als Ollama ohne offengelegte Benchmark-Bedingungen hin, während PyPI selbst nur bescheidenere 2-4x angibt. Die README liefert zwar konkrete Werte, etwa 2,3x bei vier gleichzeitigen Anfragen auf einem M3 Ultra, räumt aber selbst ein, dass unterschiedliche Modellarchitekturen einen direkten Vergleich verhindern und manche Beschleunigungen stark vom Workload abhängen. Behandle die Zahlen als Richtwerte, nicht als Garantie.

Gegenüber seinen kommerziell erprobten Alternativen Ollama und llama.cpp versteht man Rapid-MLX am besten als fokussierte, Apple-native Option statt als Allzwecklösung. Ollama und llama.cpp laufen nahezu überall und haben riesige Communities; Rapid-MLX tauscht diese Reichweite gegen MLX-spezifisches Tuning, tiefere Tool-Calling-Abdeckung und agent-orientierte Funktionen, die die anderen nicht priorisieren. Die ernsthaften Engineering-Signale, angegebene 3.300-plus Tests, das doctor-Diagnosewerkzeug und breite Modellunterstützung, sprechen für mehr als ein Wochenendprojekt. Setze es ein, wenn du lokale Inferenz für Coding-Agents auf Apple Silicon betreibst und die engste Anpassung an diese Hardware willst. Warte ab, wenn du irgendeine Nicht-Apple-Hardware brauchst oder wenn deine Entscheidung an reproduzierbaren, unabhängig verifizierten Geschwindigkeitsgarantien hängt statt an einer Hersteller-Schlagzeile. Für die passende Zielgruppe lohnt ein ernsthafter Test.