apfel
Arthur-Ficial
Das On-Device-Apple-Intelligence-Modell auf macOS 26 als Zero-Setup-OpenAI-kompatible lokale API verfügbar machen.
Was ist apfel?
apfel kapselt Apples On-Device Foundation Models Framework (das ~3B-Modell, das mit macOS 26 / Tahoe ausgeliefert wird) als CLI, REPL und OpenAI-kompatibler HTTP-Server auf localhost. Kein Modell-Download, kein API-Key, keine Cloud. Unterstützt Tool Calling, MCP, JSON-Ausgabe und neun Sprachen.
apfel im Detail
Jeder Mac mit macOS 26 Tahoe bringt inzwischen ein kleines Sprachmodell direkt im Betriebssystem mit, doch Apple stellt es nicht als allgemein nutzbaren Endpunkt bereit, auf den eigene Skripte und Tools zugreifen könnten. Genau hier setzt apfel an. Es ist ein schlankes Swift-Werkzeug von Arthur-Ficial, das Apples geräteinternes Foundation-Models-Framework kapselt und auf drei Wegen zugänglich macht: als CLI im UNIX-Stil, als interaktive REPL und als OpenAI-kompatiblen HTTP-Server auf localhost. Das Versprechen lautet Zero-Setup im wörtlichen Sinn. Es gibt kein Modell zum Herunterladen, keinen API-Key zu verwalten und keinen Cloud-Umweg, denn das rund 3B Parameter große Modell liegt bereits auf dem Gerät. Man installiert apfel, aktiviert Apple Intelligence und hat einen lokalen LLM-Endpunkt.
apfel ist in Swift 6.3 mit strenger Concurrency gebaut und um eine gemeinsame Kernbibliothek namens ApfelCore herum strukturiert, durch die alle drei Einstiegspunkte laufen. Im Hintergrund ruft es Apples SystemLanguageModel- und LanguageModelSession-APIs auf, sodass die Inferenz auf Neural Engine und GPU läuft statt auf einer mitgelieferten Runtime. Das Besondere ist die Kompatibilitätsschicht. Der Server implementiert /v1/chat/completions, /v1/models und /health, nutzt standardmäßig den Ollama-typischen Port 11434 und akzeptiert vertraute Parameter wie temperature, top_p, max_tokens, seed und response_format für JSON-Objekt- und JSON-Schema-Ausgaben. Tool Calling funktioniert in allen Kontexten, und über das Flag --mcp lassen sich Model-Context-Protocol-Server anbinden. Nicht unterstützte Anfragen wie n größer als 1, logprobs oder Bildeingaben werden mit klaren 400-Fehlern abgelehnt statt stillschweigend falsch behandelt.
Die natürliche Zielgruppe sind Entwickler, die bereits auf macOS 26 unterwegs sind und einen kostenlosen, vollständig offline arbeitenden Endpunkt für Prototyping und datenschutzsensible Arbeit wollen. Da der Server das OpenAI-Protokoll spricht, lassen sich bestehende Clients und Bibliotheken mit kaum mehr als einer geänderten Base-URL auf localhost umlenken, was lokales Testen von Agenten-Schleifen, Klassifikation, Zusammenfassung und strukturierter Extraktion ohne Abrechnung erlaubt. Die pipe-freundliche CLI passt in Shell-Workflows: Zwischenablage transformieren, Befehlsausgaben zusammenfassen, Commit-Messages entwerfen oder ein Log beobachten und Auffälligkeiten markieren. MCP und Tool Calling öffnen die Tür für geräteinterne agentische Aufgaben, die lokale Dateien oder APIs berühren und die Daten dabei auf der Maschine halten. Wo bei Automatisierung Vertraulichkeit wichtiger ist als reine Modellstärke, ist diese reine Lokalität das Hauptargument.
Die Einschränkungen sind erheblich, und apfel geht mit den meisten ehrlich um. Es setzt macOS 26 Tahoe auf Apple Silicon voraus, was zum Redaktionszeitpunkt Developer-Betas bedeutet, also nichts, das man einer breiten Nutzerbasis ausliefern sollte. Das Kontextfenster ist fest auf 4.096 Tokens für Ein- und Ausgabe zusammen begrenzt, deutlich kleiner als bei den meisten Open-Weight-Modellen, und längere Gespräche stoßen an ein Längenlimit. Das zugrunde liegende Modell ist Apples quantisiertes geräteinternes AFM, entsprechend ist die Qualität gebunden: das Projekt selbst nennt schwache Mathematik, wackelige Faktentreue und begrenzte Codegenerierung, zudem kennt das Modell das aktuelle Datum nicht und erfindet teils seinen eigenen Wissensstand. Embeddings und Vision fehlen. Apples Sicherheits-Guardrails können außerdem Fehlablehnungen erzeugen, die ein --permissive-Flag nur teils abmildert. Antworten dauern jeweils einige Sekunden.
Gegen eine gehostete OpenAI- oder Anthropic-API tritt apfel nicht bei der Fähigkeit an und versucht es auch nicht. Es punktet bei Kosten, Datenschutz und Bequemlichkeit: ein kostenfreier Endpunkt ohne Download und ohne Netzwerk, der ohnehin schon auf dem Laptop liegt. Wenn die Last gering ist, gut innerhalb von 4K Tokens bleibt und ein kleines Modell verträgt, kann apfel bezahlte Aufrufe für Prototyping, lokale Automatisierung und Offline-Aufgaben leise ersetzen, und die OpenAI-kompatible Schicht macht den späteren Wechsel zu einem Frontier-Modell zu einer reinen Konfigurationsfrage. Zu früh ist es, wenn man heute macOS 15 unterstützen muss, ein größeres Kontextfenster, stärkeres Reasoning oder Produktionsstabilität auf einem Nicht-Beta-System braucht. Für Entwickler, die auf Tahoe leben und ohne Rechnung und Netzabhängigkeit experimentieren wollen, ist es ein wirklich nützliches Stück Infrastruktur, das man sich jetzt merken und mit dem allgemeinen Release von macOS 26 übernehmen sollte.
Vor- & Nachteile
Pros
- Kein Modell-Download und keine Kosten - nutzt das bereits in macOS 26 integrierte Modell
- OpenAI-kompatibler Server, sodass bestehende Integrationen unverändert funktionieren
- MCP-Unterstützung und Tool Calling ermöglichen On-Device-agentische Workflows
Cons
- Erfordert macOS 26 (Tahoe), zum Zeitpunkt des Schreibens nur in Developer-Betas verfügbar
- Ein context window von 4.096 Tokens ist klein im Vergleich zu den meisten open-weight-Modellen
- Die Qualität ist an Apples On-Device-~3B-Modell gebunden - nicht für komplexes Schlussfolgern geeignet
Lizenz
MIT (OSI-open)
Wann interessant
Entwickler auf macOS 26, die einen vollständig offline, kostenlosen LLM-Endpunkt für Prototyping und datenschutzsensible Automatisierung wollen.
Wann zu früh
Wenn du heute macOS-15-Unterstützung, ein größeres context window oder stärkere Modellqualität benötigst.
Kommerzielle Alternative & Verwandtes
- Kommerzielles Pendant: OpenAI / Anthropic API
Dieses Repo war in der Ausgabe 2026-07 des Open-Source-KI-Radars.
oMLX
jundot
macOS-nativer LLM-Inference-Server für Apple Silicon mit Continuous Batching und SSD-gestütztem KV-Cache.
shimmy
Michael-A-Kuykendall
Lokale Inference-Engine in reinem Rust mit OpenAI-kompatibler API, als eine Binary.
claude-code-local
nicedreamzapp
MLX-nativer Proxy, der das Claude-Code-CLI gegen lokale Modelle auf Apple Silicon laufen lässt, voll offline.