mlx-tune
ARahim3
Unsloth-kompatibles Fine-Tuning für LLMs, VLMs, TTS und STT auf Apple Silicon via MLX.
Was ist mlx-tune?
mlx-tune kapselt Apples MLX mit einer API, die absichtlich kompatibel zu Unsloth (dem populären CUDA-Fine-Tuner) ist, und lässt Mac-Nutzer SFT, DPO, GRPO, Vision-Model-Training sowie TTS/STT-Fine-Tuning lokal auf Unified Memory ausführen. Enthält 50+ Beispiele und 39+ unterstützte Modell-Architekturen inklusive MoE.
Vor- & Nachteile
Pros
- Unsloth-kompatible API reduziert den Migrationsaufwand aus CUDA-Fine-Tuning-Workflows
- Apple-Silicon-Unified-Memory erlaubt lokales Fine-Tuning größerer Modelle als typisches VRAM (eigene Angabe des Projekts)
- Deckt LLM, VLM, TTS, STT und Embeddings aus einer Bibliothek ab
Cons
- Nur Apple Silicon - kein Weg zu CUDA-Servern, wo die meisten Produktionstrainings laufen
- Frühe Community (wenige battle-tested Fehlerberichte)
- Performance-Zahlen sind selbst berichtet
Lizenz
Apache-2.0 (OSI-open)
Wann interessant
Praktiker, die fine-tuned Modelle auf einem Mac prototypen und im Apple-Ökosystem für kleine Runs bleiben wollen.
Wann zu früh
Wenn du Training im großen Maßstab benötigst oder Ergebnisse auf CUDA-Hardware reproduzieren musst.
Kommerzielle Alternative & Verwandtes
- Kommerzielles Pendant: Unsloth / Modal
Dieses Repo war in der Ausgabe 2026-07 des Open-Source-KI-Radars.
oMLX
jundot
macOS-nativer LLM-Inference-Server für Apple Silicon mit Continuous Batching und SSD-gestütztem KV-Cache.
apfel
Arthur-Ficial
Das On-Device-Apple-Intelligence-Modell auf macOS 26 als Zero-Setup-OpenAI-kompatible lokale API verfügbar machen.
shimmy
Michael-A-Kuykendall
Lokale Inference-Engine in reinem Rust mit OpenAI-kompatibler API, als eine Binary.