voicebox

Sprachsynthese ist still zu einer der am stärksten cloudgebundenen Ecken der KI geworden. Text-to-Speech, Voice Cloning und Diktat bedeuten meist, dass Text und oft eine Probe der eigenen Stimme an eine gehostete API wie ElevenLabs gehen, mit nutzungsabhängigen Preisen und ohne echte Möglichkeit, die Daten lokal zu halten. Voicebox, eine MIT-lizenzierte Desktop-App von Jamie Pine, will diesen ganzen Stack in ein lokales Werkzeug bündeln. Es versteht sich als kostenlose, gerätelokale Alternative zu ElevenLabs, kombiniert mit einer Diktatschicht im Whisper-Stil. Der Anspruch ist klar: eine Stimme klonen, Sprache erzeugen, Gesprochenes transkribieren und KI-Agenten sprechen lassen, ohne dass etwas den Rechner verlässt. Zielgruppe sind alle, für die die laufende API-Rechnung, das Datenschutzrisiko oder beides bisher der Blocker war.

Technisch ist Voicebox eine Tauri-Desktop-Hülle mit React- und TypeScript-Frontend, das mit einem Python-FastAPI-Backend spricht. Die Inferenz läuft über MLX auf Apple Silicon und über PyTorch auf CUDA, ROCm, DirectML, Intel Arc und reiner CPU, was für ein so junges Projekt ungewöhnlich breite Hardware-Abdeckung ist. Statt auf ein Modell zu setzen, kapselt es sieben TTS-Engines, darunter Qwen3-TTS, Qwen CustomVoice, LuxTTS, Chatterbox und Kokoro, plus OpenAI Whisper für die Transkription. Wirklich eigenständig ist der eingebaute Model-Context-Protocol-Server: Er stellt Tools wie voicebox.speak und voicebox.transcribe über HTTP oder stdio bereit, sodass ein MCP-fähiger Agent in Claude Code oder Cursor mit einem einzigen Tool-Aufruf sprechen und zuhören kann. Ein mitgeliefertes kleines Qwen3-LLM übernimmt zudem persönlichkeitsbasiertes Umschreiben des Textes vor der Synthese.

Die Zielgruppe ist recht spezifisch. Es passt zu Entwicklern und Bastlern, die ein Offline-Sprachwerkzeug wollen und mit einem Desktop-Build zurechtkommen, der Modellgewichte herunterlädt. Konkrete Anwendungen sind Diktat per Hotkey, das transkribierten Text in jede App einfügt, das Vertonen langer Texte oder Podcasts über den mehrspurigen Stories-Editor und das Verleihen einer echten Stimme an einen Coding-Agenten, der Ergebnisse vorliest oder gesprochene Prompts transkribiert. Datenschutzsensible Nutzer mit vertraulichen Texten oder Aufnahmen sind ein klarer Fall, da das Projekt Erzeugung und Stimmdaten auf dem Gerät hält. Auch Menschen mit Nicht-Nvidia-Hardware, etwa Apple Silicon, AMD und Intel Arc, profitieren von der breiten Backend-Unterstützung, die viele konkurrierende lokale Tools schlicht nicht bieten.

Die Vorbehalte sind erheblich und gehören abgewogen. Das Repository wurde im Januar 2026 erstellt und steht bei v0.5.0, mit mehreren hundert offenen Issues und Kernfunktionen wie Auto-Paste unter Windows und Linux sowie Streaming-Transkription noch auf der Roadmap. Mit rauen Kanten und Breaking Changes ist zu rechnen. Schwerer wiegt: Der Cloning-Workflow kommt ohne Einwilligungs-Framework, und das Projekt bewirbt Presets prominenter Personen ohne deren Zustimmung, was für jeden kommerziellen Einsatz ein ethisches und rechtliches Risiko ist. Die zentralen Leistungs- und Datenschutzaussagen, darunter 150-fache Echtzeit auf der CPU bei LuxTTS und das Versprechen, dass nichts das Gerät verlässt, stammen vom Projekt selbst und sind hier nicht verifiziert. Die Lizenzen der Modellgewichte unterscheiden sich je Engine und sind nicht klar dokumentiert, weshalb jeder, der Ergebnisse ausliefert, sie einzeln prüfen sollte.

Gegenüber ElevenLabs tauscht Voicebox Politur, Verlässlichkeit und eine klare kommerzielle Lizenz gegen Kostenfreiheit, volle lokale Kontrolle und eine Agent-Integration, mit der der gehostete Dienst nicht mithalten kann. ElevenLabs bleibt die sicherere Wahl für Produktivarbeit, die gleichbleibende Qualität, Support und belastbare Lizenzierung braucht, und das gemanagte Cloning hat zumindest einen nominellen Einwilligungsprozess. Voicebox lohnt sich jetzt, wenn man mit privatem, gerätelokalem TTS und Diktat experimentiert, Stimme in einen Agenten-Loop bringen will oder seine Stimme schlicht nicht an Dritte geben möchte. Für Produktivbetrieb, kundenseitiges Audio oder überall dort, wo Cloning-Ethik und eine rund vier Monate alte Codebasis ein echtes Problem wären, ist es zu früh. Beobachten, aber noch nicht darauf setzen.