UI-TARS-desktop

Die meisten Automatisierungstools versagen, sobald sich eine Oberfläche ändert. Makro-Recorder hängen an festen Koordinaten, Skripte an stabilen DOM-Selektoren, und keiner liest einen Bildschirm so, wie ein Mensch es tut. UI-TARS-desktop von ByteDance geht einen anderen Weg. Es ist eine native Desktop-App für Windows und macOS, mit einem Browser-Build daneben, die eine natürlichsprachliche Anweisung in echte Maus- und Tastaturaktionen umsetzt. Man tippt, was erledigt werden soll, und der Agent schaut auf den tatsächlichen Bildschirm, entscheidet, wohin er klickt, und führt die Schritte aus. Es gehört zur jungen Computer-Use-Kategorie, in der eine KI einen Rechner so bedient wie ein Mensch, statt über fragile, handgeschriebene Integrationen, die ständig gepflegt werden müssen.

Die Schleife ist im Kern einfach. Die App macht einen Screenshot, ein Vision-Language-Modell liest die Oberfläche und findet die relevanten Elemente, der Agent steuert Cursor und Tastatur, und dann beginnt es mit einem frischen Screenshot von vorn, um den Fortschritt zu prüfen. Das Besondere: Das Wahrnehmungsmodell UI-TARS ist open-weight. Das Basismodell UI-TARS-1.5-7B steht unter Apache-2.0 und läuft lokal, sodass der Teil, der tatsächlich den Bildschirm liest, kein geschlossener Cloud-Dienst sein muss. Das Projekt kommt zusammen mit Agent TARS, einem MCP-basierten CLI- und Web-Geschwister, das Tool-Calling ergänzt und mit jedem Anbieter funktioniert. Man kann voll lokal arbeiten, auf ByteDances Cloud-Modelle Seed und Doubao zeigen oder beides je nach Aufgabe mischen.

Die natürliche Zielgruppe sind Entwickler, QA-Ingenieure und Automatisierungs-Bastler, die Abläufe skripten wollen, die sich klassischer Automatisierung widersetzen. Konkrete Beispiele aus dem Projekt sind das Ändern einer tief vergrabenen VS-Code-Einstellung, das Prüfen von GitHub-Issues, das Buchen von Flügen und Hotels über gewöhnliche Web-Formulare und das Erzeugen von Diagrammen über angebundene Tools. Es passt zu Legacy-Desktop-Anwendungen ohne API, zu wiederkehrenden mehrstufigen UI-Routinen und zur explorativen Forschung am Verhalten von Computer-Use-Agenten. Weil das Basismodell echt Apache-2.0 und selbst hostbar ist, ist es auch attraktiv für alle, die ohne Abrechnung pro Aktion experimentieren wollen oder die aus Datenschutz- oder Compliance-Gründen wollen, dass der Bildschirm auf der eigenen Maschine bleibt.

Die ehrlichen Einschränkungen sind real. Das offene 7B-Modell ist kostenlos, aber die stärksten Modelle, Doubao-1.5-UI-TARS und Seed-1.5-VL, sind proprietär und werden über ByteDances VolcEngine-API abgerechnet: Spitzenleistung bedeutet also Cloud-Lock-in. Der kostenlose Remote-Operator wurde im August 2025 eingestellt. Computer Use ist zudem grundsätzlich riskant. Ein Agent mit voller Maus-, Tastatur- und Browser-Kontrolle ist Prompt-Injection aus Web-Inhalten und schlichten Fehlklicks ausgesetzt, weshalb eine Sandbox oder dedizierte VM dringend zu empfehlen und nicht optional ist. Die Software ist pre-1.0, etwa bei v0.3.0, mit einem großen Stapel offener Issues, und die lokalen Hardware-Anforderungen für das 7B-Modell sind nicht klar dokumentiert, was die Kapazitätsplanung zur Versuchssache macht.

Gegenüber Claude Computer Use und OpenAIs Operator tauscht UI-TARS-desktop Politur und gemanagte Sicherheit gegen Offenheit und Kontrolle. Die kommerziellen Optionen sind zuverlässiger und besser abgesichert, aber geschlossen und nach Verbrauch bepreist. Hier besitzt man die App und kann das Wahrnehmungsmodell selbst hosten, und genau das ist der eigentliche Grund, es zu wählen. Greife jetzt zu, wenn du einen offenen, selbst hostbaren Computer-Use-Agenten für Automatisierungsexperimente willst und damit zurechtkommst, ihn in einer Sandbox zu betreiben. Warte ab, wenn du produktionsreife Zuverlässigkeit brauchst, die Top-Modelle ohne bezahlten VolcEngine-Plan willst oder den Agenten nicht sauber isolieren kannst. Als Forschungs- und Bastel-Plattform ist es wirklich nützlich, als unbeaufsichtigter Produktionsarbeiter noch früh.