typesafe-computer-use

Vision-Modelle der Spitzenklasse sind der Standardweg für Computer-Use, aber sie sind langsam und teuer: ein Screenshot geht an ein Modell, das Modell überlegt, und nach ein paar Sekunden kommt ein Plan zurück. Die meisten dieser Entscheidungen brauchen gar kein Nachdenken, sie brauchen nur eine Wahl aus einer kurzen Liste sichtbarer Aktionen. Genau darauf baut typesafe-computer-use auf. Statt bei jedem Schritt ein allgemeines Vision-Modell zu fragen, was zu klicken ist, liest es den Bildschirm deterministisch über OCR und den macOS-Accessibility-Baum aus und fragt dann einen kleinen, zweckgebauten Klassifikator, welche der sichtbaren Optionen der nächste Schritt ist. Ein vollwertiges Sprachmodell kommt nur zum Einsatz, wenn ein Schritt wirklich freien Text oder eine abschließende geschriebene Antwort braucht.

Die Pipeline trennt drei Rollen. Eine Capture-Schicht führt OCR-Text und den Accessibility-Baum zu einer Liste klickbarer Elemente pro Bildschirm zusammen und scannt zwischen den Schritten nur die Kacheln neu, die sich geändert haben, um die Latenz niedrig zu halten. Diese Liste geht an TypeSafes Modell namens jev, ein Entscheidungsmodell, das über bis zu 255 Optionen eine vollständige Wahrscheinlichkeitsverteilung und eine kalibrierte Konfidenz liefert, in wenigen hundert Millisekunden und laut Projektangabe für einen Bruchteil eines Cents pro Entscheidung. Ein separates Writer-Modell, standardmäßig Anthropic-kompatibel, aber gegen jeden OpenAI-kompatiblen Endpoint austauschbar, auch lokale wie LM Studio oder Ollama, wird nur aufgerufen, um freien Text zu tippen, eine URL vorzuschlagen oder zu antworten, sobald der Klassifikator gestoppt hat und der Bildschirm gelesen werden muss.

Die natürliche Zielgruppe sind Entwickler, die repetitive Desktop-Workflows, Browser-Käufe, Formulare oder App-Tests auf einem Mac automatisieren und einen Agenten wollen, der bei Routine-Schritten schnell und günstig handelt und nur dann für die Überlegung eines Spitzenmodells zahlt, wenn ein Schritt es wirklich braucht. Weil das Writer-Modell voll austauschbar ist, können Teams, die bereits ein lokales oder selbst gehostetes LLM betreiben, die teuren Aufrufe an Spitzenmodelle komplett aus der Schleife halten, mit Ausnahme von TypeSafes eigenem Klassifikator, der für jeden Schritt eine erforderliche externe Abhängigkeit bleibt. Das Tool passt zu allen, die damit leben können, dass es echte Maus und Tastatur gegen produktive Apps steuert, idealerweise beginnend mit einem Trockenlauf.

Das Projekt ist zum Zeitpunkt des Schreibens eine Woche alt, mit v0.2.0 getaggt und ausdrücklich als Beta markiert, erwarte also schnelle, möglicherweise brechende Änderungen. Die plakativen Effizienzzahlen, etwa rund 155-mal günstiger und bis zu 40-mal schneller pro Entscheidung als ein blanker Screenshot-Aufruf an Claude Opus 5, sind die eigene Benchmark-Tabelle des Projekts, kein unabhängig reproduziertes Ergebnis, und sie gelten nur, weil der Klassifikator-Schritt an TypeSafes kostenpflichtige API ausgelagert wird statt lokal zu laufen. Windows-Unterstützung existiert, ist aber ausdrücklich experimentell und in der CI ungetestet. Wer sich für unbeaufsichtigte Automation darauf verlässt, sollte zudem bedenken, dass Computer-Use-Tools eine echte Maus und Tastatur steuern, mit dem entsprechenden Risiko eines Fehlklicks oder einer durch Prompt-Injection manipulierten Seite.

typesafe-computer-use ist eine wirklich durchdachte Antwort auf das Kostenproblem von Computer-Use-Agenten, kein dünner Wrapper: eine echte Capture-Pipeline, eine dokumentierte Testsuite mit Dutzenden skriptierten Szenarien und ein austauschbares Writer-Modell machen es substanzieller, als das einwöchige Alter vermuten lässt. Einen Versuch wert ist es, wenn dir die TypeSafe-Abhängigkeit und ihre Kosten pro Entscheidung akzeptabel sind und du eine schnelllebige 0.x-Beta tolerierst. Zu früh ist es, wenn du ein vollständig eigenständiges Open-Source-Tool ohne externe API brauchst, wenn du auf Windows unterwegs bist und Zuverlässigkeit brauchst, oder wenn du erprobte Stabilität willst statt eines Projekts, das eine Woche nach dem ersten Commit noch seine Form sucht.