computer-use-linux
agent-sh
Ein MCP-Server, der einen echten Linux-Desktop über Accessibility-APIs und Input-Injection steuert.
Was ist computer-use-linux?
Ein Rust-MCP-Server, der einem Agent Kontrolle über einen echten Linux-Desktop gibt: Er liest den AT-SPI-Accessibility-Baum, macht Screenshots und injiziert Klicks, Scrolls und Tastatureingaben über GNOME Shell, Wayland-Portals und ydotool. Zielt auf GNOME, KDE/KWin, Hyprland, i3 und COSMIC unter Wayland und X11 - die Lücke, die die meisten Computer-Use-Tools offenlassen, weil sie macOS oder X11 voraussetzen.
Vor- & Nachteile
Pros
- Füllt eine echte Lücke: native Linux- und Wayland-Desktop-Steuerung, nicht nur X11
- Nutzt den Accessibility-Baum statt nur Screenshot-und-Raten, Aktionen können echte UI-Elemente treffen
- MIT-lizenziertes Rust, das über mehrere Compositor hinweg funktioniert
Cons
- Setup hängt von Systemkomponenten ab (AT-SPI, ydotool, Portals), die je nach Distro und Compositor variieren
- Jung bei v0.3.x mit einem einzelnen Maintainer
- Accessibility-Baum-Abdeckung hängt davon ab, wie gut Apps AT-SPI exponieren - viele tun das schlecht
Lizenz
MIT (OSI-open)
Wann interessant
du willst, dass ein Agent GUI-Apps auf einem echten Linux- oder Wayland-Desktop per MCP bedient.
Wann zu früh
wenn deine Ziel-Apps wenig Accessibility-Metadaten exponieren, oder du ein gehärtetes, distro-übergreifend getestetes Setup brauchst.
Dieses Repo war in der Ausgabe 2026-07 des Open-Source-KI-Radars.
UI-TARS-desktop
bytedance
Native Desktop-App für einen GUI-/Computer-Use-Agent, angetrieben vom open-weight-Modell UI-TARS.
strix
usestrix
Framework autonomer 'KI-Hacker'-Agents für dynamische Anwendungssicherheitstests.
Page Agent
alibaba
In-Page-JavaScript-GUI-Agent - jede Webseite mit natürlicher Sprache steuern, kein headless-Browser oder Extension.