Page Agent

Die meisten Versuche, eine KI eine Website steuern zu lassen, spielen sich außerhalb des Browsers ab. Sie starten ein Headless-Chrome, eine Python-Laufzeit oder eine Browser-Extension und lenken die Seite dann über Screenshots und künstliche Maus-Events. Dieser Stack ist schwer auszurollen und passt schlecht in ein Produkt, das echte Nutzer bereits verwenden. Page Agent, eine MIT-lizenzierte TypeScript-Bibliothek von Alibaba, geht den umgekehrten Weg. Es ist ein clientseitiger GUI-Agent, der direkt in eine Webseite eingebettet wird, oft als einzelnes Script-Tag, und ein Sprachmodell die bestehende Oberfläche per natürlicher Sprache steuern lässt. Es gibt keinen separaten Server, keinen Headless-Browser zu pflegen und keine Extension, die der Nutzer installieren muss. Der Agent arbeitet direkt gegen das live DOM der Seite, auf der er ohnehin läuft.

Technisch arbeitet Page Agent in zwei Phasen, statt auf Bildverarbeitung zu setzen. Zuerst liest es den aktuellen Seitenzustand, überführt das DOM in das vom Projekt FlatDomTree genannte Format und vereinfacht dieses zu kompaktem, HTML-ähnlichem Text, in dem interaktive Elemente indizierte Kennungen tragen. Diesen Text, nicht einen Screenshot, sieht das Modell, sodass ein gewöhnliches Text-LLM genügt und kein multimodales Modell oder besondere Berechtigung nötig ist. Anschließend schließt das Modell über diese Darstellung und liefert eine strukturierte Aktion zurück: dieses Element klicken, in jenes Feld tippen, scrollen oder navigieren. Page Agent führt die Aktion dann nativ über Standard-DOM-APIs und ausgelöste Events aus. Da alles in der Seite läuft, ist der einzige Netzwerk-Hop der LLM-Aufruf selbst. Das Design ist Bring-your-own-Model und funktioniert mit OpenAI-kompatiblen APIs, etwa Qwen, sodass kein Anbieter-Lock-in entsteht.

Naheliegend ist ein Copilot, der in ein bestehendes Web-Produkt eingebettet ist. Ein SaaS-Dashboard, ein internes ERP oder CRM oder ein Admin-Panel kann ein Chat-Feld erhalten, das einen Satz wie fülle dieses Onboarding-Formular aus und sende es ab in eine Folge echter Klicks und Tastatureingaben verwandelt, ohne dass jemand eine eigene Automatisierungsschicht bauen muss. Auch für Barrierefreiheit eröffnet das eine Perspektive, da sich Sprach- oder Klartext-Steuerung auf eine App legen lässt, die nie dafür entworfen wurde. Wer das Konzept testen will, installiert es per npm oder bindet es über ein CDN ein und ruft dann etwa agent.execute mit einer Anweisung auf. Das Projekt bringt 32 versionierte Releases mit aktiver CI, eine optionale Chrome-Extension für Multi-Tab-Arbeit und einen Beta-MCP-Server mit, über den externe Agenten den Browser steuern können.

Ehrlichkeit ist hier wichtig. Weil Page Agent über eine Textprojektion des DOM schließt, ist es am stärksten bei konventionellem, semantischem HTML und am schwächsten dort, wo die eigentliche Oberfläche in einem Canvas, einer WebGL-Ansicht oder einer stark virtualisierten, ständig neu mountenden SPA liegt. Auf solchen Flächen hat das Modell kaum verlässlichen Text zum Verankern. Mehrseitige oder Tab-übergreifende Orchestrierung ist kein zentrales In-Page-Feature: sie hängt an der Chrome-Extension, die den Installationsschritt wieder einführt, den die Bibliothek sonst vermeidet, und der MCP-Server, der den Agenten nach außen öffnet, ist noch Beta. Die Zuverlässigkeit hängt zudem vom mitgebrachten Modell und Prompt ab, denn falsche Selektor-Entscheidungen führen zu falschen Klicks. Schließlich kann die Alibaba-Herkunft, obwohl der Code offen und MIT-lizenziert ist, in manchen westlichen Organisationen vor dem Produktiveinsatz eine Lieferketten-Prüfung auslösen.

Gegenüber kommerziellen Optionen wie Anthropic Computer Use oder Browserbase besetzt Page Agent eine andere Nische, statt direkt zu konkurrieren. Diese Dienste steuern einen entfernten, screenshot-getriebenen Browser von außen und glänzen bei autonomer, seitenübergreifender Automatisierung. Page Agent dagegen lebt in einer einzelnen Anwendung und erweitert sie von innen, tauscht also breite Reichweite gegen kein Backend, nahezu keine zusätzliche Latenz und keine Kosten pro Aktion für einen Cloud-Browser. Es ist eine gute Wahl, wenn man einen Sprach-Copiloten ins eigene Web-Produkt einbetten will und das Markup kontrolliert. Zu früh ist es, wenn man verlässliche mehrseitige oder Multi-Tab-Orchestrierung braucht, wenn die Oberfläche stark Canvas-lastig ist oder wenn man den Feinschliff und Support eines verwalteten Dienstes benötigt. Für den Fall des eingebetteten Copiloten ist es einer der pragmatischeren Open-Source-Ausgangspunkte, die es heute gibt.