KI-Halluzinationen in der Rechtsrecherche: ein Selbstversuch

Die Frage, die niemand rigoros testen will#

Jeder, der KI nutzt, weiß, dass sie halluziniert. Die meisten haben eigene Geschichten: ein erfundener Buchtitel, ein gefälschter BGH-Fall, eine selbstbewusste falsche Antwort über den eigenen Technik-Stack.

Aber "halluziniert manchmal" ist eine vage Behauptung. Wie oft? In welchen Bereichen? Welche Modelle scheitern schlimmer? Und entscheidend: Scheitert es häufiger, wenn der Einsatz höher ist?

Ich habe entschieden, eine Ecke davon empirisch zu testen. Keine richtige akademische Studie, aber ein strukturierter Selbstversuch, den ich reproduzieren konnte. Das Thema: Deutsches GmbH-Recht, speziell Fragen, die ein Gründer eines kleinen Unternehmens tatsächlich stellen könnte. Der Einsatz: Die falsche Antwort könnte zu persönlicher Haftung, Steuerstrafen oder einem unwirksamen Vertrag führen.

Ich habe keine juristische Qualifikation. Aber ich habe eine Studienkollegin aus dem Jura-Studium, die eine hat und bereit war, jede KI-Antwort gegen die tatsächlichen Quellen zu prüfen. Das haben wir herausgefunden.

Der Test-Aufbau#

Zehn Fragen, alle echte Dinge, die ich oder Gründer-Freunde im letzten Jahr über GmbH-Recht gefragt hatten. Alle beantwortbar aus deutschem Handels- und Steuerrecht. Keine obskuren Edge Cases, alles Dinge, die ein kompetenter deutscher Anwalt in unter fünf Minuten beantwortet.

Vier Modelle getestet, alle mit ihren Default-Einstellungen im März 2026:

• GPT-5.4 via ChatGPT Plus
• Claude Opus 4.6 via Claude Pro
• Gemini 2.0 Pro via Google One AI Premium
• Perplexity Pro (als recherche-fokussierter Baseline)

Jedes Modell bekam jede Frage frisch in einer neuen Konversation, auf Deutsch gestellt, mit demselben Rahmen: "Ich bin ein GmbH-Gründer, bitte erkläre..." Keine System-Prompts, keine Nachfragen, eine Antwort pro Frage.

Meine Jura-Studienkollegin bewertete jede Antwort gegen das tatsächliche Handelsgesetzbuch (HGB), GmbH-Gesetz (GmbHG) und relevantes Steuerrecht. Bewertungsskala:

• Richtig: die Antwort ist substantiell korrekt, keine Fabrikationen
• Teilweise richtig: die Antwort ist in Richtung korrekt, aber fehlt oder missdeutet Details
• Falsch: die Antwort ist faktisch inkorrekt, irreführend oder enthält erfundene Zitate

Die Ergebnisse#

Über 40 Gesamt-Antworten (10 Fragen, 4 Modelle):

Richtig: 18 (45 %) Teilweise richtig: 14 (35 %) Falsch: 8 (20 %)

Eine von fünf Antworten auf eine echte Rechtsfrage war komplett falsch. Nicht "leicht daneben"-falsch, sondern die Art von falsch, die echten Schaden produzieren würde, wenn man danach handelt.

Nach Modell:

• Perplexity Pro: 7/10 richtig, 3/10 teilweise richtig, 0/10 falsch
• Claude Opus 4.6: 6/10 richtig, 3/10 teilweise richtig, 1/10 falsch
• GPT-5.4: 4/10 richtig, 4/10 teilweise richtig, 2/10 falsch
• Gemini 2.0 Pro: 1/10 richtig, 4/10 teilweise richtig, 5/10 falsch

Perplexitys Führung ist keine Überraschung. Es grundet Antworten in Websuche-Ergebnissen und zitiert Quellen, was die Fabrikations-Oberfläche reduziert. Claude war das beste reine LLM. Gemini war viel schlechter als erwartet, mit häufigen Zitaten deutscher Steuerparagraphen, die entweder nicht existieren oder etwas anderes sagen, als das Modell behauptete.

Die schlimmsten Fehler#

Drei der acht falschen Antworten sind es wert, beschrieben zu werden, weil sie den Failure-Mode illustrieren.

Fehler 1 (GPT-5.4): Gefragt nach der Mindestkapitalanforderung für eine UG (haftungsbeschränkt). Das Modell sagte selbstbewusst 25.000 EUR, was die volle GmbH-Anforderung ist. UG erfordert tatsächlich mindestens 1 EUR. Das ist die Art Fakt, nach der ein Gründer handeln könnte, wenn er entscheidet, welche Rechtsform er nutzt.

Fehler 2 (Gemini 2.0 Pro): Gefragt nach dem Verfahren für einen Geschäftsführerwechsel. Das Modell beschrieb einen Prozess, der deutsches und österreichisches GmbH-Recht vermischte, zitierte selbstbewusst Paragraphen des GmbHG, die entweder umnummeriert waren oder nicht existierten, und gab eine Zeitschiene, die um Wochen daneben lag. Nach diesem Rat zu handeln hätte eine ungültige Anmeldung produziert.

Fehler 3 (Claude Opus 4.6): Gefragt, ob eine GmbH ihre eigenen Anteile halten kann. Das Modell sagte ja, mit Vorbehalten zu Kapitalrücklagen. Die tatsächliche Regel ist restriktiver, als das Modell sie präsentierte. Nicht fabriziert, aber unvollständig auf eine Art, die bei einer tatsächlichen Transaktion zählen würde.

Beachten Sie: Auch das "beste" LLM hatte eine signifikante falsche Antwort. Die Fehlerrate ist für keines der reinen Modelle null.

Was die Kategorie "teilweise richtig" Ihnen sagt#

Die "teilweise richtigen" Antworten sind tatsächlich das heimtückischere Problem. Sie lesen sich gut. Sie klingen autoritär. Sie sind in Ton und allgemeiner Richtung korrekt. Ein Laie, einschließlich der meisten Gründer, würde nicht merken, was falsch ist.

Eine der teilweise richtigen Antworten von Claude zum Beispiel beschrieb die steuerliche Behandlung von GmbH-Ausschüttungen korrekt, verwechselte aber das Teileinkünfteverfahren (60 Prozent Teilfreistellung) mit dem älteren Halbeinkünfteverfahren. Für die meisten Zwecke wäre das ein harmloser Fehler. Für jemanden, der erwartetes Nach-Steuer-Einkommen auf eine große Ausschüttung berechnet, wäre das eine 4-6-prozentige Fehlkalkulation zu seinen Gunsten.

Das Modell log nicht. Es fusionierte selbstbewusst zwei ähnlich aussehende Frameworks. Das ist schlimmer als eine Halluzination, weil es Ihren Skeptiker-Instinkt nicht triggert, so wie ein erfundenes Zitat es tun würde.

Warum das passiert#

Rechtstexte sind aus drei spezifischen Gründen ungewöhnlich gefährlich für LLMs.

Erstens: Das Quellmaterial ist dicht, technisch und selbstreferenziell. Paragraphen referenzieren andere Paragraphen. Änderungen verändern spezifische Klauseln, ohne die umgebende Struktur zu ändern. Das statistische Muster des Modells für "wie Rechtstext aussieht" ist stark, aber seine Fähigkeit, welche spezifische Regel in welchem spezifischen Kontext gilt, zu verfolgen, ist viel schwächer.

Zweitens: Antworten in Rechtsbereichen haben ein charakteristisches Selbstvertrauens-Register. Anwälte hedgen nicht. Sie stellen Regeln fest. Modelle imitieren diesen Ton gut, was eine falsche Antwort so autoritär klingen lässt wie eine richtige.

Drittens: Kleinere Gesetzes-Updates passieren ständig, und der Trainings-Cutoff des Modells hinkt der Realität um viele Monate hinterher. Eine Regel, die 2023 korrekt war, ist jetzt vielleicht nicht mehr korrekt. Das Modell weiß nicht, welche seiner Fakten veraltet sind.

Was tatsächlich funktioniert#

Ein paar Dinge, die ich jetzt tü, bevor ich irgendeinen KI-Output zu Rechts- oder Steuerfragen vertraue:

1. Ich nutze Perplexity zuerst, weil die Zitat-Disziplin Verifizierbarkeit erzwingt. Wenn Perplexity keine Quelle für eine Behauptung findet, ist das ein starkes Signal.

2. Ich stelle dieselbe Frage an zwei Modelle und vergleiche. Wenn sie übereinstimmen, verifiziere ich eine Quelle. Wenn sie sich widersprechen, verifiziere ich beide.

3. Ich prüfe spezifische Zahlen, Daten und Paragraphen-Referenzen gegen die Primärquelle (gesetze-im-internet.de für deutsches Recht, das Bundessteuerblatt für Steuerentscheidungen). Ich vertraue keinem KI-gelieferten Zitat, ohne durchzuklicken.

4. Für alles, wo ich tatsächlich handeln würde, spreche ich mit einem echten Anwalt oder Steuerberater. KI ist gut zum Orientieren. Sie ist schlecht zum Entscheiden.

Die härtere Frage#

Das Interessante ist nicht, dass KI halluziniert. Es ist, dass sie in Bereichen weniger halluziniert, wo die meisten Menschen es nicht erkennen können. Gründer kennen ihr eigenes Produkt. Entwickler kennen ihren Code. Anwälte kennen Recht. In jedem Fall ist die KI am nützlichsten und am gefährlichsten in den anderen zwei Bereichen.

Der Failure-Mode ist asymmetrisch. Wenn KI Ihnen außerhalb Ihrer Expertise hilft, können Sie nicht erkennen, ob sie hilft oder in die Irre führt. Die einzige Verteidigung ist, KI als Quelle zu behandeln, die zu verifizieren ist, nie als Autorität, der zu vertrauen ist.

Das ist keine aufregende Schlussfolgerung und es limitiert den Wert von KI für recherche-intensive Wissensarbeit. Aber zehn schlechte Antworten von vierzig, in einem Bereich mit hohem Einsatz, ist ein starkes genug Signal, dass ich nicht so tun werde, als wäre das anders.

Mehr dazu, wie die Modelle sich bei verschiedenen Arten von Genauigkeit vergleichen, im ChatGPT vs Claude-Vergleich. Aber keiner dieser Unterschiede zählt, wenn Sie Output, der wichtig ist, nicht verifizieren.