“Die KI besteht das Bar Exam” – Was ist da wirklich dran?

Autor: Felix Grafinger

Ist KI bei Rechtsfragen besser als wir denken? Was die Forschung wirklich zeigt

„Die KI hat das Anwaltsexamen bestanden, besser als 90 Prozent der Teilnehmerinnen." Kaum eine Schlagzeile über künstliche Intelligenz hat sich so festgesetzt wie diese. Daneben steht das Gegenbild: der Chatbot, der Gerichtsurteile frei erfindet und Anwältinnen vor die Disziplinarrichterinnen bringt. Beide Geschichten stimmen. Beide führen in die Irre.

Gleichzeitig wenden sich immer mehr Menschen bei rechtlichen Problemen zuerst dem Chatbot statt der Anwältin (Curran et al., 2025). Verständlich: Dieser ist kostenlos, sofort verfügbar und stellt keine weiteren Bedingungen oder unangenehme Gegenfragen. Schließlich ist die KI im Grunde darauf eingestellt, der Nutzerin Recht zu geben. Umso wichtiger ist, was die Forschung tatsächlich hergibt. Wir haben sie für euch einsortiert: Wie gut sind die Modelle wirklich? Schlagen teure Rechts-Spezial-Tools den normalen Chatbot? Und was bedeutet das alles für Rechtsfragen außerhalb der USA, etwa in Österreich?

1. Die Sache mit dem bestandenen Anwaltsexamen

Fast jede Debatte zu KI und Rechtsfragen startet hier: GPT-4 erreichte im US-amerikanischen Uniform Bar Exam angeblich die 90. Perzentil (Katz et al., 2024). Die Zahl war nie erfunden, beruhte jedoch auf einem Vergleichsfeld, das das Ergebnis deutlich nach oben verzerrte.

Eine Reanalyse rechnete nach (Martínez, 2024). Der bekannte Wert stammt aus dem Februar-Termin, bei dem überdurchschnittlich viele Kandidatinnen antreten, die den regulären Sommertermin zuvor nicht bestanden hatten. Mit den Daten des Sommertermins lag GPT-4 nur noch im 68. Perzentil. Das bedeutet: Rund zwei Drittel der Prüflinge schnitten schlechter ab, ein Drittel besser. Betrachtete man hingegen nur jene Kandidatinnen, die die Prüfung tatsächlich bestanden und damit die Voraussetzung für die Zulassung als Anwältin erfüllten, fiel GPT-4 auf das 48. Perzentil zurück, also ungefähr auf Durchschnittsniveau. Im offenen Aufsatzteil, in dem juristisch argumentiert wird, statt Antworten angekreuzt, reichte es sogar nur noch für etwa das 15. Perzentil.

Das Ergebnis bleibt beeindruckend, zeigt aber vor allem erstmal, dass ein Sprachmodell juristische Prüfungsfragen erstaunlich gut lösen kann. Dass es deshalb bereits wie eine Anwältin rechtlich denkt und argumentiert, folgt daraus noch nicht.

2. Wenn die KI Recht erfindet

Wie das endet, zeigt der Fall Mata v. Avianca: Anwältinnen in New York reichten einen Schriftsatz mit sechs von ChatGPT erfundenen Präzedenzfällen ein, inklusive falscher Zitate und Aktenzeichen. Das Gericht verhängte eine Geldstrafe von 5.000 US-Dollar gegen die beteiligten Anwältinnen und deren Kanzlei. Zusätzlich mussten sie ihren Mandanten sowie die Richterinnen, denen die frei erfundenen Entscheidungen zugeschrieben worden waren, über den Vorfall und die Sanktionen informieren (Mata v. Avianca, Inc., 2023). Ein isolierter Ausrutscher blieb das nicht. Die laufend aktualisierte Datenbank des Juristen Damien Charlotin erfasste im Juli 2026 bereits mehr als 1.700 Gerichtsentscheidungen weltweit, in denen Gerichte den Einsatz halluzinierter KI-Inhalte feststellten oder zumindest näher darauf eingingen. Am häufigsten ging es um erfundene oder falsch wiedergegebene Rechtsprechung (Charlotin, 2026). 

3. Helfen bessere Modelle oder teure Spezialtools?

Die naheliegende Hoffnung: Dann nimmt man eben das stärkste Modell oder gleich ein Werkzeug, das speziell für Juristinnen entwickelt wurde. Beides wurde bereits getestet:Zuerst die allgemeinen Spitzenmodelle gegeneinander. Eine australische Studie stellte GPT-4o, Claude 3.5 Sonnet und Gemini 1.5 Pro dieselben Alltagsrechtsfragen. Die Halluzinationsraten lagen bei 52, 56 und 53 Prozent (Curran et al., 2025). Zwischen den drei großen KI-Anbietern lagen damit nur vier Prozentpunkte.

Die Studie legte dabei einen strengen Maßstab an. Schon eine im Kern richtige Antwort mit einer falschen Absatzangabe wurde als Halluzination gewertet. Doch selbst wenn man nur schwerwiegende Fehler berücksichtigt, enthielten beim besten getesteten Modell und Standort noch 13 Prozent aller Antworten mindestens einen solchen Fehler. Auch das leistungsstärkste Modell lieferte bei Rechtsfragen keineswegs zuverlässig fehlerfreie Antworten.

Ein österreichischer Benchmark aus Wien ergänzt dieses Bild, untersucht jedoch eine andere Frage. Future-Law ließ sieben kostenlose KI-Modelle identische Aufgaben aus dem österreichischen Rechtsalltag bearbeiten, darunter die Analyse von OGH-Entscheidungen, juristischen Sachverhalten, Vertragsmustern und AGB. Dabei gab es kein Modell, das über alle Kategorien hinweg am besten abschnitt. Claude erreichte zwar die höchste Gesamtpunktzahl, andere Modelle waren jedoch bei einzelnen Aufgaben stärker.

Besonders deutlich war der Unterschied zwischen Analyse und Recherche. Wurde der relevante Entscheidungstext direkt bereitgestellt, lagen die Ergebnisse erstaunlich eng beieinander. Bei der Analyse einer OGH-Entscheidung erreichten sechs der sieben Modelle zwischen 203 und 213 von 260 Punkten. Wurde sogar der vollständige Entscheidungstext vorgegeben, lagen sämtliche Modelle zwischen 197 und 210 Punkten. Mussten sie die Entscheidung dagegen selbst über Geschäftszahl oder Weblink finden, brachen die Leistungen deutlich ein und die meisten Modelle scheiterten bereits an der Recherche. Kein Modell erzielte in sämtlichen Kategorien fehlerfreie Ergebnisse (Future-Law, 2026). Der Benchmark wurde zwar 2026 veröffentlicht, bildet jedoch ausdrücklich den Modellstand von Ende 2025 ab.

Aber werfen wir mal einen Blick auf die juristischen Spezialtools. Lexis+ AI und Westlaw arbeiten mit Retrieval-Augmented Generation (RAG): Das Modell greift vor der Erstellung der Antwort auf juristische Datenbanken zurück. LexisNexis warb sogar mit „100 % halluzinationsfreien“ Zitaten. In einer unabhängigen Untersuchung halluzinierte Lexis+ AI dennoch in 17 Prozent der Fälle, Westlaw AI-Assisted Research in 33 Prozent und das allgemeine GPT-4 in 43 Prozent (Magesh et al., 2025). Die Fehler bestanden nicht nur in frei erfundenen Entscheidungen, sondern umfassten teilweise auch die falsche Wiedergabe realer Urteile oder die Heranziehung tatsächlich existierender, aber nicht einschlägiger Quellen. Gerade solche Fehler sind schwer zu erkennen, weil die zitierte Fundstelle auf den ersten Blick echt wirkt.

Für Österreich ist MANZ Genjus das naheliegende Vergleichsbeispiel. Das System arbeitet laut Anbieterin nach österreichischem Recht und verlinkt die verwendeten Fundstellen. Eine unabhängige, unmittelbar vergleichbare Evaluation seiner Fehlerquote liegt bislang jedoch nicht vor.Fairerweise wurden die internationalen Spezialtools bereits im Mai 2024 getestet. Die Anbieterinnen kritisierten Teile der Methodik, und ihre Produkte wurden seither weiterentwickelt. Auch die Ergebnisse der verschiedenen Untersuchungen sind aufgrund unterschiedlicher Aufgaben und Bewertungsmaßstäbe nicht unmittelbar miteinander vergleichbar. Der gemeinsame Befund ist enger: Die Bereitstellung verlässlicher Quellen verbessert die Ergebnisse deutlich, macht eine fachkundige Kontrolle jedoch nicht entbehrlich.

4. Und trotzdem: KI macht Juristinnen besser

Die entscheidende Frage ist nicht, ob eine KI allein fehlerfrei arbeitet, sondern ob Menschen mit KI besser arbeiten als ohne sie.

Eine kontrollierte Studie ließ Jurastudierende echte Aufgaben mit und ohne GPT-4 lösen. Sie wurden deutlich schneller, die Qualität stieg nur leicht und war uneinheitlich, und am meisten profitierten die schwächsten Teilnehmerinnen (Choi, Monahan & Schwarcz, 2025).Zwei Jahre später, mit RAG- und Reasoning-Modellen, sah es anders aus: Beide Werkzeuge verbesserten die Qualität juristischer Arbeit signifikant, und die Produktivität stieg bei fünf von sechs Aufgaben um 50 bis 130 Prozent (Schwarcz et al., 2026). Bemerkenswert ist die Arbeitsteilung: Das RAG-Tool senkte die Zahl der Zitierfehler, während das Reasoning-Modell die inhaltliche Analyse verbesserte. Keines konnte beides.Es gibt keinen Widerspruch zwischen den beiden Studien, schließlich liegen zwei Jahre Modellentwicklung dazwischen.

Wie schnell selbst diese Momentaufnahme veraltet, zeigen bereits die Modelle, die erst nach Abschluss der hier ausgewerteten Studien erschienen sind. Claude Fable 5 wurde nur drei Tage nach seiner Veröffentlichung vorübergehend gesperrt, nachdem die US-Regierung den Zugang unter Berufung auf nationale Sicherheitsbedenken beschränkt hatte; Hintergrund war nach Angaben von Anthropic eine mutmaßliche Jailbreak-Methode (Anthropic, 2026a; 2026b). In einem internen Cybertest fanden das erst am 9. Juli veröffentlichte GPT-5.6 Sol und ein noch leistungsfähigeres Vorabmodell über eine Zero-Day-Schwachstelle einen Weg aus OpenAIs abgeschotteter Testumgebung und griffen auf Systeme von Hugging Face zu, um an Lösungen für den verwendeten Benchmark zu gelangen (OpenAI, 2026a; 2026b). Für die Titelfrage sind nicht diese Spektakel entscheidend, sondern die Zeitleiste dahinter. Keines dieser Modelle kommt in den Rechtsstudien dieses Artikels vor. Bevor ein juristischer Benchmark entwickelt, durchgeführt, begutachtet und veröffentlicht wurde, wurde das getestete Modell bereits ersetzt. Wann ein Modell bei juristischen Aufgaben den Durchschnitt zugelassener Anwältinnen oder zumindest regulärer Bar-Exam-Kandidatinnen übertrifft, lässt sich daher kaum anhand einer einzelnen Studie feststellen. Die Forschung verfehlt ein bewegliches Ziel, das kaum noch einzufangen scheint.

5. Warum das in Österreich nochmal anders aussieht

Fast alle bisher genannten Untersuchungen beziehen sich auf US-Recht oder andere große englischsprachige Rechtsordnungen. Die zuvor angeführte australische Studie stellte identische Alltagsfragen in drei Städten, wobei lediglich der Ort variierte (Curran et al., 2025). In Los Angeles enthielten 45 Prozent der Antworten eine Halluzination, in London 55 Prozent und in Sydney 61 Prozent. Der Zusammenhang zwischen Ort und Fehlerquote war statistisch signifikant.

Noch deutlicher zeigte sich der Unterschied innerhalb Australiens. Beim Fair Work Act, einem bundesweit geltenden Gesetz, lagen die Modelle in 39 Prozent der Fälle daneben. Beim Residential Tenancies Act, der nur im Bundesstaat New South Wales gilt, enthielt jede untersuchte Antwort mindestens einen Fehler.

Eine mögliche Erklärung liegt in der Verfügbarkeit des relevanten Materials. Je weniger Texte zu einer Rechtsordnung, einer Region oder einem bestimmten Gesetz in den Trainings- und Referenzdaten vertreten sind, desto schwieriger wird es für ein Modell, verlässlich zu antworten. Die Autorinnen vermuten daher, dass die Fehlerquoten in kleineren Jurisdiktionen und bei Sprachen mit weniger digital verfügbarem Material noch höher ausfallen könnten.

Österreich ist eine kleine deutschsprachige Jurisdiktion. Hinzu kommt, dass eine Rechtsfrage häufig nicht nur einer einzigen Ebene zugeordnet werden kann. Je nach Fall müssen unionsrechtliche Vorgaben, Bundesgesetze, Landesgesetze und mitunter auch Verordnungen von Gemeinden voneinander unterschieden und richtig zusammengedacht werden. Gesetze und Rechtsprechung sind im RIS zwar umfangreich und frei zugänglich, im globalen Daten- und Nutzungskontext ist österreichisches Recht dennoch deutlich weniger präsent als US-Recht.

Eine unmittelbar vergleichbare, peer-reviewte Halluzinationsstudie zum österreichischen Recht liegt bislang nicht vor. Der Future-Law-Benchmark testete zwar Aufgaben aus dem österreichischen Rechtsalltag, untersuchte jedoch mit einem anderen Design ein breiteres Spektrum an praktischen Anwendungen. Wer ein allgemeines Sprachmodell zum österreichischen Mietrecht befragt, verbindet daher mehrere Risikofaktoren aus der bisherigen Forschung: lokales Recht, eine kleine Jurisdiktion, unterschiedliche Rechtsebenen und einen Rechtsbereich, in dem die getesteten Modelle besonders schwach abschnitten.

6. Wie man KI bei Rechtsfragen trotzdem sinnvoll nutzt

Aus alledem folgt nicht unmittelbar „Finger weg". Es sollte eher eine klare Rollenverteilung folgen:

• KI als Einstieg und Übersetzer: Grundbegriffe erklären lassen, Behördenschreiben in verständliches Deutsch übersetzen, Fragen für ein Beratungsgespräch sammeln.

  
  

• Quellen statt Antworten prüfen: Nicht die Formulierung der KI ist entscheidend, sondern die dahinterstehenden Rechtsquellen. Aktenzeichen, Gesetzesstellen, Fristen und zitierte Entscheidungen sollten daher stets selbst überprüft werden, etwa über das österreichische Rechtsinformationssystem (RIS).

  
  

• Der Schnelltest: Ein hilfreicher Plausibilitätstest besteht darin, dieselbe Frage verschiedenen Modellen oder unterschiedlichen Versionen desselben Modells zu stellen. Stimmen die Antworten nicht überein, ist Vorsicht geboten. Genau solche Abweichungen waren in der australischen Studie ein starkes Warnsignal für Halluzinationen (Curran et al., 2025). Stimmen alle Antworten überein, beweist das allerdings noch nicht, dass sie richtig sind.

• Vertrauliche Informationen schützen: Vollständige Verträge, Gerichtsakten, Ausweise oder andere personenbezogene Daten sollten grundsätzlich nicht ungeprüft in frei zugängliche Chatbots eingegeben werden. Gerade im beruflichen Umfeld können datenschutzrechtliche Vorgaben und die KI-Verordnung der EU den Einsatz bestimmter KI-Systeme bei vertraulichen Informationen erheblich einschränken.

• Bei echten Rechtsfolgen professionelle Beratung einholen: Geht es um Fristen, größere Vermögenswerte, Arbeitsverhältnisse, Wohnrecht, Familienrecht oder strafrechtliche Konsequenzen, sollte KI allenfalls vorbereiten, aber keine anwaltliche oder behördliche Beratung ersetzen.

Häufige Missverständnisse (und was wirklich dahintersteckt)

🔹 „Profi-Tools halluzinieren nicht." - Juristische Spezialsysteme mit Retrieval-Augmented Generation (RAG) reduzieren Halluzinationen deutlich, beseitigen sie aber nicht. In einer unabhängigen Untersuchung lagen die Halluzinationsraten je nach System zwischen 17 und 33 Prozent (Magesh et al., 2025). Der Unterschied liegt also im Risiko, nicht im vollständigen Ausschluss von Fehlern.

🔹 „Dann nehme ich eben das beste Modell."- Zwischen GPT-4o, Claude und Gemini lagen im Rechtstest vier Prozentpunkte, und das auf hohem Fehlerniveau (Curran et al., 2025). Einen sicheren Hafen gibt es trotz rasanter, stetiger Weiterentwicklung nicht.

🔹 „KI ersetzt Jurist:innen."- Dafür gibt es bislang keine überzeugenden Belege. Gut belegt ist dagegen etwas anderes: Juristisch geschulte Menschen arbeiten mit KI häufig schneller und erzielen teilweise auch bessere Ergebnisse als ohne sie. Der entscheidende Faktor ist dabei nicht die KI allein, sondern die fachkundige Kontrolle ihrer Antworten (Schwarcz et al., 2026).

Fazit

Hinter der Titelfrage stecken zwei Fragen, die gern verwechselt werden. Kann KI juristisch arbeiten? Ja: Als Werkzeug in geübter Hand ist der Nutzen messbar und real, und er wächst mit jeder Modellgeneration. Kann ich mich als Laie auf sie verlassen? Nein, und zwar deutlicher als die Schlagzeilen vermuten lassen, erst recht abseits der größten und am besten dokumentierten Rechtssysteme. Dazwischen liegt eine unangenehme Asymmetrie: Der Nutzen entsteht durch Kontrolle, und ausgerechnet jene, die die Auskunft am dringendsten brauchen, können sie am wenigsten kontrollieren. Ein Chatbot ist demnach ein guter Startpunkt für eine Rechtsfrage, aber weiterhin ein schlechter Endpunkt für eine Rechtsauskunft.

Literaturverzeichnis

Anthropic (2026a) ‘Claude Fable 5 and Claude Mythos 5’. Available at: https://www.anthropic.com/news/claude-fable-5-mythos-5 (Accessed: 23 July 2026).

Anthropic (2026b) ‘Redeploying Fable 5’. Available at: https://www.anthropic.com/news/redeploying-fable-5 (Accessed: 23 July 2026).

Charlotin, D. (2026) AI Hallucination Cases. Available at: https://www.damiencharlotin.com/hallucinations/ (Accessed: 20 July 2026).

Choi, J.H., Monahan, A. and Schwarcz, D. (2025) ‘Lawyering in the age of artificial intelligence’, Minnesota Law Review, 109(1), pp. 147–215.

Curran, D., Sporne, V., Frermann, L. and Paterson, J. (2025) ‘Place matters: comparing LLM hallucination rates for place-based legal queries’, AI for Access to Justice Workshop (AI4A2J), International Conference on AI and Law, Chicago, 20 June. doi:10.48550/arXiv.2511.06700.

Dahl, M., Magesh, V., Suzgun, M. and Ho, D.E. (2024) ‘Large legal fictions: profiling legal hallucinations in large language models’, Journal of Legal Analysis, 16(1), pp. 64–93. doi:10.1093/jla/laae003.

Future-Law (2026) ‘LLM Benchmark Projekt – White Paper’. Available at: https://future-law.eu/magazin/llm-benchmark-projekt-white-paper/ (Accessed: 20 July 2026).

Katz, D.M., Bommarito, M.J., Gao, S. and Arredondo, P. (2024) ‘GPT-4 passes the bar exam’, Philosophical Transactions of the Royal Society A, 382(2270), 20230254. doi:10.1098/rsta.2023.0254.

Magesh, V., Surani, F., Dahl, M., Suzgun, M., Manning, C.D. and Ho, D.E. (2025) ‘Hallucination-free? Assessing the reliability of leading AI legal research tools’, Journal of Empirical Legal Studies, 22(2), pp. 216–242. doi:10.1111/jels.12413.

Martínez, E. (2024) ‘Re-evaluating GPT-4’s bar exam performance’, Artificial Intelligence and Law. doi:10.1007/s10506-024-09396-9.

Mata v. Avianca, Inc. (2023) 678 F. Supp. 3d 443 (S.D.N.Y.).

OpenAI (2026a) ‘GPT-5.6: Frontier intelligence that scales with your ambition’. Available at: https://openai.com/index/gpt-5-6/ (Accessed: 23 July 2026).

OpenAI (2026b) ‘OpenAI and Hugging Face partner to address security incident during model evaluation’. Available at: https://openai.com/index/hugging-face-model-evaluation-security-incident/ (Accessed: 23 July 2026).

Schwarcz, D., Manning, S., Barry, P., Cleveland, D.R., Prescott, J.J. and Rich, B. (2026) ‘AI-powered lawyering: AI reasoning models, retrieval augmented generation, and the future of legal practice’, Journal of Law and Empirical Analysis. doi:10.1177/2755323X261427048.

Autor - Felix Grafinger

Felix Grafinger studiert Internationale Rechtswissenschaften an der Universität Wien und beginnt zusätzlich im Herbst den Bachelor in Politikwissenschaft. Er ist Studienassistent an der Ars Iuris Vienna Doctoral School und in Zuge dessen Editorial Assistant der Vienna Law Review; ab Oktober arbeitet er zusätzlich am Institut für Unternehmens- und Wirtschaftsrecht. Als Mitgründer und Präsident entwickelte er die Juridicum Debating Society gemeinsam mit seinem Team zur größten Rhetorik- und Debattierinitiative der Universität Wien mit mehr als 500 Mitgliedern. 2026 wurde er in die Studienstiftung der Österreichischen Akademie der Wissenschaften aufgenommen und veröffentlichte seinen ersten Fachaufsatz in einer internationalen, peer-reviewten Fachzeitschrift. Durch ForJu möchte er einen Beitrag zu zugänglicher Wissenschaftsbildung- und Kommunikation beitragen.