Der Einsatz von Künstlicher Intelligenz (KI) in der Rechtsberatung wird seit einiger Zeit diskutiert. Ein neuer Test von Chatbots wie ChatGPT, DeepSeek und dem spezialisierten „Frag den Grüneberg“ in der erbrechtlichen Praxis zeigt jedoch, dass die Technologie noch weit von einem zuverlässigen Helfer entfernt ist. Ein Fachbeitrag von Prof. Dr. Knut Werner Lange zieht ein ernüchterndes Fazit.

Die getesteten Chatbots

Für die Untersuchung wurden drei Chatbots mit konkreten erbrechtlichen Fragestellungen konfrontiert:

1. ChatGPT-4o mini: Ein frei zugängliches Modell mit breitem Wissenszugriff.
2. DeepSeek R1: Ein Open-Access-Modell eines chinesischen Unternehmens.
3. „Frag den Grüneberg“: Eine kostenpflichtige, auf den gleichnamigen BGB-Kurzkommentar spezialisierte Anwendung des Beck-Verlags.

Das Ergebnis: Alle Chatbots versagen bei den Aufgaben

Die Ergebnisse des Tests zeigen, dass alle drei Chatbots bei der Lösung der gestellten Aufgaben erhebliche Mängel aufweisen.

• Häufige „Halluzinationen“: Alle Chatbots neigten dazu, „Halluzinationen“ zu erzeugen, d.h., sie lieferten überzeugend formulierte, aber objektiv falsche Ergebnisse. Das äußerte sich in falschen Normzitaten, der Verwendung veralteter Rechtslagen und widersprüchlichen Aussagen.
• ChatGPT und DeepSeek sind unbrauchbar: Die Antworten von ChatGPT und DeepSeek waren bei den juristischen Fragen so fehlerhaft, dass sie als unbrauchbar eingestuft werden mussten. Beispielsweise zitierte ChatGPT falsche Normen und DeepSeek vermischte altes und neues Recht.
• „Frag den Grüneberg“ schlägt sich wacker, aber ist nicht perfekt: Obwohl der spezialisierte Chatbot von Beck die besten Ergebnisse lieferte, wies auch er Fehler auf. So erkannte er beispielsweise nicht den Unterschied zwischen dem Tod eines Mieters und dem eines Vermieters und bezog sich auf die falschen Rechtsnormen.

Fazit: Noch keine zuverlässige Hilfe in Sicht

Der Autor kommt zu dem Schluss, dass die getesteten Chatbots im erbrechtlichen Alltag nicht als zuverlässige Helfer eingesetzt werden können. Der Hauptgrund dafür liegt in der Unfähigkeit, die richtigen Normen zu finden und korrekt anzuwenden. Die Gefahr, dass eine falsche Antwort unbesehen übernommen wird, ist zu groß.

Die Entwicklung bleibt jedoch spannend. Es ist wahrscheinlich, dass spezialisierte KI-Anwendungen, die sich auf bestimmte Aufgaben wie die Dokumentensammlung oder die Recherche konzentrieren, in Zukunft eine größere Rolle spielen werden.

‍

Quellenangabe:

Prof. Dr. Knut Werner Lange, „Chatbots in der erbrechtlichen Praxis – zugleich ein Beitrag zum Einsatz von open-access-bots und „Frag den Grüneberg““, ZEV 2025, 633 ff.

‍