KI trifft Recht – ein Tech-Experiment mit 77.000 Urteilen

[Joshua]

"Arbeitserleichterung"

Bedingung wäre:

Zeitaufwand für "selbst schreiben"

>

zeitlicher Kontrollaufwand für das KI-Resultat [Kontrolle bezogen auf Ergebnis und Begründung und ggf. - soweit verarbeitet/eigefügt - Quellen]
+ zeitlicher Ergänzungsaufwand [sprachliche Korrekturen; begriffliche Ungenauigkeiten richtigstellen; ggf. Einfügen der Zitate, falls das Modul urheberrechtlich geschützte Quellen auswertet, diese aber nicht ordnungsgemäß zitiert usw.]

[Nolyzel]

Wow, also erstmal vielen Dank für das ganze Feedback!

Zunächst:
- Das Ziel von dem Experiment war es NICHT einen Richter zu ersetzen oder die gesamte Arbeit abzunehmen.
- Wir wollten lediglich schauen, wie gut die KI überhaupt ist und ob sie komplexe Tatbestände versteht.
- Nach dem Experiment glauben wir, dass sie einen ganz guten Stand hat.
- Nun wollen wir überprüfen, ob wir im Rechtsgebiet einen Anwendungsbereich finden, bei dem wir "Tekkies" unterstützen können.
- Sprich das Ziel von dem Beitrag war es potentielle Kontakte zu knüpfen und Probleme ausfindig zu machen. NICHT unser Experiment zu "verkaufen", oder zu behaupten es sei perfekt.
- Wir nehmen an, dass die Digitalisierung auch für Anwälte und Richter wichtig ist / sein sollte und versuchen nun zu unterstützen.

Nun zu den Fragen:
- Es gibt im Internet eine Seite "Rechtssprechung im Internet". Dort gibt es etwa 77k Urteile.
- Ein Beispiel hier: https://www.rechtsprechung-im-internet. ... focuspoint
- Wir haben von diesen 77k etwa 70k verwendet um ein LLM zu trainieren. Dieses LLM hat Tenor, Tatbestand und Entscheidungsgründe erhalten.
- Im Anschluss haben wir etwa 2k Tatbestände (ohne Tenor / Entscheidungsgründe) in ein gebautes System gegeben. Dieses System kann automatisiert relevante Gesetzestexte ausfindig machen und erstellt dann Tenor + Entscheidungsgründe für den Tatbestand. Das LLM ist ein Bestandteil, aber nicht der einzige.
- Wenn diese Ergebnisse mit den richtigen Daten verglichen werden besteht eine 95% ige Genauigkeit.
- Ich hoffe, das macht das Experiment klarer.

[Joshua]

Wie gesagt, die Erfolgs-Quote von 95% kann nicht repräsentativ für die Arbeit in der Praxis sein, wenn ihr gar keine vollständigen Akten samt den Ergebnissen der Beweisaufnahme ausgewertet habt...

[Schnitte]

Da wäre ich nicht so pessimistisch. Als Beispiel habe ich mal auf gut Glück eine Rechtsprechungsanmerkung aus der aktuellen NJW genommen: BGH, Beschluss vom 25.2.2025 – VIII ZR 143/24. Dort ist der Sachverhalt wie folgt wiedergegeben:

Zum Sachverhalt
Am 18.2.2022 erwarb der Kl. als Verbraucher von der Bekl., die mit Kraftfahrzeugen handelt, ein Neufahrzeug T. im Wege des Fernabsatzes. Die Bekl., die auf ihrer Internet-Seite unter „Kontakt“ und im Impressum ihre Telefonnummer angegeben hat, verwendete nicht die Musterwiderrufsbelehrung, sondern eine in Teilen davon abweichende Widerrufsbelehrung. Dort werden die Postanschrift und die E-Mail-Adresse der Bekl. mitgeteilt, nicht aber ihre Telefonnummer. Dazu heißt es, dass der Widerruf mittels einer eindeutigen Erklärung „zB“ durch einen per Post versandten Brief oder per E-Mail erklärt werden könne. Am 23.8.2022 wurde dem Kl. das Fahrzeug übergeben. Am 20.6.2023 erklärte er per E-Mail den Widerruf seiner auf den Abschluss des Kaufvertrags gerichteten Erklärung.

Die auf Rückzahlung des Kaufpreises nebst Zinsen, Zug um Zug gegen Übergabe und Übereignung des Fahrzeugs, sowie Erstattung vorgerichtlicher Rechtsanwaltskosten gerichtete Klage hatte in den Vorinstanzen keinen Erfolg (LG Berlin II Urt. v. 19.3.2024 – 63 O 14/23; KG Beschl. v. 23.7.2024 – 27 U 33/24, BeckRS 2024, 42144). Mit der beabsichtigten Revision, deren Zulassung er mit der Nichtzulassungsbeschwerde erstrebte, möchte der Kl. sein Klagebegehren weiterverfolgen. Das Rechtsmittel blieb erfolglos.

Ich muss nicht die kompletten Akten aus der Beweisaufnahme vorliegen haben, um zu erkennen, welches die Rechtsfrage war, die der BGH hier zu entscheiden hatte: Ist bei Fernabsatzverträgen die Widerrufsbelehrung korrekt (und damit die Widerrufsfrist in Gang gesetzt, § 356 Abs. 3 S. 1 BGB), wenn keine Telefonnummer des Unternehmers angegeben ist? Und das Ergebnis des BGH (Widerrufsbelehrung ist korrekt) wird aus der Entscheidung, wie in der NJW veröffentlicht, ebenfalls deutlich. Damit kann ich doch eine KI trainieren und einen Mehrwert generieren, ohne die Akten aus der Beweisaufnahme zu benötigen.

[Joshua]

Mir ging es um die Fälle der Praxis, in denen es für die Entscheidung gerade auf die Beweisaufnahme ankommt.

[Strich]

Da wäre ich nicht so pessimistisch. Als Beispiel habe ich mal auf gut Glück eine Rechtsprechungsanmerkung aus der aktuellen NJW genommen: BGH, Beschluss vom 25.2.2025 – VIII ZR 143/24. Dort ist der Sachverhalt wie folgt wiedergegeben:

Zum Sachverhalt
Am 18.2.2022 erwarb der Kl. als Verbraucher von der Bekl., die mit Kraftfahrzeugen handelt, ein Neufahrzeug T. im Wege des Fernabsatzes. Die Bekl., die auf ihrer Internet-Seite unter „Kontakt“ und im Impressum ihre Telefonnummer angegeben hat, verwendete nicht die Musterwiderrufsbelehrung, sondern eine in Teilen davon abweichende Widerrufsbelehrung. Dort werden die Postanschrift und die E-Mail-Adresse der Bekl. mitgeteilt, nicht aber ihre Telefonnummer. Dazu heißt es, dass der Widerruf mittels einer eindeutigen Erklärung „zB“ durch einen per Post versandten Brief oder per E-Mail erklärt werden könne. Am 23.8.2022 wurde dem Kl. das Fahrzeug übergeben. Am 20.6.2023 erklärte er per E-Mail den Widerruf seiner auf den Abschluss des Kaufvertrags gerichteten Erklärung.

Die auf Rückzahlung des Kaufpreises nebst Zinsen, Zug um Zug gegen Übergabe und Übereignung des Fahrzeugs, sowie Erstattung vorgerichtlicher Rechtsanwaltskosten gerichtete Klage hatte in den Vorinstanzen keinen Erfolg (LG Berlin II Urt. v. 19.3.2024 – 63 O 14/23; KG Beschl. v. 23.7.2024 – 27 U 33/24, BeckRS 2024, 42144). Mit der beabsichtigten Revision, deren Zulassung er mit der Nichtzulassungsbeschwerde erstrebte, möchte der Kl. sein Klagebegehren weiterverfolgen. Das Rechtsmittel blieb erfolglos.

Ich muss nicht die kompletten Akten aus der Beweisaufnahme vorliegen haben, um zu erkennen, welches die Rechtsfrage war, die der BGH hier zu entscheiden hatte: Ist bei Fernabsatzverträgen die Widerrufsbelehrung korrekt (und damit die Widerrufsfrist in Gang gesetzt, § 356 Abs. 3 S. 1 BGB), wenn keine Telefonnummer des Unternehmers angegeben ist? Und das Ergebnis des BGH (Widerrufsbelehrung ist korrekt) wird aus der Entscheidung, wie in der NJW veröffentlicht, ebenfalls deutlich. Damit kann ich doch eine KI trainieren und einen Mehrwert generieren, ohne die Akten aus der Beweisaufnahme zu benötigen.

Hmm finde das Beispiel nicht so gelungen, weil hier ja der Sachverhalt bereits aufgarbeitet als Ergebnis eines umfassenden mehrere Instanzen überspannenden Prozesses ist. Das du am Ende eine KI mit diesem Rechtsproblem beschäftigen kannst ist klar. Ich denke aber jeder kennt das Phänomen, dass irgendein Richter plötzlich irgendwo ein Problem sieht, wo 100 andere keins gesehen haben. Und wenn das dann über die Instanzen geteilt wird hast du am Ende halt so nen NJW Artikel. Da sind aber 100 Fälle von irgendwelchen LGs einfach mit "Widerrufsbelehrung wirksam" entschieden worden, ohne das da jemand nach gekräht hätte.

[Schnitte]

Die Frage ist halt, welche Aufgabe die so trainierte KI lösen soll. Was ich damit nicht hinbekomme, ist eine Anwendung, der ich den Vortrag einer Partei gebe, den davon abweichenden (auch auf Tatsachenebene abweichenden) Vortrag der anderen Partei, und die mir dann sagt, wie der Streit zu entscheiden ist. Was ich damit aber durchaus hinbekommen kann (vorausgesetzt, das Trainingsset war hinreichend groß und vielfältig), ist eine Anwendung, der ich einen als feststehend zu unterstellenden Sachverhalt gebe und die mir dann sagt, wie der Streit unter der Annahme dieses Sachverhalts zu entscheiden wäre. Ich nehme an, das ist es, was scndbesthand mit einem "juristischen Taschenrechner" meinte. Und das wäre durchaus hilfreich.

[Strich]

Das wäre sehr hilfreich und ich gehe davon aus, dass das bestehende LLMs schon können.

[Schnitte]

Würde ich auch vermuten, wobei es „zur Sicherheit“ trotzdem besser wäre, eine KI - die fürs allgemeine Sprachverständnis auf ChatGPT, Grok oder gleichwertig aufbaut - nochmal gezielt auf Entscheidungen und Kommentare zu trainieren.

Gab es eigentlich in Deutschland schon ein systematisches Experiment dazu, eine KI im ersten oder zweiten Staatsexamen antreten zu lassen und die produzierten Antworten nichtsahnenden Korrektoren unterzujubeln? Man hört ja immer wieder Nachrichten, dass ein LLM diese oder jene Prüfung bestanden hat, aber ein sozusagen amtliches Experiment zu den deutschen juristischen Examina wäre mir dazu nicht bekannt.

[Julia]

Systematisch nicht, soweit ich weiß, wobei ich grad die Tage einen Beitrag gelesen habe, dass jemand das komplette 1. Examen von unterschiedlichen KI hat lösen und anschließend von "Original"-Prüfer*innen korrigieren lassen hat. Eine davon hat im Schnitt ein VB erreicht, meine ich. Aber ich weiß einfach nicht mehr, wo ich das gelesen habe, sorry... Vielleicht kommt es mir wieder.

Wir (und auch andere Unis) testen aber momentan den Einsatz neuer Programme zum Vergleich von Hausarbeiten, um zu schauen, inwiefern es zwischen den Korrektor*innen signifikante Unterschiede gibt. Ziel ist erstmal, die Korrekturen von deutlich abweichenden Klausuren von der erwarteten Bewertung nochmal intern zu überprüfen, um einen halbwegs einheitlichen Bewertungsmaßstab zu ermöglichen. Die ersten Versuche laufen ziemlich gut. Für echte inhaltliche Arbeit bzw. Korrekturen setzen wir sie aber nicht ein.

[Joshua]

Welche KI nutzt Ihr (privat oder beruflich)?
Ich war mit ChatGPT einigermaßen zufrieden; die kostenlose Variante hat aber zu weitreichende Einschräkungen.
Die Bezahlvarianten (20 USD vs. 200 USD) kann ich schlecht gegeneinander abgrenzen (s. zu einer kurzen Einordnung hier. https://www.joergjanssen.com/blog/chatgpt-200dollar). Hat jemand Erfahrungen?

[GetMeOut]

Welche KI nutzt Ihr (privat oder beruflich)?
Ich war mit ChatGPT einigermaßen zufrieden; die kostenlose Variante hat aber zu weitreichende Einschräkungen.
Die Bezahlvarianten (20 USD vs. 200 USD) kann ich schlecht gegeneinander abgrenzen (s. zu einer kurzen Einordnung hier. https://www.joergjanssen.com/blog/chatgpt-200dollar). Hat jemand Erfahrungen?

Perplexity ist auch ganz nett, scheint mir aber bei der Deep-Research-Funktion etwas stark zu halluzinieren.

Ich gehe davon aus, dass es bei solch allgemeinen KI-Anwendungen nicht den einen großen Sieger geben wird. Letztlich werden wir wohl zwischen Pespi, Coca Cola und Dr Pepper wählen können, ergänzt um das ein oder andere europäische Produkt, das v.a. mit erhöhtem Datenschutz punkten will.

[Joshua]

Danke. Ich habe jetzt mals ChatGPT (4.0), DeepSeek und dann Perplexity mit dem McKelvey Schofield Chaos Theorem konfrontiert und zu konkreten Rechenbeispielen aufgefordert:
1. ChatGPT war relativ gut, die Bsp. waren in Ordnung. Die versuchte graphische Veranschaulichung in einem mehrdimensionalen Raum zur Darstellung euklidischer Distanzen hat mich dann aber gar nicht überzeugt.
2. DeepSeek war in der textlichen Darstellung (auch der Folgefragen) am exaktesten. Liegt vielleicht am "Topf-System" (Mathefragen in den "Mathe-Topf" usw.). Die graphische Veranschaulichung aber sehr rudimentär bis unzureichend.
3. Perplexity war etwas schlechter als die beiden vorangegangenen. Gut war aber, dass Quellen genannt wurden.

[Schnitte]

Ich nutze privat neben ChatGPT und Perplexity auch Grok. Bei diesem hat man den Eindruck, dass die Antworten direkter und ungefilterter sind - ChatGPT wirkt oft so, als ob es hardwired ist, ethisch-politisch korrekte Antworten zu geben, während Grok da manchmal rauer ist. Außerdem ist sein Text-to-image-Generator fotorealistischer.

[Strich]

Danke. Ich habe jetzt mals ChatGPT (4.0), DeepSeek und dann Perplexity mit dem McKelvey Schofield Chaos Theorem konfrontiert und zu konkreten Rechenbeispielen aufgefordert:
1. ChatGPT war relativ gut, die Bsp. waren in Ordnung. Die versuchte graphische Veranschaulichung in einem mehrdimensionalen Raum zur Darstellung euklidischer Distanzen hat mich dann aber gar nicht überzeugt.
...

Also ich hatte bis jetzt keine Probleme mit metrischen Räumen mit der euklidischen Norm im Mehrdimensionalen (falls du das meintest), warum auch? Das ist jetzt nicht Mathe am Höchstreck. Das ChatGPT dir keine Grafiken erstellt (bzw das super sauber macht), ist klar. Ich empfehle da ChatGPT einfach aufzufordern den jeweiligen Code (Latex mit Tikz package oder gleich den python code) auszuspucken und sich das dann anzuschauen.