KI trifft Recht – ein Tech-Experiment mit 77.000 Urteilen

[Nolyzel]

Hallo zusammen!

Wir kommen ursprünglich aus der Tech-Welt und sind auf KI spezialisiert. Aus Interesse am deutschen Recht wollten wir einfach mal ausprobieren, wie gut Künstliche Intelligenz juristische Entscheidungen nachvollziehen kann.

Dazu haben wir ein öffentlich verfügbares Datenset mit ca. 77.000 Entscheidungen verwendet und eine KI damit trainiert. In einem Benchmark mit neuen, nicht im Trainingsdatensatz enthaltenen Fällen lag die Übereinstimmung mit dem tatsächlichen Tenor bei rund 95%.

Jetzt möchten wir tiefer in das Rechtsgebiet einsteigen und suchen den Austausch mit Jurist:innen – idealerweise mit Anwält:innen oder Richter:innen –, um das Projekt weiterzuentwickeln und professionell einzuordnen.

Wer Interesse hat oder jemanden kennt: Wir freuen uns über jede Kontaktaufnahme!

[Schnitte]

Dazu haben wir ein öffentlich verfügbares Datenset mit ca. 77.000 Entscheidungen verwendet und eine KI damit trainiert. In einem Benchmark mit neuen, nicht im Trainingsdatensatz enthaltenen Fällen lag die Übereinstimmung mit dem tatsächlichen Tenor bei rund 95%.

Dazu habe ich eine Frage: Was genau habt ihr hier gemacht? Ich verstehe den Absatz so: Ihr habt ein LLM mit 77.000 vollständigen Entscheidungen (Tenor plus Begründung) trainiert und dann ein Test-Datenset mit anderen Entscheidungen über das so trainierte LLM geschickt, dort aber nur die Begründung, ohne den Tenor. Und in 95% der Fälle hat das LLM aus dieser Begründung einen Tenor produziert, der dem tatsächlichen Tenor des Gerichts entsprach. Verstehe ich das richtig?

[Julia]

In der Richterschaft finden bereits entsprechende Tests statt, IBM ist da seit einer Weile in der Entwicklung (Entity Retraction auf den unterschiedlichen Verfahrensstufen). Da einen Fuß in die Tür zu bekommen, dürfte schwierig sein angesichts der Konkurrenz...
Bzgl. der Anwält*innen weiß ich da nichts näheres.

[Nolyzel]

[/quote]
Ihr habt ein LLM mit 77.000 vollständigen Entscheidungen (Tenor plus Begründung) trainiert und dann ein Test-Datenset mit anderen Entscheidungen über das so trainierte LLM geschickt, dort aber nur die Begründung, ohne den Tenor. Und in 95% der Fälle hat das LLM aus dieser Begründung einen Tenor produziert, der dem tatsächlichen Tenor des Gerichts entsprach. Verstehe ich das richtig?
[/quote]

Fast.
Trainiert mit 77.000 vollständigen Sachverhalt + Entscheidungen + Tenor.
Komplett neue Sachverhälte OHNE ENTSCHEIUNGSGRÜNDE und OHNE TENOR reingegeben.
LLM hat Entscheidungsgründe + Tenor eigenständig erstellt und sie wurden von Menschen verglichen und beides stimmt zu 95% mit dem tatsächlichen Entscheidungsgrund + Tenor überein.

Nun die Frage, wie können wir es mit Anwälten weiterentwickeln.

[Schnitte]

Ah, OK. Danke für die Klarstellung. So herum macht das auch Sinn, denn aus bekannten Entscheidungsgründen den zugehörigen Tenor zu schließen, wäre jetzt nicht so beeindruckend.

[Nolyzel]

Ich nehme an als "Super Mega Power User" hat man gute Kontakte in die Anwaltswelt

Falls ich das richtig sehe, gibt es eine Möglichkeit einen Kontakt herzustellen?

Danke im Voraus!

[Schnitte]

Da kann ich leider nicht helfen; ich bin in-house, nicht in der Anwaltschaft. Die Frage war nur in persönlichem Interesse an ML begründet.

[thh]

Ah, OK. Danke für die Klarstellung. So herum macht das auch Sinn, denn aus bekannten Entscheidungsgründen den zugehörigen Tenor zu schließen, wäre jetzt nicht so beeindruckend.

Bei einem festgestellten Sachverhalt - wenn ich das jetzt einmal als Tatbestand des Urteils verstehe - ist der Gewinn vermutlich auch überschaubar.

[scndbesthand]

Ah, OK. Danke für die Klarstellung. So herum macht das auch Sinn, denn aus bekannten Entscheidungsgründen den zugehörigen Tenor zu schließen, wäre jetzt nicht so beeindruckend.

Bei einem festgestellten Sachverhalt - wenn ich das jetzt einmal als Tatbestand des Urteils verstehe - ist der Gewinn vermutlich auch überschaubar.

Immerhin brauchen Menschen, je nach Begabung zwischen 6-12 Semester Studium, um aus einem Sachverhalt eine den rechtswissenschaftlichen Standards genügende Lösung zu produzieren. Wenn man eine KI hat, die als zuverlässiger „juristischer Taschenrechner“ fungiert, wäre das schon ein gewaltiger Fortschritt.

[Joshua]

Hallo zusammen!

Dazu haben wir ein öffentlich verfügbares Datenset mit ca. 77.000 Entscheidungen verwendet und eine KI damit trainiert.

Leider viel zu unbestimmt, um auch nur ansazweise eine Diskussion zu ermöglichen. Was waren das für Entscheidungen? Wie und mit welcher genauen Zielsetzung hat man die "KI" damit "trainiert"?

In einem Benchmark mit neuen, nicht im Trainingsdatensatz enthaltenen Fällen lag die Übereinstimmung mit dem tatsächlichen Tenor bei rund 95%.

Dito. Man müsste erst einmal erfahren, was das für Fälle waren. "Neue Sachverhalte" besagt ja wenig über das Maß der thematischen Übereinstimmungen zwischen Trainings- und Test-Fällen. Wie hat man insoweit ein selection bias ausgeschlossen? Wie groß war überhaupt das sample der Test-Fälle? Die Übereinstimmung von 95% mit dem wirklichen Tenor kann je nach Fallauswahl beachtlich oder auch eine ziemlich schlechte Performance sein.

Also: Da braucht man erst einmal "mehr Details"!

PS: Was mich u.a. skeptisch macht: Das A und O in der Praxis ist die Beweiswürdigung. Wenn die (sog.) "KI" dann aber nur mit neuen "Sachverhalten" konfrontiert wurde, bedeutet das, dass im Tatbestand z.B. nur steht "Das Gericht hat Beweis erhoben durch Vernehmunung des Zeugen X"; das Protokoll ist ja nicht Gegenstand des "Sachverhalts". Entsprechendes gilt bei Parteivernehmungen und -anhörungen oder Sachverständigengutachten. Wenn die "KI" die eigentlichen Ergebnisse der Beweisaufnahmen gar nicht bekommt, wird sie kaum einen forensisch einigermaßen anspruchsvollen Fall mit p = 95% richtig entscheiden können...

[thh]

Immerhin brauchen Menschen, je nach Begabung zwischen 6-12 Semester Studium, um aus einem Sachverhalt eine den rechtswissenschaftlichen Standards genügende Lösung zu produzieren. Wenn man eine KI hat, die als zuverlässiger „juristischer Taschenrechner“ fungiert, wäre das schon ein gewaltiger Fortschritt.

Dieser Vergleich übersieht m.E. den Unterschied zwischen Ausbildung und Praxis. In der Ausbildung ist - vergleichbar zur Mathematik - weniger das Ergebnis als vielmehr der Rechenweg entscheidend. In Examensklausuren wird eben nicht nur gefragt: "Bekommt A den geforderten Geldbetrag zugesprochen?", gefordert ist vielmehr eine Begründung, die zeigt, dass Rechtsanwendung beherrscht wird.

Je nach Rechtsgebiet ist es nicht besonders schwer, den Tenor zu treffen. Man muss nicht Jura studieren, sondern nur 10 Minuten googeln, um mit einer Wahrscheinlichkeit von ~ 90% den fallunabhängig richtigen Tenor für die Entscheidung über eine Revision des Angeklagten zu finden. Im Strafrecht gilt sogar insgesamt weit überwiegend, dass mit dem feststehenden Sachverhalt auch der Tenor feststeht. Und ohne eigene Erfahrung gehe ich davon aus, dass auch der Großteil der "Diesel-Fälle" nach den Leitentscheidungen des BGH und der Erarbeitung des Sachverhalts keiner juristischen Brillanz mehr bedarf.

Letztlich kommt es sowieso sehr darauf an, was man vergleicht. Wirft man 77.000 Fälle ein und legt der "KI" dann vergleichbare Sachverhalte vor? Oder auch Sachverhalte, die in dieser Form in den Trainingsdatensätzen nicht enthalten waren? Um welches Rechtsgebiet geht es?

[gola20]

Wichtig ist auch der Vergleich mit anderen KI Lösungen. OpenAI hat auch Entscheidungen in seinen Trainingsdaten. Spaßiger Zeitvertreib, wenn man eine KI trainiert hat, die keine Verbesserung gegenüber dem kostenlosen ChatGPT bringt.

[Schnitte]

Hier werden natürlich valide Punkte angesprochen, aber ich finde, das Forum verfällt vielleicht ein bisschen zu schnell in die alte Gewohnheit, erstmal alles schlechtzureden. Ich halte es hier wie thh: Natürlich ist die Entscheidungsfindung eines Gerichts zu einem großen Teil Sachverhaltsaufklärung. Sie ist aber halt auch nicht nur Sachverhaltsaufklärung (und erst recht nicht in der Revisionsinstanz), sondern eben auch Rechtsanwendung. Das geltende Recht auf einen feststehenden und nicht mehr hinterfragten Sachverhalt anzuwenden und Ergebnis (Tenor) plus Begründung zu formulieren, ist nicht trivial; wenn es das wäre, müssten wir dafür nicht jahrelang studieren und Prüfungen dazu absolvieren. Ein Modell, dem ich einen Sachverhalt gebe und das mir dann das Ergebnis mitsamt kurzer Begründung liefert, wäre schon eine coole Sache. Es würde den menschlichen Rechtsanwender nicht ersetzen, wäre ihm aber durchaus eine große Hilfe.

Spaßiger Zeitvertreib, wenn man eine KI trainiert hat, die keine Verbesserung gegenüber dem kostenlosen ChatGPT bringt.

Ich hab mal aus Spaß ein neuronales Netz in Tensorflow geschrieben und mit den Bundesligaergebnissen der letzten fünf Saisons trainiert, um ein Modell zu basteln, das mir für eine gegebene Spielpaarung eine Einschätzung der Wahrscheinlichkeiten für Sieg Auswärtsteam, Sieg Gastteam oder Unentschieden gibt. ChatGPT könnte das vermutlich auch, aber selber machen ist dann halt doch spannender und auch lehrreicher. Und meine Zielsetzung war bescheiden: solange das Modell unegefähr so gut abschneidet wie das Bundesligatippspiel meines Vater, bin ich schon zufrieden.

[gola20]

Kein Problem als Hobby. Mich nerven nur die täglich anrufenden Legal Tech Bros, die uns ihre coole KI verkaufen wollen.

[Strich]

Ich sehe das im Ergebnis wie Schnitte. Ich habe auch schon überlegt, ein (unter)LLM zu schreiben, dass mit meinen Entscheidungen trainiert ist. Das Problem daran ist aber, wenn man das nicht nicht von Grund auf selbst schreibt (was ich nicht gedenke zu tun), dann baut man im Prinzip auf bestehenden LLMs auf. Da gibt es dann Zugriffe auf ChatGPT im Hintergrund. Für mich wäre das eine enorme Arbeitserleichterung, aber die Daten kann ich halt nicht rausgeben.