Der Beitrag KI kann Jura, aber scheitert an einfachen Zahlen – das ist der Grund erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.
Ein Sprachmodell dichtet Sonette und besteht Jura-Examen. Doch sobald es geschäftliche Kennzahlen oder Liefermengen berechnen soll, erfindet es plausiblen Unsinn. Warum der Fehler nicht im Prompt, sondern in der Systemarchitektur liegt. Ein Gastbeitrag von Fabian Rang.
Künstliche Intelligenz kann programmieren, Verträge zusammenfassen und fotorealistische Videos generieren. Doch bitte mal ein modernes Sprachmodell darum, eine Rabattstaffel für 500 Artikel durchzurechnen oder die optimale Bestellmenge für ein Zentrallager zu kalkulieren. Das Ergebnis: Das Modell spuckt in Sekunden eine stilistisch brillante Antwort aus – mit frei erfundenen Zahlen.
Im privaten Bereich liefert das vielleicht ein nettes Meme auf Social Media. Wenn Unternehmen aber versuchen, Chatbots auf operative Planungs-, ERP- oder Finanzdaten zu setzen, wird daraus ein handfestes Millionenrisiko. Lieferketten geraten aus dem Takt, Lager laufen voll, Regale bleiben leer.
In Teilen der Tech-Szene herrscht immer noch der Glaube, man könne dieses Problem durch noch größere Modelle, besseres Prompting oder Vektordatenbanken lösen. Das ist ein fundamentaler Irrtum.
Wörter raten ist keine Mathematik
Um das Problem zu lösen, muss man sich klarmachen: Large Language Models (LLMs) sind probabilistische Textgeneratoren. Das heißt: Sie wurden darauf trainiert, auf Basis statistischer Wahrscheinlichkeiten das jeweils plausibelste nächste Wort vorherzusagen. Sie erzeugen Sprachmuster, keine logischen Schlüsse und erst recht keine mathematischen Wahrheiten.
Wenn ein LLM „2 + 2 = 4“ ausgibt, tut es das nicht, weil es addiert hat, sondern weil diese Zeichenfolge in seinen Trainingsdaten milliardenfach nach „2 + 2 =“ auftaucht. Das Modell behandelt Zahlen exakt wie Wörter: als Vokabeln.
Sobald Rechnungen komplexer werden oder domänenspezifische Wenn-Dann-Bedingungen greifen, versagt die statistische Textvorhersage. Das Modell weiß nicht, was eine Zahl bedeutet. Es weiß nur, wie eine Antwort klingen muss, damit sie menschlich wirkt. Das System halluziniert nicht aus Bosheit, sondern weil es genau das tut, wofür es gebaut wurde: plausible Texte zu fabrizieren.
Warum auch RAG beim Rechnen scheitert
Ein weit verbreiteter Reflex ist der Einsatz von Retrieval-Augmented Generation (RAG). Das Prinzip ist vergleichbar mit einer Open-Book-Prüfung. Bevor die KI antwortet, durchsucht sie Dokumente nach der passenden Textstelle. Das funktioniert perfekt für statische Wissensabfragen, zum Beispiel: „Wie lautet unsere Reiserichtlinie?“
Es versagt allerdings völlig bei dynamischen Optimierungsproblemen: Wie viele Paletten müssen wir für nächste Woche bestellen, wenn der Lieferant fünf Prozent Skonto gibt, unsere Lagerkapazität aber zu 85 Prozent ausgelastet ist?
Hier gibt es kein fertiges PDF, aus dem das Modell die Antwort kopieren könnte. Das Ergebnis muss mathematisch modelliert, simuliert und optimiert werden. Ein Sprachmodell mit RAG zu füttern, um operative Entscheidungen zu treffen, ist ungefähr so erfolgversprechend wie der Versuch, eine Tabellenkalkulation mit Microsoft Word nachzubauen.
Sprache strikt von Logik trennen
Ein Sprachmodell kann niemals alles auf einmal sein. Es ist eine fantastische Benutzeroberfläche für Sprache, aber ein sehr schlechtes Rechenwerkzeug. Die Lösung liegt deshalb in einer sauberen Drei-Schichten-Architektur:
- Die Sprachebene (Interface): Das LLM agiert ausschließlich als Dolmetscher. Es nimmt die natürliche Frage des Menschen entgegen und übersetzt sie in strukturierte mathematische Abfragen und Parameter. Es rechnet zu keinem Zeitpunkt selbst.
- Die Kontextebene (Context Layer): Hier liegt das semantische Betriebsmodell des Unternehmens. Diese Schicht stellt sicher, dass Kennzahlen, Restriktionen und Datenbeziehungen (z. B. aus dem ERP-System) exakt definiert sind. Hier werden Lücken identifiziert, bevor überhaupt gerechnet wird.
- Die Rechenebene (Deterministische Engine): Die eigentliche Berechnung – Prognosen, nichtlineare Optimierungen, Szenarien – wird an deterministische Algorithmen und mathematische Solver übergeben. Keine Magie, sondern angewandte Mathematik.
Das Prinzip ist einfach: Das Sprachmodell bekommt das numerische Ergebnis erst zurückgespielt, wenn die Rechen-Engine fertig ist. Das LLM bettet die Zahl in die Antwort ein, darf sie aber nicht verändern. Damit sind Halluzinationen bei Zahlen architektonisch ausgeschlossen.
Mut zur Lücke: Warum gute KI-Systeme „Ich weiß es nicht“ sagen
Verlässlichkeit entsteht außerdem durch den transparenten Umgang mit Datenlücken. Ein System, das bei fehlenden Werten einfach ins Raten verfällt, ist im Betrieb brandgefährlich. Moderne Systeme müssen wissen, was sie nicht wissen.
Fehlen für eine Berechnung historische Daten oder widersprechen sich Quellen, darf die KI die Lücke nicht durch Extrapolation glattbügeln. Sie muss den Dialog suchen, zum Beispiel: „Für Produktgruppe Y fehlen die Aktionspreise für nächste Woche. Soll ich mit den Standardwerten rechnen oder ergänzt du die Daten selbst?“
Gleichzeitig gehören starre Punktprognosen der Vergangenheit an. Verlässliche KI arbeitet mit Wahrscheinlichkeitskorridoren und Konfidenzintervallen. Sie liefert also nicht eine einzige, vermeintlich exakte Zahl, sondern eine Bandbreite und die Eintrittswahrscheinlichkeit.
Fazit: Die Schicht darunter entscheidet
Der aktuelle Hype dreht sich fast nur um neue Basismodelle. Für den produktiven Einsatz in Unternehmen ist das Sprachmodell allerdings die am leichtesten austauschbare Komponente im Tech-Stack.
Die eigentliche Herausforderung liegt nicht darin, Modellen das Dichten beizubringen, sondern Systeme so zu bauen, dass Sprachebene und Rechenlogik strikt getrennt bleiben. Erst wenn wir aufhören, Sprachmodelle wie Taschenrechner zu behandeln, wird KI im Unternehmensalltag vom Spielzeug zur verlässlichen Infrastruktur.
Über den Autor: Fabian Rang
Fabian Rang ist Mathematiker, Systemingenieur sowie Co-Founder und CTO des Heidelberger Decision-Intelligence-Unternehmens paretos. Vor der Gründung forschte er an Optimierungsalgorithmen, unter anderem in Kooperation mit dem Massachusetts Institute of Technology (MIT).
Der Beitrag KI kann Jura, aber scheitert an einfachen Zahlen – das ist der Grund erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.
Anmelden
