Der Beitrag ChatGPT-Chats sind nicht privat! Fremde Menschen können mitlesen erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.

Wer ChatGPT als Lebenscoach, Hausaufgabenhilfe oder digitalen Berater nutzt, teilt oft sehr persönliche Informationen. Was viele nicht wissen: OpenAI lässt im Rahmen von „Project Lily“ Freiberufler echte Nutzer-Chats lesen, um den Chatbot weniger unterwürfig und sicherer zu machen. Interne Dokumente zeigen, wie der Prozess abläuft. Warum die Grenze zwischen Produktverbesserung und Datenschutz dabei zunehmend verschwimmt. Eine kommentierende Analyse.

„Project Lily“: OpenAI-Mitarbeiter lesen private ChatGPT-Chats

• ChatGPT hat weltweit mittlerweile über 900 Millionen wöchentlich aktive Nutzer. Viele nutzen den Chatbot aber nicht, um E-Mails zu verfassen oder sich Inspiration für neue Ideen und Projekte einzuholen. Einer Studie von OpenAI zufolge handelten allein im Juni 2025 fast drei Viertel aller Konversationen von Themen außerhalb des Berufslebens. Rund 28 Prozent der Nutzer stellten beispielsweise Alltagsfragen oder verlangten nach Tipps zu Hausaufgaben. Pikant: Viele vertrauen ChatGPT dafür auch persönliche Informationen an. Laut OpenAI-Chef Sam Altman würden vor allem Menschen im Alter zwischen 20 und 40 den Bot sogar als so etwas wie einen Lebenscoach ansehen.
• Wie das Magazin 404 Media (€) unter Berufung auf interne OpenAI-Unterlagen berichtet, sehen immer mehr menschliche Auftragnehmer des Unternehmens persönliche ChatGPT-Chats von Nutzern ein. Ziel von „Project Lily“ sei, den Chatbot weniger unterwürfig und weniger menschlich zu machen. Dazu prüfen überwiegend freiberufliche Mitarbeiter reale Konversationen zwischen Nutzern und ChatGPT im Rahmen eines dreistufigen Prozesses. Sie checken zunächst die Eingabe, versuchen dann die vermeintliche Absicht zu eruieren und bewerten anschließend die Antwort von ChatGPT. Das Ziel von OpenAI: Antworten sollen klug, aber bescheiden klingen – etwa ohne zu viele Emojis oder Schmeicheleien.
• OpenAI zufolge sollen die Maßnahmen ChatGPT zudem sicherer machen. Vor allem das Modell GPT-4o, das mittlerweile abgeschaltet wurde, servierte regelmäßig vermeintlich einfühlsame und möglichst menschliche Antworten. Die Folge: Die KI agierte wie ein Ja-Sager, machte Nutzern Komplimente und stimmte ihnen übermäßig oft zu. Viele waren davon schlichtweg genervt. Andere waren enttäuscht bis verärgert, nachdem GPT-4o der Stecker gezogen wurde, was eine gewisse emotionale Abhängigkeit offenbart. Problem: Das Modell verharmloste sogar potenziell gefährliche Vorhaben. In den USA haben bereits mehrere Familien OpenAI verklagt, da sie ChatGPT eine Mitschuld an Suizidfällen geben.

Warum dein ChatGPT-Chat kein Vier-Augen-Gespräch ist

Die Tatsache, dass fremde Menschen Chats von ChatGPT-Nutzern lesen, muss nicht zwangsläufig ein Problem sein. Problematisch ist aber durchaus, dass viele davon nichts wissen; auch weil OpenAI es nicht klar kommuniziert. Bei Social Media ist menschliche Moderation indes längst Teil des Geschäftsmodells und wird von vielen Nutzern sogar eingefordert.

Bei KI hingegen entsteht durch die persönliche Ansprache schnell der Eindruck einer privaten Konversation. Oder: Im Gegensatz zu öffentlichen Social-Media-Beiträgen geht man nicht unbedingt davon aus, dass persönliche Chats von fremden Menschen mitgelesen werden können.

Hinzu kommt, dass seit Beginn des KI-Hypes ein gefühlt immer geringeres Verständnis für Datenschutz herrscht. Das ist zumindest mein Eindruck. Denn Smart Glasses wie von Meta, die ständig alles filmen können, Smartwatches, die dauerhaft mithören, und KI-Agenten, die auf Bankkonten, E-Mails und Kalender zugreifen, verschieben die Grenzen zwischen Privatsphäre und der Digitalisierung immer weiter.

Oder: Ist uns Datenschutz so egal geworden? Je mehr KI über uns weiß und je natürlicher sie mit uns spricht, desto größer wird die Diskrepanz zwischen gefühlter Vertraulichkeit und tatsächlicher Datenverarbeitung. Dass OpenAI derweil persönliche Informationen vor einer Prüfung herausfiltern und schwärzen will, ist zwar gut, sollte aber auch absoluter Mindeststandard sein.

Problem: Ein Filter für Inhalte ist keine magische Datenschutz-Firewall, sondern hat Löcher wie ein Sieb. OpenAI räumt sogar selbst ein, dass es zu Fehlern kommen kann. Sprich: Dass fremde Menschen eben doch persönliche Informationen mitlesen. Mehr Offenheit und Transparenz wären jedoch angebrachter als kleingedruckte Anmerkungen, die tief in irgendwelchen Datenschutzerklärungen untergehen.

Es ist zwar durchaus nachvollziehbar und mitunter sinnvoll, dass Menschen echte Gespräche überprüfen, wenn dadurch gefährliche, manipulative oder schlicht schlechte Antworten erkannt werden können. Nur sollten Nutzer auch wissen, worauf sie sich einlassen. OpenAI bietet zwar Opt-out- und temporäre Chats an. Aber die Existenz menschlicher Prüfer wurde in der öffentlichen Kommunikation bislang fast schon unter den Teppich gekehrt.

Stimmen

• Michal Luria, Senior Research Fellow am Center for Democracy & Technology, erklärte gegenüber 404 Media (€): „Die Überprüfung von Unterhaltungen mit Chatbots durch Menschen kann für die Sicherheit unerlässlich sein. Allerdings darf man nicht vergessen, dass aktuelle Chatbot-Schnittstellen automatisch ein trügerisches Gefühl von Intimität und Privatsphäre in scheinbar persönlichen Interaktionen erzeugen, während in Wirklichkeit möglicherweise menschliche Prüfer am anderen Ende mitlesen.“
• Rechtswissenschaftlerin Kate Klonick hat auf Bluesky eine durchaus pointierte Reaktion auf den Artikel gepostet: „Menschen 2014–2024: ‚Wir wollen nicht, dass Roboter unsere Inhalte prüfen! Wir verlangen eine menschliche Überprüfung!‘ Menschen 2026: ‚Heilige Scheiße, wusstet ihr, dass Menschen unsere Inhalte prüfen!? Wie gruselig! Wir wollen nur Roboter!!‘“
• Joseph Cox, Redakteur bei 404 Media und Autor des entsprechenden Artikels, schrieb in einem Beitrag auf LinkedIn: „OpenAI hat eine ganze Armee von Freiberuflern engagiert, die die Chats echter ChatGPT-Nutzer lesen. Ich habe interne Dokumente, das Überprüfungssystem und echte Nutzeranfragen gesehen. Manchmal enthalten diese sehr persönliche und sensible Informationen.“ Auf die Frage, ob es Nutzern bewusst sei, dass menschliche Prüfer ihre Unterhaltungen einsehen könnten, antwortete ein OpenAI-Auftragnehmer gegenüber 404 Media: „Nein, ich glaube nicht, dass sie sich vorstellen würden, dass irgendwo ein Auftragnehmer (…) die Unterhaltungen analysiert.“

Datenschutz: Wie sich der Umgang mit KI verändern könnte

Je persönlicher KI wird, desto schwammiger wird die Trennung zwischen Datenschutz und Produktqualität. Wer ChatGPT etwa als digitalen Lebensberater, persönlichen Assistenten oder Gesprächspartner nutzt, liefert OpenAI zwangsläufig andere Informationen als jemand, der sich nur eine Excel-Tabelle oder Dokumente analysieren lässt.

Es scheint deshalb fast schon überfällig, dass Nutzer künftig differenzierter festlegen können sollten, was eine KI speichert, welche Informationen in ihre Trainingsdaten einfließen und welche persönlichen Informationen fremde Menschen nicht zu Gesicht bekommen sollen.

Die menschliche Kontrolle von Chats könnte je nachdem, wie sie kommuniziert und konkret umgesetzt wird, sowohl zu einem Vertrauensproblem als auch zu einem Vertrauensargument werden. Indes: OpenAI, Google und Anthropic setzen bereits alle auf Prüfungen durch Mitarbeiter, jeweils mit unterschiedlichen Kontroll- und Schutzmechanismen.

Oder: Je stärker KI in unseren Alltag eindringt, desto weniger wird die Frage lauten, ob irgendwo Menschen hinter Bildschirmen sitzen und unsere Chats mitlesen. Sie wird lauten: Wer darf wann hinschauen und warum – und was weiß ich darüber? Der Umgang mit KI könnte sich dadurch verändern.

Einigen wird es egal sein. Bei anderen könnte ein neues digitales Grundverständnis entstehen. Denn nicht jede Konversation mit einer KI ist automatisch ein vertrauliches Vier-Augen-Gespräch. Das mag banal klingen, könnte aber zu einer wichtigen Datenschutzregel in der KI-Ära werden.

Denn spätestens wenn Chatbots irgendwann nicht mehr nur antworten, sondern zuhören, gar sehen, handeln und sich erinnern, sind Transparenz und Datenschutz keine netten Zusatzfunktionen mehr, sondern die Voraussetzung dafür, dass aus künstlicher Nähe nicht irgendwann ein ziemlich unangenehmes Gefühl von Überwachung wird.

Auch interessant: 

• VW knackt drei Weltrekorde – doch dieses E-Auto kann niemand kaufen
• Muse: Neuer KI-Agent von Meta ist scharf auf deine Geheimnisse – und dein Geld
• KI-Pause aus Gewissensbissen? Wovor die Tech-Bosse wirklich Angst haben
• KI-Faulheit: Hilfe, ich habe das Denken verlernt!

Der Beitrag ChatGPT-Chats sind nicht privat! Fremde Menschen können mitlesen erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.

In den USA kam es zuletzt immer wieder zu teilweise tödlichen Flugunfällen, die auf eine anhaltende Überlastung der Flugsicherung zurückgeführt werden. Jetzt soll Künstliche Intelligenz helfen, die Fluglotsen zu entlasten und so für mehr Sicherheit zu sorgen. (Weiter lesen)

Forschende der Stanford University haben ein virtuelles Biotech-Unternehmen geschaffen, in dem 37.000 KI-Agenten als Mitarbeiter beschäftigt wurden. Das Ergebnis dieser Simulation war unter anderem die Entdeckung besserer Medikamente. (Weiter lesen)

Vor Kurzem hat Google das Gehirn einer Fruchtfliege vollständig kartiert. Ein Entwickler behauptet nun, eine darauf basierende Simulation trainiert zu haben, das Kartenspiel Balatro zu spielen. Die Erfolgsquote liegt angeblich bei 20 Prozent. (Weiter lesen)

Im Hintergrund haben auch Mitarbeiter der großen KI-Anbieter eine Meinung zu der Technologie, die sie öffentlich wohl nie äußern würden. In Gerichtsverfahren kommt dann aber doch manchmal Klarheit in die Sache - so auch diesmal. (Weiter lesen)

Forscher:innen haben bei einem Bug-Hunting-Programm Sicherheitslücken in den Systemen von OpenAI aufgedeckt. Der Fall verdeutlicht einmal mehr, welches Risiko Spitzenmodelle für die Cybersicherheit darstellen. weiterlesen auf t3n.de

Der Beitrag 80.000 Jahre bis Alpha Centauri: Diese Sonde nimmt Botschaften der Menschheit mit erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.

Eine US-amerikanische Organisation will eine Raumsonde zu unserem nächstgelegenen Sternensystem Alpha Centauri schicken. Die Reise soll rund 80.000 Jahre dauern. Doch das Budget ist mit weniger als 15 Millionen US-Dollar überraschend klein. Statt auf unbezahlbare Wunder-Antriebe zu warten, setzt das Projekt auf bewährte Technik und KI. 

Die US-amerikanische Non-Profit-Organisation „The Fermi Explorer Mission“ plant den ersten interstellaren Flug der Menschheit. Noch vor 2030 soll eine kleine Sonde in Richtung Alpha Centauri starten. Das Ziel liegt vier Lichtjahre entfernt. Heißt konkret: Das Raumfahrzeug würde rund 80.000 Jahre brauchen, um die Strecke zu 99 Prozent zurückzulegen. Hinter dem Vorhaben steckt keinesfalls ein unbezahlbares Megaprojekt. Das zeigt das vergleichsweise geringe Budget von unter 15 Millionen US-Dollar.

Zum Vergleich: Kommerzielle Satelliten sind häufig um ein Vielfaches teurer. Laut den Angaben deckt das Budget die Entwicklung, den Bau, den Raketenstart und den kompletten Betrieb ab. Die Nutzlast fällt eher klein aus. Die Sonde soll gerade einmal ein Kilogramm mit einer Länge, Breite und Höhe von jeweils zehn Zentimetern mitführen können.

Low-Budget-Technik statt Science-Fiction soll Sonde nach Alpha Centauri bringen

Doch wie kann das technisch funktionieren? Das Forscherteam verzichtet bewusst auf ungetestete und visionäre Antriebe. Stattdessen nutzt das Raumfahrzeug quasi einen langlebigen E-Motor für das Weltall. Solche Systeme beschleunigen geladene Teilchen durch elektrische Felder und erzeugen so einen schwachen, aber dauerhaften Vortrieb.

Für die optimale Flugroute soll eine Künstliche Intelligenz verantwortlich sein. Das Partner-Labor Physical Super Intelligence (PSI) hat dazu ein spezielles Schwung-Manöver berechnet: die sogenannte „Perihelion Pump“. Den Angaben zufolge holt die Sonde dafür am sonnennächsten Punkt ihrer Umlaufbahn Schwung, um maximale Geschwindigkeit aufzunehmen. Philip Johnston, Mitgründer und Präsident der Organisation, dazu:

Keiner von uns wird noch hier sein, wenn diese Reise endet, und genau das ist der Punkt. Es geht darum, den ersten erreichbaren Schritt zu machen und zukünftige Generationen dazu zu inspirieren, die Grenzen, die wir geerbt haben, weiter zu verschieben.

Aber das System soll nicht nur die Wissenschaft ins All bringen, sondern dient als fliegende Zeitkapsel. Neben Instrumenten reisen eine Kopie der berühmten „Golden Record“-Datenplatte und Botschaften von Kindern mit. Das Zeitfenster für Einreichungen wissenschaftlicher und künstlerischer Inhalte beträgt drei Monate.

Open Source für Schulen und das Risiko des Überholtwerdens

Das Projekt setzt durchgehend auf quelloffene Daten. Sprich: Sämtliche Forschungsdaten, Simulationswerkzeuge und Flugbahnen sollen der Öffentlichkeit frei zur Verfügung stehen. Schüler und Studenten weltweit können dadurch etwa die Flugbahnen im Unterricht live analysieren und mitrechnen. Das soll der Bildungslandschaft ganz neue Möglichkeiten eröffnen.

Doch das Vorhaben birgt auch einige Risiken. Eine Reisezeit von 80.000 Jahren übersteigt die bisherige Zivilisationsgeschichte bei Weitem. Zudem droht ein bekanntes Paradoxon. Denn spätere, technisch weit überlegene Raumschiffe könnten die Sonde auf ihrem Weg nach Alpha Centauri wie ein Expresszug überholen.

Auch interessant:

• Schnell wie ein Toilettengang: Wie funktioniert Megawattladen?
• Batterie-Vergleich: Lithium, Natrium, Festkörper und Redox Flow
• Künstliche Neugier: Neues KI-Modell trainiert sich selbst
• Ohne Kobalt und Nickel: Forscher entwickeln günstige Lithium-Batterie

Der Beitrag 80.000 Jahre bis Alpha Centauri: Diese Sonde nimmt Botschaften der Menschheit mit erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.

Ein raffiniertes Projekt verwandelte die PlayStation 5 in einen echten Linux-PC für Steam-Spiele. Doch unerfahrene Anwender zerstörten nun den Traum vieler Modder. Sie verrieten die dafür genutzte Schwachstelle für eine schnelle Prämie an Sony. (Weiter lesen)

Der chinesische Technologiekonzern Huawei will 2027 zwei neue Chips für KI-Anwendungen auf den Markt bringen. Den technologischen Rückstand auf Nvidia will man mit einer besonders guten Cluster-Technologie ausgleichen. (Weiter lesen)

Snap wagt einen neuen Versuch auf dem Markt für Wearables und präsentiert seine autarken AR-Brillen namens Specs. Für rund 2200 US-Dollar (etwa 1906 Euro) bietet das Headset jetzt viele neue KI-Funktionen und räumliches Tracking ohne Kabel. (Weiter lesen)

Der Beitrag Muse: Neuer KI-Agent von Meta ist scharf auf deine Geheimnisse – und dein Geld erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.

Meta ist generell dafür bekannt, Nutzerdaten großzügig zu sammeln. Doch mit dem neuen KI-Agenten Muse geht das Unternehmen weiter als jemals zuvor. Die Künstliche Intelligenz kann selbstständig Reisen buchen, E-Mails verfassen und sogar einkaufen. Doch um diese Funktionen verwenden zu können, müssen Nutzer die Hosen runterlassen. Eine kommentierende Analyse.

Neue KI-Agent von Meta: Was ist und kann Muse?

• Muse ist seit dem 8. September 2026 in den USA verfügbar. Es handelt sich um eine eigenständige App für Browser, iOS und Android. Eine KI an sich ist nichts Besonderes, doch hierbei handelt es sich um einen Agenten, der nicht einfach nur Fragen beantworten kann. Muse hat die Fähigkeit, selbstständig E-Mails zu lesen und zu verfassen, Formulare auszufüllen, einen Urlaub zu planen und Online-Käufe zu tätigen. Oder kurz: viele alltägliche Aufgaben zu übernehmen. Dabei merkt sich die App die Vorlieben der Nutzer und macht ohne Aufforderung eigene Vorschläge. Und der Agent arbeitet auch, wenn die App geschlossen ist. Grundsätzlich ist Muse kostenlos nutzbar; für Vielnutzer gibt es Abos, die 20 oder 100 US-Dollar im Monat kosten.
• Um all diese Aufgaben erledigen zu können, braucht Muse natürlich auch Zugang zu den entsprechenden Daten. Laut Meta hat jeder Nutzer in der Cloud eine eigene virtuelle Maschine. So sollen die Daten getrennt von denen anderer Nutzer liegen. Außerdem muss ein sogenannter Sentinel-Agent jeden Zugriff von Muse auf das Internet freigeben. Alle sensiblen Daten wie Passwörter oder Kontonummern sind in einem separaten Speicher ausgelagert, auf den Muse angeblich keinen Zugriff hat. Um unerwünschten Aktionen vorzubeugen, fragt die KI vor dem Versenden einer Mail oder dem Tätigen eines Einkaufs noch einmal nach.
• Grundsätzlich klingt das Sicherheitskonzept plausibel, doch ob es wirklich funktioniert, kann nur der Praxistest zeigen. Tatsächlich gibt es Hinweise auf Sicherheitslücken. Ursprünglich war der Start der App für April 2026 geplant, doch bei internen Tests kam es offenbar zu Problemen, und Muse konnte einige Schutzmechanismen umgehen. Daraufhin wurde der Launch verschoben. Zudem musste Meta erst im Juli 2026 den für Instagram veröffentlichten Bildgenerator Muse Image nach nur vier Tagen wieder entfernen. Der Grund: Fremde Fotos konnten ohne die Einwilligung der Ersteller von der KI bearbeitet werden.

Warum Muse vor allem ein Werbeinstrument ist

Selbst wenn die Technik funktioniert und sicher ist, stellt sich die Frage: Warum bietet gerade Meta einen selbstständigen KI-Agenten an? Mit Plattformen wie Facebook und Instagram verkauft das Unternehmen bisher in erster Linie Aufmerksamkeit und Sichtbarkeit. Durch das Verhalten der Nutzer wird auf deren Vorlieben geschlossen – und das wirkt sich wiederum auf die Werbeanzeigen aus. Eine KI ist in dieser Hinsicht der nächste Schritt: Sie ist noch näher am Kunden und kann diesen persönlicher und spezifischer beraten.

Noch hat Meta nichts von den Empfehlungen, doch laut Alexandr Wang, dem KI-Chef des Unternehmens, werde momentan geprüft, wie man an den Transaktionen mitverdienen könne. Die Nutzer müssen also auf das Versprechen vertrauen, dass Muse Werbung und Empfehlungen nicht miteinander vermischt. Wirklich nachprüfen lässt sich das aber nur schwer.

Dass sich subtile Werbung in KI-Chats lohnt, belegt eine Princeton-Studie. Wenn ein Chatbot aktiv für bestimmte Produkte wirbt, kommt es zu einem sprunghaften Anstieg der Kaufquote. Und nicht einmal jeder fünfte Teilnehmer merkt, dass er bei seiner Entscheidung beeinflusst wurde. Ein KI-Agent mit Zugriff auf Postfächer, Transaktionsverläufe und Kalender wäre vermutlich das wirksamste Werbeinstrument aller Zeiten.

Die zumindest auf dem Papier durchdachte Sicherheitsstruktur von Muse könnte sich als eine Art Nebelkerze entpuppen. Denn sie löst das kleinere von zwei Problemen: Angriffe von außen werden abgewehrt, doch wie der Betreiber seine kommerziellen Interessen durchsetzt, bleibt offen. Oder anders formuliert: Ein Unternehmen, das wegen Verstößen gegen den Datenschutz zweimal Strafen in Milliardenhöhe zahlen musste, will jetzt Zugang zu noch viel mehr Daten erlangen.

Stimmen

• Aus der Ankündigung von Meta: „Muse merkt sich, was einer Person wichtig ist, sodass es von sich aus Vorschläge machen und auf Details eingehen kann, die diese Person nur einmal erwähnt hat. Es kann ein Rezept-Reel, das die Person auf Instagram gespeichert hat, in eine Einkaufsliste umwandeln, ein Menü für ihre Dinnerparty vorschlagen und sich die Ernährungsgewohnheiten ihrer Freunde merken, bevor es die Einladungen verschickt. (…) Meta ist der Ansicht, dass persönliche Superintelligenz eine der bahnbrechendsten Technologien unserer Zeit sein wird. Muse ist ein erster Schritt in diese Richtung: ein Assistent, der einen Großteil der Arbeit übernimmt, damit sich die Menschen auf das konzentrieren können, was ihnen wichtig ist.“
• Alexandr Wang, Metas KI-Chef, über die Monetarisierungsmöglichkeiten von Muse: „Wir glauben, dass das E-Commerce-Geschäftsmodell für dieses Produkt potenziell sehr interessant ist, da es den Menschen ermöglicht, tatsächlich die Dinge zu finden, die sie begeistern, und letztendlich viele dieser Käufe zu tätigen.“ Laut CNBC prüfe der Konzern, ob und wie in Zukunft an den Einkäufen des KI-Agenten mitverdient werden könne. Entschieden habe Meta über diesen Schritt aber noch nicht.
• Nach dem verschobenen Launch spricht Metas Vishal Shah, der für die KI-Produkte des Unternehmens verantwortlich ist, über das Thema Sicherheit: „Man kann zwar nicht sagen, dass es niemals zu Fehlern kommen wird, aber jeder einzelne Bestandteil der Architektur wurde so konzipiert, dass sie so sicher, so geschützt und so privat ist, wie wir es nur irgendwie möglich machen können.“ Laut Reuters gibt es interne Unterlagen, die von ungeklärten Abstürzen und ohne Erlaubnis hochgeladenen sensiblen Daten berichten.

Zum Glück nicht in Europa?

In technischer Hinsicht scheint Muse ein ausgeklügeltes und ernstzunehmendes Produkt zu sein, das durch eine durchdachte Sicherheitsarchitektur abgesichert ist. Doch Metas Endgegner wird vermutlich nicht die Technik, sondern das Vertrauen der Konsumenten sein. Die Nutzerzahlen von Instagram, Facebook und WhatsApp mögen für sich sprechen, doch die Skepsis der Bevölkerung gegenüber Mark Zuckerberg und seinem Konzern hat in den letzten Jahren zugenommen.

Muse ist kein einfacher Messenger-Service und noch nicht einmal ein soziales Netzwerk, in dem man selbst entscheiden kann, was man mit der Welt teilen möchte. Muse verlangt direkten Zugang zu einer ganzen Reihe sensibler Daten, um richtig funktionieren zu können. Die entscheidende Frage ist also, ob genügend Nutzer bereit sind, gerade Meta diese anzuvertrauen.

Für uns Europäer stellt sich diese Frage aber vorerst nicht. Damit Muse den europäischen Datenschutzrichtlinien entspricht und auch bei uns erscheinen kann, muss Meta vermutlich noch einige Änderungen vornehmen. Immerhin ist noch für dieses Jahr eine Verschlüsselung angekündigt, durch die der Konzern die Daten der Nutzer nicht mehr einsehen kann.

Und selbst wenn es so weit ist, sollte man die Kaufempfehlungen des KI-Agenten mit Vorsicht genießen – oder sie direkt als Werbung betrachten.

Auch interessant: 

• KI-Pause aus Gewissensbissen? Wovor die Tech-Bosse wirklich Angst haben
• KI-Faulheit: Hilfe, ich habe das Denken verlernt!
• TUM-Studie zu E-Autos liefert Stoff für neue Emissions-Lügen
• EU knöpft sich ChatGPT vor: Was sich für Nutzer jetzt ändert

Der Beitrag Muse: Neuer KI-Agent von Meta ist scharf auf deine Geheimnisse – und dein Geld erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.

Intel-Chef Lip-Bu Tan hat angedeutet, dass mit weiteren Preisstei­gerungen bei Prozessoren und weiteren Produkten zu rechnen ist, weil das Unternehmen schlicht nicht über die Kapazitäten verfügt, die nötig wären, um die Nachfrage rund um CPUs zu bedienen. (Weiter lesen)

Das 3D-Druck-Tool Tripo3D hat eine Anbindung an den Bambu-Slicer, wie er etwa für den Bambu Lab A1 Mini verwendet wird. Über den Tab "3D-Druck" lässt sich die Druckdatei direkt an den 3D-Drucker weitergeben. (Weiter lesen)

Die KI-generierte YouTube-Serie No Big Deal verzichtet komplett auf menschliche Schauspieler. Zuschauer fällen jedoch ein vernichtendes Urteil über das Projekt. Die Komödie scheitert an leblosen Figuren und eklatanten Schnittfehlern. (Weiter lesen)

Google erweitert seine Modellfamilie um zwei neue KI-Assistenten. Gemini 3.8 Live und Extended Thinking sollen durch sofortige Sprachverarbeitung und gleichzeitiges Denken natürliche Dialoge ermöglichen sowie komplexe Aufgaben lösen. (Weiter lesen)

Microsoft veranstaltet im Oktober das erste große Windows-Event seit zwei Jahren. Im Mittelpunkt stehen unter anderem Nvidias RTX-Spark-Plattform, neue Surface-Geräte und die "Ära der lokalen KI". Aber was ist eigentlich mit Windows 12? (Weiter lesen)

KI-Pornografie führt in China zu Haftstrafen: Sechs Entwickler umgingen Sicherheitsfilter und machten daraus ein lukratives Geschäftsmodell.

Der Artikel KI-Pornografie: Jailbreak bringt sechs Entwickler ins Gefängnis erschien zuerst auf TARNKAPPE.INFO

Der Beitrag KI kann Jura, aber scheitert an einfachen Zahlen – das ist der Grund erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.

Ein Sprachmodell dichtet Sonette und besteht Jura-Examen. Doch sobald es geschäftliche Kennzahlen oder Liefermengen berechnen soll, erfindet es plausiblen Unsinn. Warum der Fehler nicht im Prompt, sondern in der Systemarchitektur liegt. Ein Gastbeitrag von Fabian Rang.

Künstliche Intelligenz kann programmieren, Verträge zusammenfassen und fotorealistische Videos generieren. Doch bitte mal ein modernes Sprachmodell darum, eine Rabattstaffel für 500 Artikel durchzurechnen oder die optimale Bestellmenge für ein Zentrallager zu kalkulieren. Das Ergebnis: Das Modell spuckt in Sekunden eine stilistisch brillante Antwort aus – mit frei erfundenen Zahlen.

Im privaten Bereich liefert das vielleicht ein nettes Meme auf Social Media. Wenn Unternehmen aber versuchen, Chatbots auf operative Planungs-, ERP- oder Finanzdaten zu setzen, wird daraus ein handfestes Millionenrisiko. Lieferketten geraten aus dem Takt, Lager laufen voll, Regale bleiben leer.

In Teilen der Tech-Szene herrscht immer noch der Glaube, man könne dieses Problem durch noch größere Modelle, besseres Prompting oder Vektordatenbanken lösen. Das ist ein fundamentaler Irrtum.

Wörter raten ist keine Mathematik

Um das Problem zu lösen, muss man sich klarmachen: Large Language Models (LLMs) sind probabilistische Textgeneratoren. Das heißt: Sie wurden darauf trainiert, auf Basis statistischer Wahrscheinlichkeiten das jeweils plausibelste nächste Wort vorherzusagen. Sie erzeugen Sprachmuster, keine logischen Schlüsse und erst recht keine mathematischen Wahrheiten.

Wenn ein LLM „2 + 2 = 4“ ausgibt, tut es das nicht, weil es addiert hat, sondern weil diese Zeichenfolge in seinen Trainingsdaten milliardenfach nach „2 + 2 =“ auftaucht. Das Modell behandelt Zahlen exakt wie Wörter: als Vokabeln.

Sobald Rechnungen komplexer werden oder domänenspezifische Wenn-Dann-Bedingungen greifen, versagt die statistische Textvorhersage. Das Modell weiß nicht, was eine Zahl bedeutet. Es weiß nur, wie eine Antwort klingen muss, damit sie menschlich wirkt. Das System halluziniert nicht aus Bosheit, sondern weil es genau das tut, wofür es gebaut wurde: plausible Texte zu fabrizieren.

Warum auch RAG beim Rechnen scheitert

Ein weit verbreiteter Reflex ist der Einsatz von Retrieval-Augmented Generation (RAG). Das Prinzip ist vergleichbar mit einer Open-Book-Prüfung. Bevor die KI antwortet, durchsucht sie Dokumente nach der passenden Textstelle. Das funktioniert perfekt für statische Wissensabfragen, zum Beispiel: „Wie lautet unsere Reiserichtlinie?“

Es versagt allerdings völlig bei dynamischen Optimierungsproblemen: Wie viele Paletten müssen wir für nächste Woche bestellen, wenn der Lieferant fünf Prozent Skonto gibt, unsere Lagerkapazität aber zu 85 Prozent ausgelastet ist?

Hier gibt es kein fertiges PDF, aus dem das Modell die Antwort kopieren könnte. Das Ergebnis muss mathematisch modelliert, simuliert und optimiert werden. Ein Sprachmodell mit RAG zu füttern, um operative Entscheidungen zu treffen, ist ungefähr so erfolgversprechend wie der Versuch, eine Tabellenkalkulation mit Microsoft Word nachzubauen.

Sprache strikt von Logik trennen

Ein Sprachmodell kann niemals alles auf einmal sein. Es ist eine fantastische Benutzeroberfläche für Sprache, aber ein sehr schlechtes Rechenwerkzeug. Die Lösung liegt deshalb in einer sauberen Drei-Schichten-Architektur:

1. Die Sprachebene (Interface): Das LLM agiert ausschließlich als Dolmetscher. Es nimmt die natürliche Frage des Menschen entgegen und übersetzt sie in strukturierte mathematische Abfragen und Parameter. Es rechnet zu keinem Zeitpunkt selbst.
2. Die Kontextebene (Context Layer): Hier liegt das semantische Betriebsmodell des Unternehmens. Diese Schicht stellt sicher, dass Kennzahlen, Restriktionen und Datenbeziehungen (z. B. aus dem ERP-System) exakt definiert sind. Hier werden Lücken identifiziert, bevor überhaupt gerechnet wird.
3. Die Rechenebene (Deterministische Engine): Die eigentliche Berechnung – Prognosen, nichtlineare Optimierungen, Szenarien – wird an deterministische Algorithmen und mathematische Solver übergeben. Keine Magie, sondern angewandte Mathematik.

Das Prinzip ist einfach: Das Sprachmodell bekommt das numerische Ergebnis erst zurückgespielt, wenn die Rechen-Engine fertig ist. Das LLM bettet die Zahl in die Antwort ein, darf sie aber nicht verändern. Damit sind Halluzinationen bei Zahlen architektonisch ausgeschlossen.

Mut zur Lücke: Warum gute KI-Systeme „Ich weiß es nicht“ sagen

Verlässlichkeit entsteht außerdem durch den transparenten Umgang mit Datenlücken. Ein System, das bei fehlenden Werten einfach ins Raten verfällt, ist im Betrieb brandgefährlich. Moderne Systeme müssen wissen, was sie nicht wissen.

Fehlen für eine Berechnung historische Daten oder widersprechen sich Quellen, darf die KI die Lücke nicht durch Extrapolation glattbügeln. Sie muss den Dialog suchen, zum Beispiel: „Für Produktgruppe Y fehlen die Aktionspreise für nächste Woche. Soll ich mit den Standardwerten rechnen oder ergänzt du die Daten selbst?“

Gleichzeitig gehören starre Punktprognosen der Vergangenheit an. Verlässliche KI arbeitet mit Wahrscheinlichkeitskorridoren und Konfidenzintervallen. Sie liefert also nicht eine einzige, vermeintlich exakte Zahl, sondern eine Bandbreite und die Eintrittswahrscheinlichkeit.

Fazit: Die Schicht darunter entscheidet

Der aktuelle Hype dreht sich fast nur um neue Basismodelle. Für den produktiven Einsatz in Unternehmen ist das Sprachmodell allerdings die am leichtesten austauschbare Komponente im Tech-Stack.

Die eigentliche Herausforderung liegt nicht darin, Modellen das Dichten beizubringen, sondern Systeme so zu bauen, dass Sprachebene und Rechenlogik strikt getrennt bleiben. Erst wenn wir aufhören, Sprachmodelle wie Taschenrechner zu behandeln, wird KI im Unternehmensalltag vom Spielzeug zur verlässlichen Infrastruktur.

---

Über den Autor: Fabian Rang 

Fabian Rang ist Mathematiker, Systemingenieur sowie Co-Founder und CTO des Heidelberger Decision-Intelligence-Unternehmens paretos. Vor der Gründung forschte er an Optimierungsalgorithmen, unter anderem in Kooperation mit dem Massachusetts Institute of Technology (MIT).

Der Beitrag KI kann Jura, aber scheitert an einfachen Zahlen – das ist der Grund erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.

Der Beitrag KI-Pause aus Gewissensbissen? Wovor die Tech-Bosse wirklich Angst haben erschien zuerst beim Online-Magazin BASIC thinking. Über unseren Newsletter UPDATE startest du jeden Morgen bestens informiert in den Tag.

Anthropic-Chef Dario Amodei fordert eine koordinierte Pause bei der Entwicklung leistungsfähiger KI-Modelle und bekommt dafür Zuspruch von OpenAI, Google und sogar Elon Musk. Ausgerechnet jetzt, nach einer Serie peinlicher Sicherheitsvorfälle und schwacher Geschäftszahlen, wollen die Tech-Bosse ihr Gewissen entdeckt haben. Warum hinter der KI-Pause vermutlich weniger Menschheitsschutz als Marktschutz steckt. Eine kommentierende Analyse.

Warum die Tech-Bosse eine KI-Pause fordern

• Die führenden KI-Unternehmen aus den USA sprechen sich aktuell dafür aus, das Entwicklungstempo bei besonders leistungsfähigen Modellen zu drosseln. Anthropic-Chef Dario Amodei schlug in einem Essay beispielsweise eine koordinierte KI-Pause vor. Sie soll der Branche ein bis zwei Jahre Zeit verschaffen, um Sicherheitsrisiken besser einschätzen und eindämmen zu können. Von der Konkurrenz um OpenAI, Google und xAI gab es binnen kürzester Zeit Zuspruch. Amodei warnt, dass KI-Agenten theoretisch innerhalb von sechs bis zwölf Monaten in der Lage seien, einen Großteil des Internets lahmzulegen und Schäden in dreistelliger Milliardenhöhe zu verursachen. Deshalb kündigte er konkrete Maßnahmen bei Anthropic an.
• Zuvor hatten mehrere namhafte KI-Anbieter binnen kürzester Zeit schwerwiegende Sicherheitsvorfälle eingeräumt. Anthropic machte den Anfang. Es folgten: OpenAI, Meta und das chinesische Unternehmen Moonshot AI. In allen Fällen soll eine KI aus einer Testumgebung ausgebrochen sein, sich mehr oder weniger verselbstständigt und im freien Internet eigenständig Aktionen ausgeführt haben. Ein KI-Agent von OpenAI hat sogar die Plattform Hugging Face gehackt, um seinen ursprünglichen Auftrag ausführen zu können. Dass gleich mehrere große KI-Anbieter unmittelbar nacheinander ähnliche Vorfälle eingestanden haben, scheint aber alles andere als Zufall zu sein. Zahlreiche Medien heizten den Hacker-Hype obendrein an.
• Laut einer aktuellen Umfrage würden 68 Prozent der US-Amerikaner ein Gesetz befürworten, das eine zwischenzeitliche Pause bei der KI-Entwicklung vorsieht. Das Umfrageinstitut Data for Progress hat dazu repräsentativ 1.332 Wahlberechtigte in den USA befragt. Konkret ging es dabei um einen entsprechenden Gesetzesentwurf von Bernie Sanders, Senator in Vermont, und dem demokratischen Abgeordneten Greg Casar. Auch in Deutschland zeichnet sich eine zunehmende Skepsis gegenüber KI ab. Immer mehr Menschen haben etwa den Eindruck, dass die Nachteile die Vorteile von KI überwiegen. 41 Prozent nutzen zwar regelmäßig künstliche Intelligenz. Mehr als 40 Prozent würden aber lieber in einer Welt ohne KI leben.

Sicherheitsrisiko oder PR-Kalkül?

Quasi im Wochenrhythmus wird KI aktuell mal als Heilsbringer und mal als existenzielle Bedrohung für die Menschheit befeuert. Dass die aktuellen Fortschritte tatsächlich etwas beängstigend wirken und rasend schnell vorangehen, lässt sich kaum wegdiskutieren. Das Problem ist aber weniger die Technologie selbst als ein verantwortungsvoller Umgang mit ihr.

Denn rund um den großen Hacker-Hype waren vor allem schlecht abgesicherte Testumgebungen oder fehlerhafte Zielvorgaben der Grund dafür, dass KI-Agenten ausbüchsen konnten. Hinzu kommen ein gewisses PR-Kalkül sowie klickgetriebener Alarmismus durch zahlreiche Medien.

Indes: KI kann zweifellos in vielen Fällen hilfreich sein – vor allem im Gesundheitsbereich, in der Forschung und in der Prozessautomatisierung. Doch es gibt auch Risiken, die eine Regulierung erfordern. Oft scheint es aber nur um die Frage zu gehen, was möglich ist und nicht darum, was sinnvoll ist. Nun wollen die Tech-Bosse also nach Jahren der KI-Peitsche ihr Gewissen wiederentdeckt haben?

Ich hege da so meine Zweifel. Warum? Einerseits, weil OpenAI zuletzt schwache Zahlen präsentiert hat – wieder einmal. Andererseits, weil Big AI offenbar einsieht, dass der Hacker-Hype rund um KI eher für Verunsicherung sorgt, als Investoren anzulocken, die mit Geldbündeln nur so um sich werfen. Stichwort: KI-Blase.

Oder: Bei der geforderten KI-Pause geht es vermutlich weniger um den bevorstehenden Weltuntergang als um das eigene Portemonnaie. Zumal eine gemeinsame Gewissensoffensive fast schon zu schön klingt, um wahr zu sein. Ist sie auch nicht! Sam Altman und Elon Musk sind so etwas wie Erzfeinde; OpenAI und Anthropic sind erbitterte Konkurrenten. Und nun wollen sich alle lieb haben und die Menschheit schützen? Mitnichten! Abermals geht es vielmehr um Eigeninteressen, aber dazu später mehr.

Was Sam Altman, Dario Amodei und Elon Musk sagen

• Anthropic-Chef Dario Amodei fordert in einem Beitrag auf X (ehemals Twitter): „Wir müssen das Tempo an der Grenze drosseln: Ich habe einen neuen Aufsatz darüber verfasst, warum die KI-Branche einen Gang zurückschalten sollte, und einen dreiteiligen Plan dafür vorgelegt. Anthropic verpflichtet sich einseitig zur Umsetzung des ersten dieser Schritte. Wir werden unabhängigen Gutachtern dauerhaften Zugriff auf unsere Systeme auf Mitarbeiterebene gewähren, damit sie die Einhaltung unserer Sicherheitsmaßnahmen überprüfen, Vorfälle melden und die Ausrichtung der Modelle während des Trainings bewerten können.“
• OpenAI-CEO Sam Altman kommentierte den Beitrag Amodeis: „Ich stimme Dario zu, dass wir die Entwicklung an der Grenze der Möglichkeiten dosieren müssen. Dies war in den letzten Wochen ein zentrales Thema unserer Diskussionen bei OpenAI. Die Verpflichtung, unabhängige Gutachter mit einem Zugang wie Mitarbeiter einzubeziehen, ist eine großartige Idee, und wir werden dies ebenfalls umsetzen. Wir werden bald mehr dazu mitteilen.“ Und sogar Elon Musk stimmte dem Vorschlag zu: „Dario hat recht.“
• KI-Experte Jacob Coxon sorgte bereits kurz zuvor für Schlagzeilen, nachdem er in einem Beitrag auf X (ehemals Twitter) warnte: „Ich habe heute bei Anthropic gekündigt. (…) Keines der beiden Unternehmen handelt verantwortungsbewusst. (…) Unterschätzt nicht die Leistungsfähigkeit dieser Technologie. Bald wird es übermenschliche Systeme geben, die alles hacken, jeden Bereich über Nacht revolutionieren und echte Macht und Ressourcen an sich reißen können. Die Menschen, die KI entwickeln, sind fest davon überzeugt, dass sie uns alle bis zum Ende dieses Jahrzehnts auslöschen könnte. Das ist kein Marketing-Gag.“

Warum sich trotz KI-Pause nur wenig ändern dürfte

Trotz immer lauter werdender Forderungen nach einer KI-Pause dürfte sich regulatorisch zunächst wenig ändern. Die USA wollen den KI-Wettstreit mit China nämlich unbedingt gewinnen, während Peking auf Maßnahmen pfeift und bislang kaum Anstalten macht, sich selbst auszubremsen. Oder: Um die Risiken von KI einzudämmen, bräuchte es einheitliche und globale Regeln, die es leider nie geben wird.

Denn sobald einer pausiert, eilt die Konkurrenz davon. Die Trump-Administration hat sich allen Risiken zum Trotz gegen eine KI-Regulierung ausgesprochen. US-Verteidigungsminister Pete Hegseth teilte etwa mit, dass KI im Pentagon nicht zu „tödlichen Entscheidungen“ beitrage. Wie beruhigend, dass die Entscheidungen immer noch Trump trifft. Nicht! Doch nun will sich Big AI selbst regulieren?

Dass ausgebüchste KI-Agenten und selbstständige Hacker-Ausflüge weniger gut angekommen sind als gedacht, hat man offenbar gemerkt. Denn wenn eine PR-Kampagne plötzlich mehr Verunsicherung als Begeisterung erzeugt, entsteht aus einem vermeintlichen Beweis technologischer Stärke schnell ein Reputationsproblem. Die Sicherheitsdebatte könnte deshalb auch ein Versuch sein, den misslungenen Hacker-Hype wieder einzudämmen. Oder weiter zu befeuern?

Indes: Bei der Frage nach dem tatsächlichen KI-Risiko sollte eigentlich niemand die Glaskugel befragen. Die oft postulierte zehnprozentige Wahrscheinlichkeit einer Auslöschung der Menschheit ist ebenso mit Vorsicht zu genießen wie die Gegenposition, die Gefahr liege bei null oder sei reine Marketing-Taktik. Die Wahrheit liegt vielmehr irgendwo dazwischen.

Zumal Forscher betonen, dass eine solche Prozentzahl scheinbar präzise sei, obwohl es schlicht kein Verfahren gibt, diese Wahrscheinlichkeit seriös zu berechnen. Big AI tritt derweil mehr oder weniger geschlossen auf die Bremse, weil man es kann. Denn OpenAI, Anthropic oder Google können sich strenge Sicherheitsmechanismen aufgrund ihrer Mittel und Infrastrukturen leisten, auch um kleinere Unternehmen, die das nicht können, vom Markt fernzuhalten. Außerdem wollen sie ihre Dominanz festigen und den eigenen Vorsprung durch eine Pause nicht der Konkurrenz preisgeben.

Auch interessant:

• KI-Faulheit: Hilfe, ich habe das Denken verlernt!
• TUM-Studie zu E-Autos liefert Stoff für neue Emissions-Lügen
• EU knöpft sich ChatGPT vor: Was sich für Nutzer jetzt ändert
• KI außer Kontrolle? Das große Medienversagen hinter dem Hacker-Hype

Der Beitrag KI-Pause aus Gewissensbissen? Wovor die Tech-Bosse wirklich Angst haben erschien zuerst auf BASIC thinking. Folge uns auch auf Google News und Flipboard oder abonniere unseren Newsletter UPDATE.

Mit dem Update auf iOS 27 führt Apple das KI-Werkzeug Spatial Reframing ein, das eigentlich nur den Blickwinkel von Fotos nachträglich ändern soll. Doch das Tool arbeitet nicht fehlerfrei und halluziniert teilweise völlig fremde Menschen in private Aufnahmen. (Weiter lesen)