Halluzinationen: KI gibt falsche Antworten – obwohl sie die richtigen "weiß"

Falsche Antworten sind bei KI-Systemen bisher nicht unbedingt verwunderlich. Doch eine neue Studie zeigt nun, dass diese sogenannten Halluzinationen vorkommen, obwohl die KI-Systeme die richtigen Antworten wissen.

Halluzinationen sind ein für KI-Systeme bekanntes Problem. Damit bezeichnen Expert:innen falsche Antworten, die jedoch absolut überzeugend formuliert sind. Auch die Schwierigkeit der Frage spielt dabei keine Rolle, da Halluzinationen von KI-Systemen auch bei teilweise sehr einfachen Fragen vorkommen können.

Doch eine neue Studie zeigt nun, dass diese falschen Antworten nicht daher rühren, dass das jeweilige KI-System die Antwort nicht weiß. Denn meist ist dem KI-System die richtige Antwort durchaus bekannt.

Neue Stellenangebote

		Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice
		HR-Marketing-Experte Social Media und Ausbildungsmessen (m/w/d) Aurubis AG in Hamburg
		Mitarbeiter (m/w/d) Social Media Continentale Krankenversicherung a.G. in Dortmund

Alle Stellenanzeigen

Warum liefern KI-Systeme falsche Antworten?

Forschende vom Technion, dem Technologischen Institut für Israel, haben sich mit Halluzinationen von KI-Systemen beschäftigt. Dafür haben sie sich die Funktionsweise von KI-Systemen genauer angeschaut. An der Studie beteiligt waren unter anderem auch Google und Apple.

Die Studie trägt den Titel „LLMs wissen mehr, als sie zeigen“ und beschäftigt sich mit der „intrinsischen Darstellung von LLM-Halluzinationen“. Zu diesen Halluzinationen von KI-Systemen zählen laut den Forschenden unter anderem „sachliche Ungenauigkeiten, Verzerrungen und Denkfehler“.

Bei der Untersuchung sei den Forschenden „eine Diskrepanz zwischen der internen Kodierung und dem externen Verhalten“ von großen Sprachmodellen aufgefallen. Das bedeutet, dass die Systeme zwar die richtige Antwort kodieren, jedoch nach außen hin eine falsche Antwort erzeugen.

Antwort-Tokens enthalten die richtigen Informationen

Wie The Decoder berichtet, haben die Wissenschaftler:innen für ihre Untersuchung eine neue Methode entwickelt. Ziel war es, das „Innenleben“ von KI-Systemen besser untersuchen zu können.

Ihr Fokus lag dabei auf den sogenannten „exakten Antwort-Tokens“. Damit ist der Teil einer Antwort gemeint, der auch die tatsächliche Information enthält.

Große Sprachmodelle sind darauf trainiert, nicht nur die eigentliche Antwort zu nennen, sondern im ganzen Satz zu antworten. Bei der Frage nach der Hauptstadt Deutschlands wäre in einem ganzen Satz also das Wort „Berlin“ das exakte Antwort-Token.

Und in genau diesen Tokens befinden sich laut den Forschenden die Informationen darüber, ob eine Antwort richtig oder falsch ist. Dabei zeigte sich das überraschende Ergebnis der Untersuchung: Denn oft „wussten“ die KI-Systeme die richtige Antwort, haben diese jedoch nicht erteilt.

Sie können die richtige Antwort kodieren, aber durchweg eine falsche Antwort erzeugen.

Mit ihren Forschungsergebnissen konnten die Wissenschaftler:innen das Verständnis für Fehler bei KI-Systemen vertiefen. Dieses Wissen könnte nun dazu dienen, Fehleranalyse und -vermeidung deutlich zu verbessern.

Auch interessant:

Neue Stellenangebote

		Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice
		Social Media Manager:in (m/w/d) SCHULZ Systemtechnik GmbH in Visbek (zwischen Cloppenburg und Vechta)
		Social Media Manager (m/w/d) Pronova BKK in Leverkusen
		(Senior) Social Media Manager (m/w/d) Rödl Rechtsanwälte Steuerberater Wirtschaftsprüfer Unternehmens- und IT-Berater in Nürnberg
		(Senior) Manager (w/m/d) Social Media B. Braun Melsungen AG in Melsungen
		Junior Social Media Manager:in (m/w/d KWL GmbH in Lübeck
		Social Media Manager (m/w/d) – Zielgruppe Pflege (Teilzeit oder Vollzeit) Dr. Ausbüttel & Co. GmbH in Dortmund
		Performance and Social Media Manager (m/w/d) WHU - Otto Beisheim School of Management in Vallendar