Das ist peinlich: Warum KI an der Spitze immer noch Dinge erfindet – und was man dagegen tun kann

Das ist peinlich: Warum moderne KI immer noch Dinge erfindet – und was man dagegen tun kann

Anfang 2025 reichte eine Anwaltskanzlei ein Schriftsatz ein, der nicht existierende Gerichtsurteile zitierte – halluziniert von einem großen Sprachmodell. Ein Tech-CEO zitierte selbstbewusst eine Statistik aus einer "aktuellen Studie", die es nie gab. Das sind keine Randfälle; sie sind der tägliche Alltag bei der Arbeit mit moderner KI. Trotz atemberaubender Fortschritte in den Bereichen Logik, Programmierung und kreativem Schreiben erfinden die leistungsfähigsten Modelle immer noch mit entwaffnender Selbstsicherheit Informationen. Das ist peinlich, es ist riskant, und es ist das größte einzelne Hindernis für den Einsatz von KI in sicherheitskritischen Umgebungen.

Dieser Artikel untersucht, warum Halluzinationen bei modernen Modellen bestehen bleiben, und bietet dann eine praktische, schrittweise Anleitung, um sie in Ihren eigenen Anwendungen zu reduzieren.

Die Anatomie einer Halluzination

Halluzination ist kein Fehler; sie ist eine Eigenschaft der Funktionsweise großer Sprachmodelle (LLMs). Diese Modelle werden darauf trainiert, das nächste Token (Wort oder Unterwort) basierend auf riesigen Textdatensätzen vorherzusagen. Sie haben keine interne Datenbank mit "wahren Fakten". Stattdessen lernen sie statistische Muster: Auf "Die Hauptstadt von Frankreich ist" folgt überwältigend häufig "Paris". Aber wenn eine Frage selten oder mehrdeutig ist, kann die Vorhersage des nächsten Tokens des Modells in plausibel klingenden Unsinn abgleiten.

Moderne Modelle – von OpenAI, Google und Microsoft – sind um Größenordnungen größer und trainierter als ihre Vorgänger. Dennoch halluzinieren sie immer noch. Die Gründe liegen in drei Kernbeschränkungen:

1. **Keine Verankerung in der Realität**: Das Modell "weiß" nicht, dass es falsch liegt. Es hat keinen Sensor für Wahrheit, sondern nur für sprachliche Plausibilität. 2. **Lücken in den Trainingsdaten**: Wenn eine Tatsache in den Trainingsdaten selten oder widersprüchlich vorkommt, kann das Modell eine selbstbewusste, aber falsche Antwort generieren. 3. **Übermäßiges Selbstvertrauen bei der Generierung**: Reinforcement Learning from Human Feedback (RLHF) belohnt oft hilfreiche, selbstbewusst klingende Antworten gegenüber vorsichtigen "Ich weiß es nicht"-Antworten.

Warum moderne KI immer noch Dinge erfindet

Aktuelle Analysen von Quellen wie *Towards Data Science* zeigen, dass selbst die fortschrittlichsten Modelle (GPT-4, Gemini, Claude) je nach Bereich mit einer Rate zwischen 3 % und 27 % halluzinieren. Eine Studie aus dem Jahr 2024 mit dem "TruthfulQA"-Benchmark zeigte, dass moderne Modelle immer noch bei Fragen versagen, die präzise, eindeutige Fakten erfordern – insbesondere in Nischenbereichen der Wissenschaft oder des Rechts.

OpenAI selbst räumt in seiner Forschung ein, dass "Modelle Fakten erfinden können, besonders wenn man sie nach obskuren Themen fragt oder wenn man sie auffordert, kreative Inhalte zu generieren." Der Google AI Blog hat "Retrieval-Augmented Generation" als Abmilderungsstrategie diskutiert, stellt aber fest, dass keine Methode Halluzinationen vollständig beseitigt. Der Microsoft AI Blog betont, dass "Halluzination ein aktives Forschungsproblem ist", für das es keine vollständige Lösung in Sicht gibt.

Das Kernproblem: Diese Modelle sind brillant in der Vervollständigung von Mustern, aber schrecklich in der Überprüfung von Wahrheiten. Sie werden selbstbewusst ein Buch beschreiben, das es nicht gibt, eine wissenschaftliche Arbeit, die nie geschrieben wurde, oder ein historisches Ereignis, das nie stattgefunden hat.

Praktische Abmilderung: Eine Schritt-für-Schritt-Anleitung

Obwohl wir Halluzinationen nicht beseitigen können, können wir ihre Auswirkungen drastisch reduzieren. Der effektivste Ansatz ist die **Retrieval-Augmented Generation (RAG)** – das Modell wird mit relevanten, verifizierten Informationen aus einer externen Quelle gefüttert, bevor es eine Antwort generiert. Nachfolgend finden Sie eine konkrete Implementierung mit Open-Source-Tools.

Voraussetzungen

• Python 3.10 oder höher
• Eine laufende Instanz einer Vektordatenbank (wir verwenden ChromaDB, das lokal läuft)
• Ein API-Schlüssel für ein modernes LLM (z. B. OpenAI, Anthropic oder ein lokales Modell über Ollama)
• Grundlegende Vertrautheit mit der Kommandozeile

Schritt-für-Schritt-Installation

#### 1. Richten Sie eine virtuelle Umgebung ein

Isolieren Sie Ihre Abhängigkeiten, um Konflikte zu vermeiden.

python -m venv rag_env
source rag_env/bin/activate  # Unter Windows: rag_env\Scripts\activate

#### 2. Installieren Sie die erforderlichen Pakete

Wir benötigen `chromadb` für die Vektorspeicherung, `langchain` für die Orchestrierung und `openai` für das LLM.

pip install chromadb langchain langchain-openai openai tiktoken

*Erklärung: `chromadb` speichert Dokumenteinbettungen; `langchain` vereinfacht die RAG-Pipeline; `openai` stellt die LLM-Schnittstelle bereit.*

#### 3. Legen Sie Ihren API-Schlüssel fest

Speichern Sie Ihren OpenAI-API-Schlüssel als Umgebungsvariable (aus Sicherheitsgründen empfohlen).

export OPENAI_API_KEY="ihr-api-schluessel-hier"

*Erklärung: Dadurch wird der Schlüssel für Ihr Python-Skript verfügbar, ohne ihn fest im Code zu codieren.*

Aufbau des RAG-Systems

Erstellen Sie eine Datei mit dem Namen `rag_halluzinations_schutz.py` und fügen Sie den folgenden Code hinzu.

#### 4. Initialisieren Sie den Vektorspeicher

import chromadb
from chromadb.config import Settings

# ChromaDB mit persistentem Speicher initialisieren
chroma_client = chromadb.PersistentClient(path="./chroma_db")
collection = chroma_client.get_or_create_collection(name="wissensbasis")

*Erklärung: Dies erstellt eine persistente Vektordatenbank auf der Festplatte, sodass Ihre Dokumente Neustarts überstehen.*

#### 5. Dokumente laden und einbetten

Für dieses Beispiel verwenden wir eine kleine Menge verifizierter Fakten. In der Produktion würden Sie Ihre eigenen vertrauenswürdigen Dokumente laden (z. B. interne Wikis, Produkthandbücher, Rechtstexte).

from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_openai import OpenAIEmbeddings

# Beispielhafte verifizierte Fakten (in der Produktion aus Dateien laden)
dokumente = [
    "Die Hauptstadt von Frankreich ist Paris. Sie liegt in der Region Île-de-France.",
    "Der Eiffelturm wurde 1889 fertiggestellt und ist 330 Meter hoch.",
    "Die Französische Revolution begann 1789 und endete 1799.",
    # Fügen Sie hier weitere verifizierte Dokumente hinzu
]

# Dokumente in Abschnitte aufteilen
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
abschnitte = text_splitter.create_documents(dokumente)

# Einbettungen generieren und in ChromaDB speichern
embeddings = OpenAIEmbeddings()
for i, abschnitt in enumerate(abschnitte):
    emb = embeddings.embed_query(abschnitt.page_content)
    collection.add(
        ids=[f"dok_{i}"],
        embeddings=[emb],
        documents=[abschnitt.page_content]
    )
print(f"{len(abschnitte)} Dokumentabschnitte gespeichert.")

*Erklärung: Wir teilen lange Dokumente in kleinere Abschnitte auf, betten jeden Abschnitt in einen Vektor ein und speichern ihn in der Datenbank.*

#### 6. Abfrage mit Abruf und Generierung

Wenn ein Benutzer nun eine Frage stellt, rufen wir zuerst die relevantesten Abschnitte aus unserer vertrauenswürdigen Datenbank ab und bitten dann das LLM, *nur basierend auf diesem Kontext* zu antworten.

from langchain_openai import ChatOpenAI
from langchain.prompts import ChatPromptTemplate

# LLM initialisieren
llm = ChatOpenAI(model="gpt-4", temperature=0)  # Niedrige Temperatur reduziert Kreativität

# Strenge Prompt-Vorlage definieren
vorlage = """Sie sind ein hilfreicher Assistent. Beantworten Sie die Frage NUR mit den Informationen, die im untenstehenden Kontext bereitgestellt werden. Wenn der Kontext die Antwort nicht enthält, sagen Sie "Ich habe diese Information nicht." Erfinden Sie keine Fakten.

Kontext:
{kontext}

Frage: {frage}

Antwort (nur basierend auf dem Kontext):"""

prompt = ChatPromptTemplate.from_template(vorlage)

def frage_mit_rag(frage: str) -> str:
    # Relevante Dokumente abrufen
    query_emb = embeddings.embed_query(frage)
    ergebnisse = collection.query(query_embeddings=[query_emb], n_results=3)
    
    # Kontext aus den abgerufenen Dokumenten extrahieren
    kontext = "\n".join(ergebnisse["documents"][0]) if ergebnisse["documents"] else "Kein relevanter Kontext gefunden."
    
    # Antwort mit dem LLM und strengen Anweisungen generieren
    nachrichten = prompt.format_messages(kontext=kontext, frage=frage)
    antwort = llm.invoke(nachrichten)
    return antwort.content

# Beispielverwendung
print(frage_mit_rag("Was ist die Hauptstadt von Frankreich?"))
# Ausgabe: Paris (aus dem Kontext)
print(frage_mit_rag("Was ist die Lichtgeschwindigkeit?"))
# Ausgabe: Ich habe diese Information nicht.

*Erklärung: Das LLM wird gezwungen, seine Antwort auf den abgerufenen Kontext zu stützen. Wenn der Kontext die Antwort nicht enthält, wird das Modell angewiesen, Unwissenheit einzugestehen, anstatt zu halluzinieren.*

Anwendungsbeispiele

Testen wir das System mit einigen Abfragen.

# Beispiel 1: In unserer Wissensdatenbank vorhandene Tatsache
print(frage_mit_rag("Wann wurde der Eiffelturm fertiggestellt?"))
# Ausgabe: Der Eiffelturm wurde 1889 fertiggestellt.

# Beispiel 2: Nicht vorhandene Tatsache
print(frage_mit_rag("Wer hat das Penicillin entdeckt?"))
# Ausgabe: Ich habe diese Information nicht.

# Beispiel 3: Mehrdeutige Abfrage
print(frage_mit_rag("Erzählen Sie mir von der Französischen Revolution."))
# Ausgabe: Die Französische Revolution begann 1789 und endete 1799.

Beachten Sie, dass das Modell **keine** Details über die Ursachen oder Schlüsselfiguren der Französischen Revolution erfindet – es wiederholt nur, was im Kontext stand.

Fortgeschrittene Techniken

RAG ist leistungsstark, aber nicht perfekt. Für eine höhere Zuverlässigkeit kombinieren Sie es mit:

• **Konfidenzschwellen**: Legen Sie einen Mindestähnlichkeitswert für abgerufene Dokumente fest. Wenn kein Abschnitt über 0,8 liegt, verweigern Sie die Antwort.
• **Selbstüberprüfungs-Prompts**: Bitten Sie das Modell, seine eigene Ausgabe anhand des Kontexts zu überprüfen (z. B. "Überprüfen Sie, ob die Antwort direkt durch den Kontext gestützt wird").
• **Mehrere Abrufquellen**: Verwenden Sie separate Vektorspeicher für verschiedene Bereiche (z. B. Recht, Medizin), um bereichsübergreifende Halluzinationen zu vermeiden.

Der Weg nach vorne

Die Forschung zur Abschwächung von Halluzinationen beschleunigt sich. Der Google AI Blog stellt fest, dass "zukünftige Modelle eine Echtzeit-Faktenprüfung gegen vertrauenswürdige Datenbanken integrieren könnten." Der Microsoft AI Blog erforscht "Verstärkungslernen aus KI-Feedback", bei dem Modelle trainiert werden, ihre eigenen Halluzinationen zu erkennen. OpenAI verfeinert RLHF weiter, um selbstbewusste Falschaussagen zu bestrafen.

Aber bis diese Fortschritte eintreffen, ist die zuverlässigste Verteidigung ein gut konzipiertes RAG-System in Kombination mit strengem Prompt-Engineering. Halluzination wird eine Peinlichkeit für moderne KI bleiben – aber mit den richtigen Werkzeugen muss sie keine Katastrophe für Ihre Anwendung sein.

Fazit

Moderne KI-Modelle halluzinieren, weil sie Vorhersager des nächsten Tokens sind, keine Wahrheitsprüfer. Ihre statistische Natur, kombiniert mit Lücken in den Trainingsdaten und übermäßigem Selbstvertrauen, stellt sicher, dass selbst die intelligentesten Modelle gelegentlich Dinge erfinden. Die Lösung besteht nicht darin, dem internen Wissen des Modells zu vertrauen, sondern es in externen, verifizierten Daten zu verankern. Durch die Implementierung einer RAG-Pipeline mit sorgfältigem Prompt-Engineering können Sie die Halluzinationsrate in vielen praktischen Szenarien auf nahezu Null reduzieren. Die Werkzeuge sind heute verfügbar – das Einzige, was fehlt, ist die Disziplin, sie einzusetzen.