AI Myths: Warum KI nicht bei jeder Interaktion "lernt"

Hartnäckige Mythen prägen die öffentliche Wahrnehmung von ChatGPT und ähnlichen Systemen. Einer der verbreitetsten: “Diese KI lernt ständig mit, bei jeder Interaktion.” Zugegeben, dieser Mythos ist einer der harmloseren, trotzdem führt diese Annahme führt zu falschen Erwartungen gegenüber der Technologie.

Der Mythos, dass KI-Systeme generell und immer jeder Interaktion besser werden wird vermutlich durch Marketing-Sprache anderer KI-Produkte genährt. Viele Anbieter werben mit Slogans wie “Our AI product gets better the more you use it” - was technisch durchaus möglich ist (siehe unten), aber oft nicht die Ursache in “lernen” hat.

Letzte Woche habe ich in einem Workshop diesen Mythos aufgegriffen. Dabei wurde schnell klar, wie wichtig es ist zu verstehen, was “Lernen” bei Large Language Models (LLMs) technisch bedeutet:

Die technische Bedeutung von “Learning”

Die Milliarden von Parametern (Weights) in neuronalen Netzen müssen durch komplexe mathematische Verfahren wie Gradient Descent neu berechnet werden. Das erfordert riesige Datenmengen, tausende von GPUs und kostet Millionen - ein Prozess, der Wochen oder Monate dauert.

Die Dimensionen verdeutlichen das Problem: ChatGPT hat schätzungsweise über 200 Millionen monatliche Nutzer. Würde das Modell bei jeder Interaktion neu trainiert, müsste OpenAI täglich Millionen von Trainingsläufen starten - technisch und wirtschaftlich unmöglich. Wir als Nutzer interagieren nur mit der fertigen “Inference”-Phase, wo das Modell Antworten generiert, aber nicht mehr lernt. Das wäre, als würde sich ein Buch jedes Mal neu schreiben, wenn jemand es liest.

Die Verwirrung mit dem Lernen entsteht durch verschiedene Ebenen, die oft vermischt werden:

Training mit Benutzungsdaten

Benutzungsdaten fließen durchaus in das Training neuer Modelle ein - aber mit einem Zeitversatz und die Firmen sind sehr intransparent darüber, wie genau die Benutzerdaten für das Training eingesetzt werden – sehr wahrscheinlich wird es im Bereich Reinforcement Learning with Human Feedback eingesetzt. Wenn OpenAI ein neues GPT-Modell trainiert, können daher durchaus Chat-Verläufe aus den letzten Monaten einbezogen werden. Das ist aber ein separater, aufwendiger Trainingsprozess für ein komplett neues Modell, nicht das “Mitlernen” während der Unterhaltung.

Memory

Das “Memory”-Feature von ChatGPT verstärkt diese Verwirrung zusätzlich. Wenn der Chatbot sich an frühere Gespräche “erinnert”, wirkt das wie Lernen. Technisch handelt es sich aber um eine separate Datenspeicherung - wichtige Informationen aus vergangenen Chats werden gespeichert und bei neuen Unterhaltungen wieder abgerufen. Die eigentlichen Parameter des Modells bleiben dabei unverändert, es ist eher wie ein digitales Notizbuch, das parallel zum Modell geführt wird.

In Context Learning

Und dann wäre dann auch noch “In Context Learning” (ICL) zu erwähnen. Das beschreibt die Fähigkeit von LLMS, während der Interaktion (Inference) mit einem Nutzer aus Informationen, die im Prompt enthalten sind (Kontext) temporär zu “lernen”. Dadurch kann es spezifische Aufgabenstellungen lösen, für die es nicht konkret trainiert wurde. Das beste Beispiel ist Übersetzung: Der Prompt ist: “Translate English to French: ‘hello’ -> ‘bonjour’, ‘goodbye’ -> ‘au revoir’, ‘thank you’ ->”. Und das Model reagiert mit: “merci”. Aber auch hier werden die Parameter des Models nicht geändert, also auch kein “Lernen” im technischen Sinne.

Online Learning

Fairerweise muss erwähnt werden: Es gibt durchaus ML-Systeme, die kontinuierlich lernen. “Online Learning” ist eine etablierte Technik, bei der Modelle ihre Parameter tatsächlich mit jeder neuen Dateneingabe anpassen. Netflix-Empfehlungen werden beispielsweise ständig verfeinert, basierend auf dem aktuellen Nutzerverhalten. Auch Betrugserkennung bei Kreditkarten funktioniert so - neue Betrugsmuster müssen sofort erkannt werden. Für Large Language Models wie ChatGPT ist diese Technik jedoch nicht praktikabel: Die schiere Größe und Komplexität würde jeden kontinuierlichen Lernprozess prohibitiv teuer und technisch instabil machen.

Fazit

Was mich bei meinem Workshop am meisten faszinierte: Wie schnell uns bewusst wurde, wie mehrdeutig unsere Sprache ist. “Lernen” bedeutet für Menschen etwas anderes als im Machine Learning Kontext. Diese Mehrdeutigkeit erschwert den Diskurs über Sprachmodelle erheblich.

Wie können wir technische Konzepte verständlicher erklären, ohne dabei wichtige Nuancen zu verlieren?