Generative KI: Chatten mit einem Large Language Model?

Wie im ersten Blogbeitrag bereits ausgeführt, gibt es keine eine „Künstliche Intelligenz“ (KI), sondern ziemlich viele verschiedene Technologien, die man geschickt als solche bezeichnet hat. Nun ist es aber ja irgendwie doch so, dass wir uns auf unseren Smartphones und Computern diverse „KI“s eingefangen haben: Viele benutzen privat oder auf der Arbeit schon ChatGPT, Claude oder Gemini – alles „Chatbots“, die auf sogenannten Large Language Model (LLM) beruhen.^[1] Und sicherlich haben viele bereits erste Erfahrungen mit diesen Anwendungen gesammelt. Die Ergebnisse dieser Interaktion reichen vermutlich von faszinierend (Der Text klingt aber gut!), über ein bisschen besorgniserregend (Wird das Ding in Zukunft meinen Job übernehmen?) bis hin zu ernüchternd (Bis die KI etwas ausgibt, dass ich wirklich brauchen kann, hab‘ ich das zehnmal selbst gemacht.).

Zahl statt Text: Wie der Prompt umgewandelt wird

Computer – und auch Chatbots wie Gemini oder ChatGPT sind letzten Endes einfach Computeranwendungen – operieren nicht über eine menschliche gesprochene oder schriftliche Sprache. Computer sind Rechenmaschinen. Sie führen Rechenprozesse mit technischen Schaltkreisen aus. Damit Gemini also mit unserer Eingabe rechnen kann, muss unser Text in Zahlen umgewandelt werden.

Dieser Prozess heißt Tokenisierung und bedeutet, dass die eingegebenen Sätze zunächst in Bruchstücke zerlegt werden, um dann in Zahlen übersetzt zu werden. Die Bruchstücke, sogenannte Tokens, können einzelne Wörter aber auch Wortfetzen, mehrere zusammenhängende Buchstaben oder einzelne Satzzeichen sein. 

Wie genau zerlegt wird, entscheidet ein mathematisches Verfahren (der Tokenisierungs-Algorithmus). Vereinfacht gesagt werden dabei große Textmengen eingelesen und ausgewertet: Es wird in vielen tausend Wiederholungen ausgezählt, welche Zeichenkombinationen in einem Textkorpus am häufigsten aufeinander folgen. In deutschen Texten folgen zum Beispiel die Konsonanten „p“ und „f“ häufiger aufeinander als in vielen anderen Sprachen, sie könnten ein Token [pf] begründen. Solche Einheiten, die statistisch oft zusammengehören, werden am Ende in ein festes Lexikon überführt – eine Datenbank aus Wortbausteinen bzw. Tokens. Jedes Token hat dabei eine eigene Kennzahl, bzw. Adresse, die Token-ID.

Die Art und Weise, wie unser Satz zerlegt wird, ist bei den verschiedenen KI-Modellen unterschiedlich; so zerlegt etwa ChatGPT anders als Gemini. Das liegt daran, dass jedes Modell auf der Grundlage von vielen tausenden bis Milliarden Texten errechnet hat, welche Wortbausteine am effizientesten sind. Da sich die Textgrundlagen unterscheiden, unterscheiden sich auch die Ergebnisse dieser Berechnung. Während einige Unternehmen anbieten, ihre Token-Listen einzusehen, bekommen wir als Anwender*innen wenig von diesem Prozess mit. Die Nutzeroberfläche übersetzt uns alles wieder in Text.

Zurück zum Rezept. Soll das Modell unseren Prompt bearbeiten, muss er also zerlegt und mit Hilfe der Token-Liste übersetzt werden. Das könnte dann etwa so aussehen:

„Gemini, gib mir ein Rezept für Baumkuchen.“

Damit haben wir eine Liste von Zahlen, aber noch kein Baumkuchenrezept. Bevor uns Gemini eine Antwort geben kann, müssen diese Zahlenfolgen im nächsten Schritt irgendwie einer Bedeutung zugeordnet werden. Allerdings haben wir ihnen ja jede kulturell vereinbarte, menschliche Bedeutung genommen, indem wir sie in Zahlen übertragen haben. Keine und keiner von uns würde die Liste der IDs als die Bitte um ein Rezept verstehen. Das Modell muss also „Bedeutung“ auf der Grundlage seiner Beispieldaten herstellen.

Statistische Nachbarschaft: Warum der „Kontext“ wichtig ist

Bedeutungszuschreibung im eben formulierten menschlichen Sinne passiert auch hier nicht. Denn erneut handelt es sich um Rechenprozesse. Hinter diesen steht die Idee, dass sich Bedeutung von Wörtern aus dem „Kontext“ ergibt. Der Kontext ist hier metaphorisch gemeint: Eigentlich geht es darum, wie oft ein Wort oder Token in einem Text vorkommt, wie oft es gemeinsam oder getrennt von anderen Tokens oder Worten vorkommt, und wo im Text es vorkommt. Genauer gesagt ist die solchen Modellen zugrundeliegende Hypothese also, dass sich „Bedeutung“ durch die statistische Nachbarschaft der Tokens bemessen lässt.

Vektorisierung: Wie der Prompt „Bedeutung“ erhält

Wie aber entsteht das Koordinatensystem und wie werden Tokens in diesem Bedeutungsraum platziert? Den Token-IDs unseres Prompts werden – vereinfacht gesagt – vorläufige Koordinaten in diesem riesigen Koordinatensystem zugeordnet. Diese Zuweisung basiert auf einer ebenso großen Tabelle, die während des Trainings des KI-Modells erstellt wurde.

Das heißt, bevor wir Gemini benutzen, wird das Modell so trainiert, dass ein Koordinatensystem mitsamt den Bedeutungsvektoren für die IDs entsteht.^[3] Wie gesagt, hat das Koordinatensystem mehre tausend Dimensionen. Die Werte dieser Dimensionen werden im Training zunächst geraten. Das Modell testet diese Werte, in dem auf der Grundlage der (geratenen) Vektoren das Wort berechnet, das mit einer gewissen Wahrscheinlichkeit auf ein gegebenes folgt. Zu Beginn des Trainings wird hierbei vermutlich Quatsch entstehen – auf das Wort [Re][zept] könnte das Modell beispielsweise [Plus][quam][perfekt] folgen lassen. Dieses Ergebnis wird jedoch mit den vorher tokenisierten Trainingstexten verglichen. Weil hier die Wahrscheinlichkeit enorm gering ist, dass auf [Re][zept] ein [Plus][quam][perfekt] folgt, verändert das Modell sowohl die Werte in den Bedeutungsvektoren als auch seine internen Rechenregeln ein wenig. Mit diesen Anpassungen verarbeitet es dann die nächsten Trainingstexte.^[4] In diesem Prozess nähert sich das Modell Schritt für Schritt den Ergebnissen an, die die echten Trainingstexte aufzeigen. Ein Problem, das hierbei entsteht, ist die Kodierung von diskriminierenden Verhältnissen, die dann ungesehen in die Texte eingehen. Beispielsweise kommt es oft vor, dass Tokens, die mit Macht verbunden sind, im Vektorraum näher an solchen liegen, die tendenziell mit einem männlichen Geschlecht assoziiert werden.^[5]

Im Ergebnis ist jede Token-ID jedenfalls mit einem Vektor verknüpft, wir haben eine unvorstellbar große Vektordatenbank. Die Tokens [Re][zept] und [Ku][chen] haben nun (vermutlich) ähnliche Koordinaten und liegen im Bedeutungsraum recht nah beieinander. Aber ein Rezept haben wir deswegen immer noch nicht!

Human Feedback: Wie Gemini zum Chatbot wird

Denn bisher hat das Modell nur Textdokumente verarbeitet – beispielsweise aus dem Internet – und ist ein Basismodell. Die dort erhältlichen Texte sind jedoch nicht die besten Beispiele für jene Art von schriftlichem Austausch, wie wir ihn von einem Chatbot wünschen. Auf unsere Rezeptfrage kann so beispielsweise eine Gegenfrage folgen oder eine Beleidigung anstelle des gewünschten Rezeptes. Um nützlich als Antwortmaschine zu werden, muss das Modell eine Art Konversationstraining durchlaufen. Dafür schreiben Menschen Beispieldialoge, mit denen das Modell trainiert wird (sogenanntes Supervised Fine-Tuning).

Als nächster Schritt werden die nun vom Modell ausgegebenen Antworten geprüft und eingestuft. In sogenanntem Reinforcement Learning from Human Feedback (RLHF) bewerten Menschen die Antworten mit Blick darauf, wie hilfreich sie sind, wie faktentreu und wie sicher. Dieses Feedback wird (sehr vereinfacht gesagt) so verrechnet, dass die internen Parameter des Modells optimiert werden. Durch diese Bewertung lernt das Modell, nicht die wahrscheinlichste Wortfolge aus dem Basismodell auszugeben, sondern diejenige Folge, die ein Mensch als hilfreich bewerten würde.

Nun wird unser Prompt mitsamt dem neuen Wort [Zutaten] wieder verrechnet. Das Modell ermittelt daraus erneut die Wahrscheinlichkeiten für alle Wörter seines Wortschatzes und wählt wieder das Wort aus, das mit hoher Wahrscheinlichkeit folgen wird und gibt es aus. Dieser Prozess erzeugt so lange aneinanderhängende Tokens, also Zahlen die für uns als Text erscheinen, bis die Wahrscheinlichkeit am höchsten ist, dass der Text endet. Jetzt haben wir also (hoffentlich) unser Rezept. Wie gut das Rezept ist, lässt sich vermutlich erst beim Verzehr des Kuchens feststellen.

Was aber passiert, wenn wir im Chat nachhaken? Was ist, wenn wir zum Beispiel genauer wissen wollen, wie ein Baumkuchen mit Schokolade zu backen ist?

Obacht! Was es heißt, in einem Chat zu bleiben

Bleibt ihr in einem Chat bei Gemini, kopiert die Anwendung den gesamten Chatverlauf und gibt ihn an das Modell mit dem jeweils neuen Prompt weiter. Das heißt, alles bereits Geschriebene plus der Prompt werden als ein zusammenhängender Text behandelt, der als gemeinsame Datenmenge in die Vektormatrix einfließt. Die Frage: „Wie mache ich den mit Schokolade?“ wird vermutlich korrekt in einen statistischen Zusammenhang mit den Tokens [Re][zept] und [Baum][ku][chen] gesetzt werden – ohne, dass wir die Begriffe erneut schreiben müssen.

Fazit: Was wir daraus schließen können

Die gegebene Beschreibung ist natürlich stark vereinfacht. Letzten Endes lässt sich das Vorgehen der Modelle aber auf die Frage runterbrechen: „Welches Wort folgt mit höchster Wahrscheinlichkeit auf diese Eingabe?“^[6] Diese Erkenntnis ist besonders dann relevant, wenn die Ergebnisse einordnen wollen. So können wir daraus schließen:

1) Bei dem, was sogenannte Künstliche Intelligenz erzeugt, geht um Wahrscheinlichkeit und nicht um Wahrheit! Das heißt auch, dass logisches Argumentieren, Rechnen, Beweisen und Ableiten zwar simuliert werden können, aber nicht zu den Kernkompetenzen dieser statistischen Modelle gehören.

2) Die Wahrscheinlichkeiten und damit auch die Ergebnisse hängen stark von der Datenbasis ab, mit der die Modelle trainiert worden sind. Oft sind das Texte aus dem Internet. Einmal falsch abgebogen im Internet sehen wir jedoch, dass hier sehr ausführlich sehr viel (bisweilen gefährlicher) Unsinn steht. Auch, wenn es nicht immer so wirkt: Unsinn ist für solche Chatbots mitunter sehr wahrscheinlich. 

3) Die Berechnung – beispielsweise der Vektoren – durch abertausendfaches Ausprobieren und Abgleichen, verbraucht enorme Mengen an Energie und anderen Ressourcen. Oft ist es das Gegenteil von effizient. 

4) Das, was uns hier entgegenschlägt, ist jede Menge Wahrscheinlichkeitsrechnung. Ob das aber als „intelligent“ einzuordnen ist, bleibt letzten Endes jeder und jedem selbst überlassen.

Gratulation: Wer es bis hier geschafft hat, hat das Komplizierteste schon hinter sich! Jetzt wisst ihr grob, wie ein solches LLM funktioniert und warum ein Prompt wichtig ist. Ausgehend von der Beschreibung der Funktionsweise generativer KI lassen sich zudem viele andere Themen adressieren, die nicht so technisch sind. In der nächsten Folge bleiben wir aber noch bei unserem Chatbot. Anstelle des Prompts ordnen wir die Antworten der generativen KI ein. Wir werden zum Beispiel besprechen, was ein Bias ist und lernen, warum die höflichen Umgangsformen von Gemini ein Problem sind.

Quellen und Literatur zum Weiterlesen:

^[1] Ausführliche Infos dazu, wie so ein ChatBot bzw. LLM funktioniert und welche Rolle die GPT-Architektur (Generative pre-trained Transformer) spielt, findet ihr beispielsweise auf YouTube. Die Kanäle von Andrej Karpathy (englisch) oder Gregor Biswanger (deutsch, etwas nervig aber anschaulich erklärt) machen das recht ausführlich. Für besonders interessierte empfehle ich dieses Tutorial zur Transformer-Architektur: https://poloclub.github.io/transformer-explainer/, zuletzt abgerufen am 14.5.2026.

^[2] Wer gerne mehr zur Geschichte der Baumkuchen erfahren möchte, dem empfehle ich Uwe Spiekermanns Blog-Artikel: https://uwe-spiekermann.com/2020/12/01/baumkuchen-eine-erinnerung/, zuletzt angerufen am 21.9.2026.

^[3] Die Carnegie Mellon Universität zum Beispiel bietet ein Tutorial an, das zeigt, wie diese Vektoren erstellt werden: https://www.cs.cmu.edu/~dst/WordEmbeddingDemo/tutorial.html, zuletzt abgerufen am 14.5.1026. Abbildung 1 ist hieraus entnommen.

^[4] Für Interessierte: Hier spricht man von Backpropagation. Die Berechnung des mathematischen Gradienten zur Korrektur des Vektors.

^[5] Dabei verstärken diese Modelle unter Umständen eine binäre Geschlechterordnung – also die Unterscheidung zwischen nur zwei Geschlechtern. Das ist aus vielerlei Hinsicht problematisch. Nicht zuletzt ist seit 2018 entsprechend einem wegweisenden Urteil des Bundeverfassungsgerichtes von 2017 eine dritte Geschlechtsoption gesetzlich verankert.

^[6] https://poloclub.github.io/transformer-explainer/, zuletzt abgerufen am 13.5.2026.