Immer mehr Menschen nutzten Künstliche Intelligenz auf der Arbeit oder im Alltag. Doch wie funktionieren große KI-Modelle überhaupt? Die Grundlage bilden KI-Token, die als kleinste sprachliche Einheit gelten.
Künstliche Intelligenz hat sich in den vergangenen Jahren rasant weiterentwickelt. Die Zahl der Nutzer nimmt kontinuierlich zu. Allein im Jahr 2024 nutzen weltweit rund 315 Millionen Menschen mindestens ein KI-Tool. Bis zum Jahr 2030 soll die Zahl Prognosen zufolge auf rund 730 Millionen steigen, sich also mehr als verdoppeln.
Damit KI-Tools überhaupt Fragen von Menschen beantworten und Aufgaben lösen können, müssen sie trainiert werden. Dabei spielen sogenannte KI-Token eine entscheidende Rolle. Als kleinste sprachliche Einheit von Künstlicher Intelligenz bilden sie die Grundlage für das Verständnis der großen Sprachmodelle.
Was sind KI-Token?
Large Language Models (LLMs) – also große KI-Sprachmodelle – basieren auf neuronalen Netzen. Dabei handelt es sich um sogenannte Transformator-Modelle, die auf dem Aufmerksamkeitsmechanismus aufbauen. Die Funktionsweise von LLMs kann in vier Schritte unterteilt werden:
- Tokenisierung
- Einbettung
- Vorhersage
- Dekodierung
Bei der Tokenisierung, dem ersten Schritt, zerlegt ein Sprachmodell den eingegebenen Text in kleinere Teile, die sogenannten KI-Token. Diese Vorgehensweise kann auch mit der menschlichen Sprache verglichen werden. Denn der Mensch verwendet bei der Verständigung zumeist Wörter als Token.
Für KI-Sprachmodelle hingegen gibt es verschiedene Techniken für die Tokenisierung. So können beispielsweise einzelne Teilchen, Teilwörter oder ganze Wörter als KI-Token fungieren.
Hat einLLM die Sprache erst einmal in KI-Token zerlegt, kommt es zum zweiten Schritt – der Einbettung, auch Embedding genannt. Dabei werden die ermittelten Token auf Vektoren abgebildet.
Sprachmodelle weisen dann zumeist zwei semantisch ähnliche Token einem ähnlichen Vektor zu. Aber nicht nur Semantik spielt eine Rolle. Denn auch die Position eines Tokens im Satz kann Einfluss auf die Zuordnung zu einem Vektor haben.
Sprachmodelle treffen Vorhersagen
Die Vorhersage gilt als dritter Schritt der Funktionsweise von LLMs. Sie bildet den eigentlichen Kern der Sprachmodelle, denn dabei berechnet ein KI-Tool die Wahrscheinlichkeit des nächsten Tokens.
Auf Grundlage dieser Wahrscheinlichkeitsberechnung entscheiden Sprachmodell, welche Token sie bei der Decodierung ausgeben.
Dabei liegen großen LLMS verschiedene Strategien zugrunde. Beispielsweise können sie über das sogenannte Top-K Sampling oder das Top-P Sampling Token auswählen. Diese Methoden bestimmen, wie viele der wahrscheinlichsten Token berücksichtigt werden sollen. Nutzen sie hingegen den Greedy Algorithm wählen sie immer den zu einem aktuellen Zeitpunkt wahrscheinlichste Token aus.
Auch interessant:
