KI-Kontextfenster werden auch als „Sichtfenster“ bezeichnet. Sie legen fest, wie viel Kontext ein Sprachmodell auf einmal berücksichtigen kann, bis es neue Parameter heranzieht. Die Hintergründe.
Künstliche Intelligenz hat sich in den vergangenen Jahren zu einem enormen Wirtschaftszweig entwickelt. Im Jahr 2024 soll das Marktvolumen im KI-Bereich Prognosen zufolge bei rund 228 Milliarden US-Dollar gelegen haben.
In den kommenden Jahren dürfte sich diese Zahl mehr als verdoppeln. Experten gehen davon aus, dass der weltweite Umsatz in der KI-Branche im Jahr 2028 auf 632 Milliarden US-Dollar ansteigt.
Doch nicht nur das Marktvolumen von KI entwickelt sich enorm. Auch Large Language Models (LLMs) – also die großen KI-Sprachmodelle – werden immer größer und umfangreicher. Die sogenannten KI-Kontextfenster sind eine wichtige Grundlage dafür . Diese „Sichtfenster“ bestimmen, wie viel Text Sprachmodelle auf einmal verarbeiten können.
Was sind KI-Kontextfenster?
Ein Kontextfenster gibt an, mit wie viel Input eine KI auf einmal umgehen kann. Je größer sie sind, desto länger sind die Eingaben, die ein Sprachmodell verarbeiten kann. Auch auf die Informationen, die als Antwort ausgegeben werden, hat das Kontextfenster Einfluss. Denn je größer das Sichtfenster, desto mehr Informationen kann jede Ausgabe beinhalten.
Google vergleicht das Kontextfenster mit dem menschlichen Kurzzeitgedächtnis. Denn es kann nur eine begrenzte Anzahl an Informationen speichern. Das gelte im Prinzip auch für KI.
Das Kontextfenster wird dabei in Token gemessen. Diese bezeichnen in der Künstlichen Intelligenz die kleinste sprachliche Einheit, die von einem Sprachmodell verarbeitet werden kann. Bei einer Anfrage zerlegt das LLM diese in einzelne Token. Das können Teilchen, Teilwörter oder ganze Wörter sein.
Wie viele Token können Sprachmodelle verarbeiten?
Absoluter Spitzenreiter bei den Kontextfenstern ist derzeit Google mit seinem LLM Gemini. Nach Angaben des Unternehmens arbeiten die Versionen Gemini 2.0 Flash und Gemini 1.5 Flash mit einem Kontextfenster von einer Million Token. Bei Gemini 1.5 Pro sind es sogar zwei Millionen.
Andere Sprachmodelle arbeiten mit Kontextlängen zwischen 4.000 Token und 128.000 Token – beispielsweise auch GPT-4.5 von OpenAI. Das Modell, das sich derzeit in der Forschungsvorschau befindet, ist laut OpenAI das “ bisher größtes und leistungsfähigstes GPT-Modell“. Das Sprachmodell arbeitet mit einem Kontextfenster von 128.000 Token.
Welche Vor- und Nachteile haben große Kontextfenster in der KI?
Sprachmodelle mit besonders großen Kontextfenstern eignen sich vor allem für komplexe Aufgaben. Sie können beispielsweise verwendet werden, um lange Dokumente zusammenzufassen oder umgekehrt auch lange Texte zu generieren.
Außerdem können sie für Chatbots dienen, mit denen durch die größere Kontextlänge auch längere Gespräche mit vielen Nachrichten möglich werden. Such die Beantwortung komplexer Fragen wird ermöglicht, da LLMs mit großen Kontextfenstern auch Zusammenhänge über längere Textpassagen hinweg erkennen können.
Durch die steigende Komplexität wird im Hintergrund aber auch mehr Rechenleistung benötigt. Das wiederum erzeugt höhere Kosten. Außerdem benötigen die Sprachmodelle für komplexe Antworten mehr Zeit.
Auch interessant:
