Künstliche Intelligenz kann offenbar nicht kontinuierlich dazulernen. Vielmehr muss das Training einer KI stets von vorne beginnen, wenn neue Daten hinzukommen sollen. Die Hintergründe.
KI-Modelle können nicht wie Menschen im Laufe der Zeit dazulernen. Das ist das Ergebnis einer aktuellen Studie, die im Wissenschaftsmagazin Nature veröffentlicht wurde. Demnach können sich KI-Modelle nach ihrer anfänglichen Trainingsphase nicht mehr aktualisieren und aus neuen Daten lernen.
Heißt korrekt: Wenn neue Daten hinzukommen sollen, muss das Training mit dem größeren Datensatz von Grund auf neu beginnen. Das zwingt Technologieunternehmen dazu, Milliarden US-Dollar zu investieren, um ihre Modelle weiterzuentwickeln.
Neue Stellenangebote
|
Growth Marketing Manager:in – Social Media GOhiring GmbH in Homeoffice |
|
|
Referent*in Unternehmenskommunikation (m/w/d) Social Media-Marketing & Grafikdesign BFT GmbH in Aachen |
|
|
Digital- & Social Media-Managerin / -Manager (w/m/d) Berliner Stadtreinigungsbetriebe (BSR) in Berlin |
KI: Training mit neuen Daten beginnt bei Null
Bei den meisten KI-Systemen handelt es sich um sogenannte neuronale Netzwerke, die in ihrer Funktionsweise dem menschlichen Gehirn nachempfunden sind. Sie verfügen über künstliche Neuronen, um Informationen verarbeiten zu können.
Damit die Interaktion zwischen Mensch und Künstlicher Intelligenz funktioniert, muss eine KI zunächst mit Daten trainiert werden. Anschließend kann sie diese Informationen nutzen, um auf Texteingaben reagieren zu können, wie es beispielsweise bei ChatGPT der Fall ist.
Den Forschern zufolge können sich die Neuronen jedoch nicht mehr aktualisieren und aus neuen Daten lernen, sobald sie das erste Training abgeschlossen haben. Das bedeutet, dass die meisten KI-Modelle von Grund auf neu trainiert werden müssen, wenn neue Daten hinzukommen sollen.
Ein Forscherteam von der University of Alberta in Kanada hat deshalb untersucht, ob Künstliche Intelligenz so angepasst werden kann, dass ein System fortlaufend dazulernt. Dabei stellten sie zunächst fest, dass die künstlichen Neuronen relativ schnell an ihre Grenzen kommen. Studienleiter Shibhansh Dohare dazu: „Wenn Sie es sich wie Ihr Gehirn vorstellen, dann sind 90 Prozent der Neuronen tot. Es bleibt einfach nicht genug übrig, um zu lernen.“
Künstliche Intelligenz: Leistung nimmt mit zunehmenden Training ab
Die Forscher testeten KI zunächst anhand einer Datenbank, die aus 14 Millionen simplen Bildern besteht. Anstatt das System aber einmal zu trainieren und anschließend zu testen, trainierten sie es nach jedem Bilderpaar neu. Das Ergebnis: Nach mehreren Tausend Trainingseinheiten wurde das Modell immer schlechter. Immer mehr Neuronen erschienen als „tot“.
Den Wissenschaftlern zufolge könnte es jedoch eine Möglichkeit geben, das Problem zu umgehen. Sie entwickelten einen Algorithmus, der nach jeder Trainingseinheit zufällig einigen Neuronen einschaltete. Die Leistung habe sich dadurch in einem geringeren Umfang reduzier. Shibhansh Dohare dazu: „Wenn ein [Neuron] gestorben ist, beleben wir es einfach wieder. Jetzt ist es wieder lernfähig.“
Der Algorithmus sei laut den Forschern vielversprechend, müsse jedoch mit größeren KI-Systemen getestet verwende, bevor sichergestellt werden kann, dass er funktioniert.
„Eine Lösung für kontinuierliches Lernen ist buchstäblich eine Milliarden-Dollar-Frage“, so Dohare. „Eine echte, umfassende Lösung, die es Ihnen ermöglichen würde, ein Modell kontinuierlich zu aktualisieren, würde die Kosten für das Training dieser Modelle erheblich senken.“
Auch interessant:
- KI ändert ihren eigenen Code, um sich selbst zu starten
- KI-Bildgenerator: Start-up aus Freiburg ist besser als Midjouney und OpenAI
- KI-Suchmaschine: Was ist eigentlich Perplexity AI?
- Studie offenbart: KI-Sprachmodelle können kein Eigenleben entwickeln
