Schon einmal das Gefühl gehabt, dass eine KI wie ein Goldfisch ist und alle paar Sekunden alles vergisst, was ihr beigebracht wurde?
Dieses Phänomen nennt sich Catastrophic Forgetting und ist ein häufiges Problem in der Welt der neuronalen Netzwerke.
Was ist Catastrophic Forgetting?
Catastrophic Forgetting passiert, wenn ein neuronales Netzwerk neue Informationen lernt und dabei alte Informationen verliert. Ein Beispiel: Ein Netzwerk wird darauf trainiert, Hunde und Katzen zu unterscheiden. Wenn es dann beigebracht bekommt, Autos und Fahrräder zu erkennen, könnte es plötzlich Hunde und Katzen „vergessen“!
Warum passiert das?
Ganz einfach: Beim Lernen neuer Daten aktualisiert das Netzwerk seine „Gewichte“, um die neuen Informationen besser zu verarbeiten. Dabei können die alten Gewichte überschrieben werden – und so verschwinden die vorherigen Informationen!
Lösungen und Tricks
Keine Sorge, es gibt clevere Lösungen, um dieses Problem zu umgehen:
- Elastic Weight Consolidation (EWC):
Wichtige Gewichte für vorherige Aufgaben werden geschützt, damit sie nicht überschrieben werden.
- Progressive Neural Networks:
Für jede neue Aufgabe werden neue „Spalten“ im Netzwerk hinzugefügt, die mit den alten verbunden sind, sodass das alte Wissen erhalten bleibt.
- Generative Replay:
Muster der alten Aufgaben werden gespeichert und mit den neuen Trainingsdaten gemischt, um das alte Wissen aufzufrischen.
Ein Beispiel aus dem Alltag mit ChatGPT
Ein einfacher Vergleich:
Beim iterativen Arbeiten mit ChatGPT wird eine Aufgabe gegeben und erledigt. Danach folgt eine neue Aufgabe, ohne den Hinweis, dass die vorherigen Aufgaben weiterhin wichtig sind. In diesem Fall konzentriert sich ChatGPT auf die neue Aufgabe und vergisst dabei die alten.
Wenn jedoch explizit erwähnt wird, dass die neue Aufgabe zusätzlich zur vorherigen ist, kann ChatGPT den Kontext besser beibehalten. Zum Beispiel: „Zusätzlich zur vorherigen Aufgabe soll auch dieses neue Thema behandelt werden.“
Oder es wird auf die vorherigen Aufgaben verwiesen: „Erinnere dich an die zuvor besprochene Aufgabe und füge diese neue Information hinzu.“ Auf diese Weise wird sichergestellt, dass nichts vergessen wird und der Kontext erhalten bleibt.
Fazit
Catastrophic Forgetting kann frustrierend sein, aber mit den richtigen Techniken kann sichergestellt werden, dass die KI schlauer wird, ohne ihr altes Wissen zu verlieren.