[keko#]

Zitat von Helmut S

....

Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. ....

Ich weiß nicht genau, was er meinte, aber das ist eigentlich das Resultat klassischer Transformers-Architektur, also dem Kurzzeitgedächtnis, was teuer ist, wie du ja erwähntest.
Das Surprise bei den Titans z.B. ist eigentlich schon drin, indem es sich das Loss halt dauerhaft merkt, wenn es stark daneben liegt. Dann ist es ein Surprise. Deep Memory und Persistent Memory ist glaube ich ein bisschen schwieriger zu programmieren.

Auf jeden Fall nähern sich die Titans dem menschlichen Denken wieder ein Stück an. Das wird noch richtig richtig lustig werden in den nächsten Jahren. Jemand, der es wissen könnte, meinte kürzlich zu mir, man solle Dachdecker oder Wärmepumpeneinbauer werden, der Rest würde in den nächsten Jahren abgelöst ;-) Die großen LLMs sind eh schon der Hammer.