[Helmut S]

Zitat von keko#

Aber ist das nicht etwas anders als die Titans-Architektur von Google? Man kann in OpenAI ja Projektordner mit Files anlegen und OpenAI findet sich dann darin zurecht. Manchmal muss man nachhelfen und die KI auf den Weg bringen ("Erinnerst du dich an unsere Diskussion über...."), aber die Titans-Architekur geht doch darüber hinaus und passt sich dynamisch an die Fragen an. Ja nach Frage gewichtet sie on the fly anders. Die aktuelle Transformer-Architektur ist ziemlich statisch an ihre errechneten Gewichte gebunden. Zumindest habe ich das so verstanden.

Die Sache mit den Files is was anderes. Das is ne RAG Architektur. Über ML Mechanismen werden die Infos aus den Files in einem sog. Chunking Prozess in Vektoren (x-fantastilliarden-dimensional ) überführt und in spezielle Vektordatenbanken gespeichert. Gesucht wird dann darüber, wie groß/klein der Abstand der Vektoren im Raum zueinander is. Das Ergebnis wird üblicherweise in den Kontext gemischt und „vorne“ wieder in die Transformerarchitektur gesteckt. Das is immer auf Basis von Transformer und unabhängig von Titans oder ähnlichen Langzeitgedächtnis- oder Vergessenskonzepten.

ChatGPT hat sicher seit Anfang Juni so n kontextübergreifendes Lagzeitgedächtniskonzept implementiert bzw. rausgerollt, das, wie du es nennst „on the fly“ (aka Test-Time) Infos „merkt/erinnert“. Man kann das sogar so einstellen, dass er sich Dinge benutzerübergreifend „merkt/erinnert“. Das find ich a bisserl scary .

Die Architektur entscheidet selbst, was in das Gedächtnis soll und was vergessen werden kann. Man kann das als Benutzer aber auch steuern.

Ob das nun konzeptionell eine vollständige Umsetzung oder gar technisch eine nahezu identische Implementierung ist, wie das, was Google vorschlägt, weiß ich nicht. Open AI ist da wenig gesprächig finde ich.

Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. Wahrscheinlich hast du insofern recht, dass die OpenAI Implementierung eher nicht vollständig is. US Marketing und die Geschwindigkeit mit der neue KI-Säue durchs Dorf getrieben werden, lässt das ja normal gar nicht zu.

Was m.E. aber auch klar is: Wenn Google sowas veröffentlicht, dass ist es zwingend für OAI, dass die sowas auch „haben“. Undzwar schnellstens und überhaupt

Eine FAQ für die abgesteckte Version der Free User gibt es hier (Update gestern): https://help.openai.com/en/articles/8590148-memory-faq



P.S. Ich finde die Sache mit Audiostreams direkt ins und aus‘m Modell praktisch richtig beeindruckend. Gibt dazu auch YT Videos, zumindest von den älteren Versionen.