[Helmut S]

Zitat von keko#

Kannst du dazu was Genaueres oder mehr sagen? Meines Wissens nutzt ChatGPT bisher nur die Tansformer-Architektur mit Self-Attention.

Danke!

Genaueres nicht. Unlängst habe ich halt diesen Artikel gelesen: https://the-decoder.de/openai-fuehrt...se-nutzer-ein/

Hier, bei der kostenlosen Version, handelt es sich aber wohl um eine abgespeckte Variante eines Langzeitgedächtnisses. Typischerweise haben bei OpenAI aber non-EU Pro Customer recht schnell Zugriff auf die Vollversionen des heißesten Scheiß

Die Transformer Architektur wird ja nicht ersetzt. Das is nach wie vor der Kern. Das Langzeitgedächtnis und der „Vergessen Algo“ sind ja ne Erweiterung. In dem oben verlinkten Titans Paper gibt es drei verschiedene Grafiken, wie Gedächtnis eingebaut werden kann. Memory as a context, Memory as a Gate und Memory as a layer. Da versteht man sofort wie‘s Konzept ist.

Ich hatte schon n paar Gespräche mit chatGPT, bei denen mit aufgefallen ist, dass der plötzlich Infos „einbaute“, von denen ich gewettet hätte, dass wir das im aktuellen Kontext noch nicht besprochen hatten.

Btw: Das Realtime-API nutzen wir für unser KI App Projekt. Das ist beeindruckend gut finde ich.

Edit sagt noch, dass die Meldung von Open AI eher klein ist: https://openai.com/index/memory-and-...s-for-chatgpt/