Kann, soll oder darf die künstliche Intelligenz das menschliche Denken substituieren? - Seite 70 - triathlon-szene.de | Europas aktivstes Triathlon Forum
Aber ist das nicht etwas anders als die Titans-Architektur von Google? Man kann in OpenAI ja Projektordner mit Files anlegen und OpenAI findet sich dann darin zurecht. Manchmal muss man nachhelfen und die KI auf den Weg bringen ("Erinnerst du dich an unsere Diskussion über...."), aber die Titans-Architekur geht doch darüber hinaus und passt sich dynamisch an die Fragen an. Ja nach Frage gewichtet sie on the fly anders. Die aktuelle Transformer-Architektur ist ziemlich statisch an ihre errechneten Gewichte gebunden. Zumindest habe ich das so verstanden.
Aber ist das nicht etwas anders als die Titans-Architektur von Google? Man kann in OpenAI ja Projektordner mit Files anlegen und OpenAI findet sich dann darin zurecht. Manchmal muss man nachhelfen und die KI auf den Weg bringen ("Erinnerst du dich an unsere Diskussion über...."), aber die Titans-Architekur geht doch darüber hinaus und passt sich dynamisch an die Fragen an. Ja nach Frage gewichtet sie on the fly anders. Die aktuelle Transformer-Architektur ist ziemlich statisch an ihre errechneten Gewichte gebunden. Zumindest habe ich das so verstanden.
Die Sache mit den Files is was anderes. Das is ne RAG Architektur. Über ML Mechanismen werden die Infos aus den Files in einem sog. Chunking Prozess in Vektoren (x-fantastilliarden-dimensional ) überführt und in spezielle Vektordatenbanken gespeichert. Gesucht wird dann darüber, wie groß/klein der Abstand der Vektoren im Raum zueinander is. Das Ergebnis wird üblicherweise in den Kontext gemischt und „vorne“ wieder in die Transformerarchitektur gesteckt. Das is immer auf Basis von Transformer und unabhängig von Titans oder ähnlichen Langzeitgedächtnis- oder Vergessenskonzepten.
ChatGPT hat sicher seit Anfang Juni so n kontextübergreifendes Lagzeitgedächtniskonzept implementiert bzw. rausgerollt, das, wie du es nennst „on the fly“ (aka Test-Time) Infos „merkt/erinnert“. Man kann das sogar so einstellen, dass er sich Dinge benutzerübergreifend „merkt/erinnert“. Das find ich a bisserl scary .
Die Architektur entscheidet selbst, was in das Gedächtnis soll und was vergessen werden kann. Man kann das als Benutzer aber auch steuern.
Ob das nun konzeptionell eine vollständige Umsetzung oder gar technisch eine nahezu identische Implementierung ist, wie das, was Google vorschlägt, weiß ich nicht. Open AI ist da wenig gesprächig finde ich.
Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. Wahrscheinlich hast du insofern recht, dass die OpenAI Implementierung eher nicht vollständig is. US Marketing und die Geschwindigkeit mit der neue KI-Säue durchs Dorf getrieben werden, lässt das ja normal gar nicht zu.
Was m.E. aber auch klar is: Wenn Google sowas veröffentlicht, dass ist es zwingend für OAI, dass die sowas auch „haben“. Undzwar schnellstens und überhaupt
P.S. Ich finde die Sache mit Audiostreams direkt ins und aus‘m Modell praktisch richtig beeindruckend. Gibt dazu auch YT Videos, zumindest von den älteren Versionen.
Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. ....
Ich weiß nicht genau, was er meinte, aber das ist eigentlich das Resultat klassischer Transformers-Architektur, also dem Kurzzeitgedächtnis, was teuer ist, wie du ja erwähntest.
Das Surprise bei den Titans z.B. ist eigentlich schon drin, indem es sich das Loss halt dauerhaft merkt, wenn es stark daneben liegt. Dann ist es ein Surprise. Deep Memory und Persistent Memory ist glaube ich ein bisschen schwieriger zu programmieren.
Auf jeden Fall nähern sich die Titans dem menschlichen Denken wieder ein Stück an. Das wird noch richtig richtig lustig werden in den nächsten Jahren. Jemand, der es wissen könnte, meinte kürzlich zu mir, man solle Dachdecker oder Wärmepumpeneinbauer werden, der Rest würde in den nächsten Jahren abgelöst ;-) Die großen LLMs sind eh schon der Hammer.
Auf jeden Fall nähern sich die Titans dem menschlichen Denken wieder ein Stück an.
Das is der Punkt. Und technisch halt, weil es bei der Inferenz passiert und nicht beim Training.
Ich hab heute mit nem Ex-Google Mann gesprochen, der is CTO bei dem Dienstleiter, mit dem wir das KI Projekt machen. Er sagt auch, dass ChatGPT sowas in der Art bereits umsetzt. Wie technisch genau, wusste er natürlich auch nicht.
Könnte ich mir jetzt schon eine KI an den Schreibtisch setzen, die für mich meine Mails liest, zusammenfasst, die angehängten Dokumente archiviert und dann auch gleich beantwortet? Die mir zuverlässig Deadlines mitteilt und gleich weiß, ob mein Banker oder Peter Zwegat der richtige ist, um mir zu helfen?
Könnte ich mir jetzt schon eine KI an den Schreibtisch setzen, die für mich meine Mails liest, zusammenfasst, die angehängten Dokumente archiviert und dann auch gleich beantwortet? Die mir zuverlässig Deadlines mitteilt und gleich weiß, ob mein Banker oder Peter Zwegat der richtige ist, um mir zu helfen?
Oben redeten wir bei den Transformern und Titans über die Basistechnolgie. Du sprichst eher sog. Agenten an. Die bauen auf die Basistechnolgie auf, erweitern sie aber. So könnte ein Agent auf deine Mails zugreifen, in deinen Anhängen nach passenden Dokumenten suchen (oder im Firmennetzwerk) und selbstständig ein passendes EMail mit passenden Anhängen erstellen.
Die Basistechnologie nutzt du bereits z.B. in Form von ChatGPT. Agenten werden wohl in den nächsten Jahren erst in der Breite auf den Markt kommen und dann menschliche Tätigkeiten ersetzen, ergänzen oder verändern. So könnte dann dein EMail-Agent mit dem Banking-Agent kommunzieren.
gemeinsam zwiften |
youtube |
forum heute
Rechner
) überführt und in spezielle Vektordatenbanken gespeichert. Gesucht wird dann darüber, wie groß/klein der Abstand der Vektoren im Raum zueinander is. Das Ergebnis wird üblicherweise in den Kontext gemischt und „vorne“ wieder in die Transformerarchitektur gesteckt. Das is immer auf Basis von Transformer und unabhängig von Titans oder ähnlichen Langzeitgedächtnis- oder Vergessenskonzepten.
