triathlon-szene.de |  Europas aktivstes Triathlon  Forum

triathlon-szene.de | Europas aktivstes Triathlon Forum (https://www.triathlon-szene.de/forum/index.php)
-   Politik, Religion & Gesellschaft (https://www.triathlon-szene.de/forum/forumdisplay.php?f=30)
-   -   Kann, soll oder darf die künstliche Intelligenz das menschliche Denken substituieren? (https://www.triathlon-szene.de/forum/showthread.php?t=50218)

keko# 07.06.2025 08:53

Zitat:

Zitat von Helmut S (Beitrag 1782861)
....

Btw: Das Realtime-API nutzen wir für unser KI App Projekt. Das ist beeindruckend gut finde ich.

Edit sagt noch, dass die Meldung von Open AI eher klein ist: https://openai.com/index/memory-and-...s-for-chatgpt/

:Blumen:

Aber ist das nicht etwas anders als die Titans-Architektur von Google? Man kann in OpenAI ja Projektordner mit Files anlegen und OpenAI findet sich dann darin zurecht. Manchmal muss man nachhelfen und die KI auf den Weg bringen ("Erinnerst du dich an unsere Diskussion über...."), aber die Titans-Architekur geht doch darüber hinaus und passt sich dynamisch an die Fragen an. Ja nach Frage gewichtet sie on the fly anders. Die aktuelle Transformer-Architektur ist ziemlich statisch an ihre errechneten Gewichte gebunden. Zumindest habe ich das so verstanden.

:Blumen:

Helmut S 08.06.2025 10:20

Zitat:

Zitat von keko# (Beitrag 1782866)
Aber ist das nicht etwas anders als die Titans-Architektur von Google? Man kann in OpenAI ja Projektordner mit Files anlegen und OpenAI findet sich dann darin zurecht. Manchmal muss man nachhelfen und die KI auf den Weg bringen ("Erinnerst du dich an unsere Diskussion über...."), aber die Titans-Architekur geht doch darüber hinaus und passt sich dynamisch an die Fragen an. Ja nach Frage gewichtet sie on the fly anders. Die aktuelle Transformer-Architektur ist ziemlich statisch an ihre errechneten Gewichte gebunden. Zumindest habe ich das so verstanden.

:Blumen:

Die Sache mit den Files is was anderes. Das is ne RAG Architektur. Über ML Mechanismen werden die Infos aus den Files in einem sog. Chunking Prozess in Vektoren (x-fantastilliarden-dimensional ;) ) überführt und in spezielle Vektordatenbanken gespeichert. Gesucht wird dann darüber, wie groß/klein der Abstand der Vektoren im Raum zueinander is. Das Ergebnis wird üblicherweise in den Kontext gemischt und „vorne“ wieder in die Transformerarchitektur gesteckt. Das is immer auf Basis von Transformer und unabhängig von Titans oder ähnlichen Langzeitgedächtnis- oder Vergessenskonzepten.

ChatGPT hat sicher seit Anfang Juni so n kontextübergreifendes Lagzeitgedächtniskonzept implementiert bzw. rausgerollt, das, wie du es nennst „on the fly“ (aka Test-Time) Infos „merkt/erinnert“. Man kann das sogar so einstellen, dass er sich Dinge benutzerübergreifend „merkt/erinnert“. Das find ich a bisserl scary . :-((

Die Architektur entscheidet selbst, was in das Gedächtnis soll und was vergessen werden kann. Man kann das als Benutzer aber auch steuern.

Ob das nun konzeptionell eine vollständige Umsetzung oder gar technisch eine nahezu identische Implementierung ist, wie das, was Google vorschlägt, weiß ich nicht. Open AI ist da wenig gesprächig finde ich.

Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. Wahrscheinlich hast du insofern recht, dass die OpenAI Implementierung eher nicht vollständig is. US Marketing und die Geschwindigkeit mit der neue KI-Säue durchs Dorf getrieben werden, lässt das ja normal gar nicht zu. :Lachen2:

Was m.E. aber auch klar is: Wenn Google sowas veröffentlicht, dass ist es zwingend für OAI, dass die sowas auch „haben“. Undzwar schnellstens und überhaupt ;)

Eine FAQ für die abgesteckte Version der Free User gibt es hier (Update gestern): https://help.openai.com/en/articles/8590148-memory-faq

:Blumen:

P.S. Ich finde die Sache mit Audiostreams direkt ins und aus‘m Modell praktisch richtig beeindruckend. Gibt dazu auch YT Videos, zumindest von den älteren Versionen.

keko# 08.06.2025 22:50

Zitat:

Zitat von Helmut S (Beitrag 1782890)
....

Aber im Endeffekt geht es aus meiner Sicht darum ja nicht, sondern vor dem Hintergrund von Arnes Bemerkung (er sei vergesslicher als die KI) ist das Konzept der Langzeiterinnerung und des Vergessenes interesant finde ich. ....

Ich weiß nicht genau, was er meinte, aber das ist eigentlich das Resultat klassischer Transformers-Architektur, also dem Kurzzeitgedächtnis, was teuer ist, wie du ja erwähntest.
Das Surprise bei den Titans z.B. ist eigentlich schon drin, indem es sich das Loss halt dauerhaft merkt, wenn es stark daneben liegt. Dann ist es ein Surprise. Deep Memory und Persistent Memory ist glaube ich ein bisschen schwieriger zu programmieren.

Auf jeden Fall nähern sich die Titans dem menschlichen Denken wieder ein Stück an. Das wird noch richtig richtig lustig werden in den nächsten Jahren. Jemand, der es wissen könnte, meinte kürzlich zu mir, man solle Dachdecker oder Wärmepumpeneinbauer werden, der Rest würde in den nächsten Jahren abgelöst ;-) Die großen LLMs sind eh schon der Hammer.

:Blumen:

Helmut S 11.06.2025 17:32

Zitat:

Zitat von keko# (Beitrag 1782918)
Auf jeden Fall nähern sich die Titans dem menschlichen Denken wieder ein Stück an.

Das is der Punkt. Und technisch halt, weil es bei der Inferenz passiert und nicht beim Training.

Ich hab heute mit nem Ex-Google Mann gesprochen, der is CTO bei dem Dienstleiter, mit dem wir das KI Projekt machen. Er sagt auch, dass ChatGPT sowas in der Art bereits umsetzt. Wie technisch genau, wusste er natürlich auch nicht.


:Blumen:

Jimmi 12.06.2025 12:36

Mal blöd gefragt:

Könnte ich mir jetzt schon eine KI an den Schreibtisch setzen, die für mich meine Mails liest, zusammenfasst, die angehängten Dokumente archiviert und dann auch gleich beantwortet? Die mir zuverlässig Deadlines mitteilt und gleich weiß, ob mein Banker oder Peter Zwegat der richtige ist, um mir zu helfen?

keko# 13.06.2025 08:00

Zitat:

Zitat von Jimmi (Beitrag 1783138)
Mal blöd gefragt:

Könnte ich mir jetzt schon eine KI an den Schreibtisch setzen, die für mich meine Mails liest, zusammenfasst, die angehängten Dokumente archiviert und dann auch gleich beantwortet? Die mir zuverlässig Deadlines mitteilt und gleich weiß, ob mein Banker oder Peter Zwegat der richtige ist, um mir zu helfen?

Oben redeten wir bei den Transformern und Titans über die Basistechnolgie. Du sprichst eher sog. Agenten an. Die bauen auf die Basistechnolgie auf, erweitern sie aber. So könnte ein Agent auf deine Mails zugreifen, in deinen Anhängen nach passenden Dokumenten suchen (oder im Firmennetzwerk) und selbstständig ein passendes EMail mit passenden Anhängen erstellen.
Die Basistechnologie nutzt du bereits z.B. in Form von ChatGPT. Agenten werden wohl in den nächsten Jahren erst in der Breite auf den Markt kommen und dann menschliche Tätigkeiten ersetzen, ergänzen oder verändern. So könnte dann dein EMail-Agent mit dem Banking-Agent kommunzieren.

Jimmi 13.06.2025 09:58

Zitat:

Zitat von keko# (Beitrag 1783190)
So könnte dann dein EMail-Agent mit dem Banking-Agent kommunzieren.

Ein Traum. Ich kaufe mir 2 Schachcomputer, lasse die gegeneinander spielen und gehe dann angeln.

Siebenschwein 13.06.2025 10:04

Zitat:

Zitat von Jimmi (Beitrag 1783196)
Ein Traum. Ich kaufe mir 2 Schachcomputer, lasse die gegeneinander spielen und gehe dann angeln.

Nö, das macht dann auch der Angelroboter.

Du kannst in der Zwischenzeit dann mal schön das Bad putzen, das schafft der Roboter in 20Jahren nicht.


Alle Zeitangaben in WEZ +2. Es ist jetzt 02:30 Uhr.

Powered by vBulletin Version 3.6.1 (Deutsch)
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.