Wie gesagt, aktuell haben wir Menschen die Kontrolle: Ein Mensch startet die Drohnen. Denkbar ist natürlich, dass vernetzte KIs diese Entscheidungen autonom treffen: Eine KI wählt das Target aus, einen günstigen Zeitpunkt und startet die Drohnen. Das würde sich dann unserer Kontrolle entziehen.
Soweit ich informiert bin, sprechen sich einige Experten aus diesem Grund auch für eine Regulation aus.

Ich noch mal :)

Eine AGI wäre allmächtig:

Der Zugang zu der für die Entscheidungs- und Lösungsfindung nötigen Daten ist durch das www ja auf dem Silbertablett da. Wie schnell liefert google Ergebnisse? Wie große Datenmengen lassen sich in Millisekunden durchsuchen? Welche Fortschritt machen neuronale Netze?

Gerade im Bereich Programmierung liefert chatGPT doch sehr gute Ergebnisse.

Sag einer AGI, dass sie bitte alle Wasserwerke in Thüringen abstellen möge. Die bekommt das hin.

Das ist wahrscheinlich ein Irrtum. Banal: Die guten Daten sind mehr oder weniger schon abgegriffen und der Rest im Internet ... naja.

Hintergrund: Die aktuellen generativen Modelle sind wenigstens um den Faktor 100 aber möglicherweise bis weit über den Faktor 1000 hinaus untertrainiert. D.h., dass die Leistung der Modelle nicht oder nur kaum wächst - zumindest nicht wie man es erwarten würde, selbst wenn ein x-faches der als optimal geltenden Trainingstoken verwendet wird. Man nimmt an, dass die Trainingsdauer und die Qualität der Trainingsdaten einen entscheidenden Einfluss hat.

Diese Situation ist auch der Grund, warum Modelle tendenziell kleiner werden und trotzdem mit den vielen Trainingsdaten trainiert werden, obwohl die eigentlich nach den "Skalierungsgesetzen" mit viel weniger Trainignsdaten "auskommen" sollten.

Anders formuliert: Leistungssprünge sind nicht mehr dadurch zu erwarten, dass die Modelle immer größer werden, sondern dadurch, dass kleinere ggf. spezialisierte Modelle mit immer mehr hochwertige Trainingsdaten trainiert werden. Dafür wiederum ist aber der qualitativ hochwertige Datenbestand im Internet halt "zu endlich"

Beim Feintuning kleinerer Modelle (ich meine damit z.B. 8B statt 70B Modelle) bewegt man sich gerne mal am Limit des sog. "overfitting". D.h. Modelle werden im Wunsch der Optimierung zu stark an die Trainingsdaten angepasst und tendieren dann dazu, immer mit Standardantworten zu reagieren, weil es die quasi "auswendig gelernt" hat.

Weiter gibt es das Problem, dass man "feedback loops" nennt. Das tritt dann auf, wenn generative KIs mit Daten trainiert wurden, die von anderen KIs erzeugt wurden. Am Ende "lebt" das Modell quasi in einer Bubble und erzählt nur Mist :Lachen2:

ChatGPT und überhaupt große LLMs sind ziemlich gehypt. NNs gibt es ja schon länger und die Kerninnovation der "GPTs" ist das "T" - der Transformer. Es gibt das "Ur-Paper" hier zu von google aus dem Jahr 2017: Attention is all you need.

Fazit: Die Datenmenge im Internet ist begrenzt, insbesondere die Menge der qualitativ hochwertigen Informationen. Die Leistung solcher Systeme skaliert grundsätzlich mit Rechenpower und Datenmengen. Letztere sind wie gesagt begrenzt und ersteres ist der Grund, warum immer mehr, größere und leistungsfähigere Rechenzentren gebaut werden - mit immer mehr Energiebedarf und flankierenden Atomkraftwerken und Wasserversorgungen. Kotzen darf man gerne später :Lachen2:

Der Trend ist ein anderer: Man baut Softwaresysteme, die aus vielen kleinen Agenten bestehen und zentral von einem kleinen Sprachmodell (das leistungsmäßig durchaus auf einem iPhone laufen kann) gesteuert werden.

Nein. Definitiv nicht. Das ist auf dem Niveau eines Einsteigers ohne Berufserfahrung. Die Daten für den Bereich kommen hauptsächlich aus GitHub und aus Reddit. Wer ernsthaft Software Engineering und Softwareentwicklung betriebt, der weiß welcher Mist da oft drin steht.



:Blumen:

Man muss sich immer die enorme Entwicklung vor Augen halten: Als ich Schüler war, fand 1982 der erste Informatik-Kurs an der Schule statt: zu dritt durften wir uns 10min an einen PC setzen und etwas eintippen. Heute bauen pfiffige Schüler auf einem Raspi kleine Autos, die im Klassenzimmer herum fahren und sie über WLAN steuern. Informatik-Studenten bauen Rennautos, die sich (möglichst ;-) nicht gegenseitig crashen.

Expertenwissen braucht es immer noch, aber auch Experten können ihr Wissen erweitern.
Und es ist ja nicht so, dass in der Softwareentwicklung heute nur Leute sitzen, die keine Fehler machen.

:Blumen:

Das stimmt und das sieht man an den Trainingsdaten :Cheese: Im Ernst: Teilweise fehlt es an den Basics, was ChatGPT hier raus haut. Das hat mit Experte noch gar nix zu tun. Übrigens auch an den YT Videos sieht man das: Für den Fall, dass man versteht, was da gesprochen wird (Stichwort: indisches Englisch) merkt man doch immer wieder, dass viele einfach nicht verstehen, von was sie sprechen.

:Blumen:

Für die Zukunft sehe ich das folgende Problem: um die Ergebnisse von ChatGPT einzuordnen, braucht es Expertenwissen. Wie entstehen aber diese Experten, wenn sie sich ihr Wissen selbst hauptsächlich aus YT und ChatGPT holen (wollen versuchen)?

Also lebt der Gödelsche Unvollständigkeitssatz noch. Beruhigend.