LIMITLESS - Dwarkesh Patel: Das skalierende Zeitalter der KI ist da

Ryan:
[0:02] Hey Leute, wir haben heute eine besondere Folge. Wir haben Dorkesh Patel zu Gast im Podcast. Nun, Dorkesh ist wahrscheinlich einer meiner Lieblingspodcaster. Er steht ganz oben auf meiner Podcast-Rotationsliste. Und speziell bei KI-Themen ist er großartig, was auch das Thema der heutigen Folge ist. Es geht um die Skalierungsära der KI. Die Skalierungsära ist etwas Neues in der KI, etwas Neues für die Menschheit. Es ist etwas, das wir noch nie zuvor gesehen haben. Und Dwarakash befindet sich an der Spitze dieser Bewegung. Wir gehen also die ganze Geschichte durch und wo wir heute angelangt sind. Und ich habe jede Minute dieses Gesprächs genossen. Normalerweise können Sie Episoden wie diese in unserem Podcast-Feed Limitless hören. Dort tauchen mein Co-Moderator Josh und David und Ejaz tief in die KI-Kaninchenhöhle ein. Es ist wie Bankless, aber für KI. Wenn Sie Limitless also noch nicht in Ihrem Podcast-Feed haben, sollten Sie ihn unbedingt abonnieren.

Ryan:
[0:53] Fangen Sie es auf Spotify, auf YouTube oder wo auch immer Sie auf diese Podcasts zugreifen. Nun zu Krypto: Ich habe Dwarkech gefragt, wann er einen Krypto-Podcast machen wird, denn ich würde Vitalik Buterin sehr gerne bei Dwarkech hören, aber das könnte noch eine Weile dauern. Anscheinend war der einzige Podcast, den Dwarkech je zum Thema Krypto gemacht hat, der mit Sam Beckman Freed, und wir alle wissen, was daraus geworden ist. Es ist wohl eher ein Kater von den Krypto-Kriminellen von 2022. Aber wir haben seither einen weiten Weg zurückgelegt, und die KI hat sich ebenfalls weiterentwickelt. Ich wünsche Ihnen viel Spaß mit dieser Folge mit Dwarkesh Patel. Dwarkesh Patel, wir sind große Fans. Es ist uns eine Ehre, Sie hier zu haben.

Dwarkesh:
[1:32] Vielen Dank, dass Sie mich eingeladen haben.

Ryan:
[1:33] Okay, Sie haben also ein Buch herausgebracht. Es heißt The Scaling Era, An Oral History of AI from 2019 to 2025. Das sind einige Schlüsseldaten hier. Es ist wirklich eine Geschichte darüber, wie KI entstanden ist. Und in den letzten fünf Jahren scheint sie auf dem Radar der Menschen explodiert zu sein. Und jeder auf der Welt, so scheint es, versucht herauszufinden, was gerade passiert ist und was noch passieren wird. Ich denke, wir sollten bei dieser Geschichte am Anfang beginnen, wie es auch Ihr Buch tut. Was ist die Skalierungsära der KI? Und wann hat sie ungefähr begonnen? Was waren die wichtigsten Meilensteine?

Dwarkesh:
[2:06] Ich denke, dass die Geschichte über den Sog, von dem jeder natürlich immer mehr über KI hört, zu wenig erzählt wird. Die unterschwellig erzählte Geschichte ist, dass der Hauptgrund dafür, dass diese KI-Modelle im Laufe der Zeit immer besser werden, die Tatsache ist, dass wir jedes Jahr exponentiell mehr Rechenleistung in die Systeme an der Handelsgrenze stecken. Schätzungen zufolge haben wir in den letzten zehn Jahren jedes Jahr das Vierfache für den Handel mit dem Grenzsystem aufgewendet als im Jahr davor. Und das bedeutet, dass wir hunderttausendmal mehr Rechenzeit aufwenden als die Systeme der frühen 2010er Jahre. Natürlich haben wir in der Zwischenzeit auch algorithmische Durchbrüche erzielt. 2018 hatten wir den Transformator. Seitdem haben natürlich viele Unternehmen hier und da kleine Verbesserungen vorgenommen. Aber die überwältigende Tatsache ist, dass wir bereits Hunderte von Milliarden Dollar für den Aufbau der Infrastruktur, der Rechenzentren und der Chips für diese Modelle ausgeben. Und dieses Bild wird sich nur noch verschärfen, wenn diese exponentielle Entwicklung anhält. Forex pro Jahr, in den nächsten zwei Jahren, ist etwas, das die CFOs der großen Hyperscaler und die Leute, die die Ausgaben und das Training für die Zukunft planen, im Kopf haben, aber es ist nicht so üblich in der Diskussion darüber, wohin sich KI entwickelt.

Ryan:
[3:19] Was sollten die Leute Ihrer Meinung nach darüber wissen? Was ist die Ära der Skalierung? Es gab vielleicht schon andere Epochen der KI oder der Datenverarbeitung, aber was ist das Besondere an der Skalierungsära?

Dwarkesh:
[3:29] Die Leute fingen an, es zu bemerken. Zunächst einmal haben Ilya Seskaver und andere 2012 damit begonnen, neuronale Netze zu verwenden, um Bilder zu kategorisieren. Und sie stellten fest, dass man, anstatt etwas von Hand zu programmieren, eine Menge Saft aus neuronalen Netzwerken, Blackboxen, herausholen kann. Man muss sie nur darauf trainieren, zu erkennen, welche Dinge wie aussehen. Dann begannen die Leute, mit diesen neuronalen Netzen zu spielen und sie für verschiedene Anwendungen zu nutzen. Und dann stellte man fest, dass diese Modelle besser werden, wenn man ihnen mehr Daten und mehr Rechenleistung zur Verfügung stellt. Wie können wir so viel Rechenleistung wie möglich in diese Modelle stecken?

Dwarkesh:
[4:11] Und die Lösung ist offensichtlich Internettext. Man braucht also eine Architektur, die für die Billionen von Token geeignet ist, die in den letzten Jahrzehnten geschrieben und ins Internet gestellt wurden. Und wir hatten die glückliche Fügung, dass die Architekturen, die für diese Art von Training geeignet sind, mit den GPUs, die ursprünglich für Spiele entwickelt wurden, zusammenkamen. Wir haben jahrzehntelang Texte aus dem Internet gesammelt, und Ilias nannte sie den fossilen Brennstoff der KI. Es ist wie ein Reservoir, auf das wir zurückgreifen können, um diese Köpfe zu trainieren, die die Form des menschlichen Denkens annehmen, weil sie mit Billionen von Token menschlichen Denkens handeln. Es geht also nur darum, diese Modelle zu erweitern und die Daten, die wir von den Internet-Technologien erhalten, zu nutzen, um sie weiter zu trainieren. Und im letzten Jahr, wie Sie wissen, in den letzten sechs Monaten, war das neue Paradigma nicht nur, dass wir alle Internet-Texte vortrainieren, sondern auch, dass wir sehen, ob wir sie mathematische Rätsel oder Programmierrätsel lösen lassen können,

Dwarkesh:
[5:11] Und ihnen dadurch Denkfähigkeiten vermitteln. Ich bin übrigens skeptisch, was die bevorstehende AGI angeht, worauf wir noch zu sprechen kommen werden. Aber allein die Tatsache, dass wir jetzt Maschinen haben, die denken können, man kann einer Maschine eine Frage stellen, und sie wird für eine lange Zeit weggehen, sie wird darüber nachdenken. Und dann kommt sie mit einer intelligenten Antwort zu dir zurück. Und wir nehmen das einfach als selbstverständlich hin. Aber natürlich wissen wir auch, dass sie extrem gut programmieren können, vor allem. Ich weiß nicht, ob du die Gelegenheit hattest, mit Cloud Code oder Cursor oder so etwas herumzuspielen. Aber es ist eine wilde Erfahrung, eine Anwendung zu entwerfen und auf hohem Niveau zu erklären, dass sie X tun soll. 15 Minuten später gibt es etwa 10 Dateien mit Code und die Anwendung ist fertig.

Dwarkesh:
[5:53] Das ist unser Stand der Dinge. Ich weiß nicht, wie weit das noch gehen kann. Die andere wichtige Dynamik - ich füge hier meinen Monolog hinzu - ist, dass wir im Zeitalter der Skalierung nicht ewig mit Exponentialen weitermachen können, und schon gar nicht mit Exponentialen, die viermal pro Jahr stattfinden. Und so nähern wir uns derzeit einem Punkt, an dem uns bis 2028, höchstens bis 2030, buchstäblich die Energie ausgeht, die wir brauchen, um diese Pioniersysteme weiter zu betreiben, die Kapazität an den Spitzenknoten, die die Chips herstellen, die in die Farbstoffe gehen, die in diese GPUs gehen, sogar der rohe Anteil des BIP, der zum Trainieren der Pioniersysteme verwendet werden muss. Wir haben also noch ein paar Jahre der Skalierungsära vor uns. Und die große Frage ist: Werden wir bis dahin zu AGI kommen?

Ryan:
[6:40] Ich meine, das ist so eine Art Schlüsselerkenntnis Ihres Buches, dass wir uns mitten in der Skalierungsära befinden. Ich schätze, wir sind etwa sechs Jahre dabei oder so. Und wir sind uns nicht ganz sicher. Es ist wie der Protagonist in der Mitte der Geschichte: Wir wissen es nicht genau.

Ryan:
[6:52] in welche Richtung sich die Dinge entwickeln werden. Aber ich möchte, dass du, Dworkesh, den Leuten vielleicht dabei hilfst, ein Gespür dafür zu bekommen, warum Skalierung auf diese Weise überhaupt funktioniert. Denn ich sage Ihnen, für mich und für die meisten Leute begann unsere Erfahrung mit diesen revolutionären KI-Modellen wahrscheinlich im Jahr 2022 mit ChatGPT3 und dann ChatGPT4, und wir sahen all den Fortschritt, all diese KI-Modelle. Und es scheint wirklich nicht intuitiv zu sein, dass, wenn man eine bestimmte Menge an Rechenleistung und eine bestimmte Menge an Daten nimmt, KI, Intelligenz herausspringt. Könnten Sie uns helfen, ein Gefühl für diese Magie zu bekommen? Wie funktioniert das Skalierungsgesetz überhaupt? Rechenleistung plus Daten gleich Intelligenz? Ist das wirklich alles, was es ist?

Dwarkesh:
[7:37] Um ehrlich zu sein, habe ich so vielen KI-Forschern in meinem Podcast genau diese Frage gestellt. Und ich könnte Ihnen einige mögliche Theorien nennen, warum es funktionieren könnte. Ich glaube nicht, dass wir das verstehen. Und wissen Sie was? Ich werde das einfach sagen. Ich glaube nicht, dass wir es verstehen.

Ryan:
[7:52] Wir verstehen nicht, wie das funktioniert. Wir wissen, dass es funktioniert, aber wir verstehen nicht, wie es funktioniert.

Dwarkesh:
[7:55] Wir haben Beweise ausgerechnet aus der Primatologie dafür, was hier vor sich gehen könnte oder zumindest, warum ähnliche Muster in anderen Teilen der Welt. Was ich wirklich interessant fand, ist diese Studie der Forscherin Susanna Herculana Huzel, die zeigt, dass, wenn man sich ansieht, wie die Anzahl der Neuronen im Gehirn einer Ratte, verschiedener Rattenarten, zunimmt, wenn das Gewicht ihrer Gehirne von Art zu Art zunimmt, es dieses sehr sublineare Muster gibt. Wenn sich also die Gehirngröße verdoppelt, verdoppelt sich die Anzahl der Neuronen bei den verschiedenen Rattenarten nicht. Und es gibt noch andere Arten von

Dwarkesh:
[8:39] Familien von Arten, für die dies gilt. Die beiden interessanten Ausnahmen von dieser Regel, bei denen es tatsächlich eine lineare Zunahme der Neuronenzahl und der Gehirngröße gibt, sind erstens bestimmte Vogelarten. Vögel sind angesichts der Größe ihrer Gehirne eigentlich sehr intelligent, und Primaten. Die Theorie für das, was beim Menschen passiert ist, ist also, dass wir eine Architektur freigeschaltet haben, die sehr skalierbar war. So wie man bei den LSTMs, dem Vorläufer von LSTMs im Jahr 2018, davon spricht, dass Transformatoren besser skalierbar sind. Wir haben diese Architektur entschlüsselt, weil sie sehr skalierbar ist. Und dann befanden wir uns vor Millionen von Jahren in einer evolutionären Nische, die marginale Steigerungen der Intelligenz belohnte. Wenn man etwas schlauer wird, kostet das Gehirn zwar mehr Energie, aber man kann Energie sparen, indem man zum Beispiel nicht mehr kochen muss, man kann Essen kochen, so dass man nicht viel für die Verdauung aufwenden muss. Man kann ein Spiel finden, man kann verschiedene Möglichkeiten der Nahrungssuche finden.

Dwarkesh:
[9:31] Vögel waren nicht in der Lage, diese evolutionäre Nische zu finden, die die zunehmende Intelligenz belohnte, denn wenn das Gehirn eines Vogels zu schwer wird, kann er nicht mehr fliegen, also war es ein glückliches Zusammentreffen dieser beiden Dinge, und warum die Tatsache, dass unsere Gehirne größer werden konnten, dazu führte, dass wir so klug wurden, wie wir es sind, wissen wir immer noch nicht, und es gibt viele verschiedene Unterschiede zwischen Affen und Menschen, während unsere Gehirne ziemlich groß sind, müssen wir nicht trainiert werden, Wissen Sie, ein Mensch im Alter von null bis 18 Jahren sieht nicht einmal eine Größenordnung der Informationsmenge, auf die diese LLMs trainiert sind. LLMs sind also extrem datenineffizient. Sie brauchen viel mehr Daten. Aber das Muster der Skalierung sehen wir, glaube ich, an vielen verschiedenen Stellen.

Ryan:
[10:18] Ist das also eine faire Art von Analogie? Diese Analogie hat für mich immer Sinn gemacht. Es ist so, als wären Transformatoren wie Neuronen. Wissen Sie, KI-Modelle sind so etwas wie das menschliche Gehirn, evolutionärer Druck ist wie Gradientenabstieg, Belohnungsalgorithmen, und daraus entsteht menschliche Intelligenz. Wir verstehen das nicht wirklich.

Ryan:
[10:37] Wir verstehen auch die KI-Intelligenz nicht, aber es ist im Grunde das gleiche Prinzip.

Dwarkesh:
[10:42] Ich denke, das ist eine super faszinierende, aber auch sehr heikle Frage, denn ist Gradientenintelligenz wie Evolution? Nun, ja, in gewisser Weise. Aber wenn wir Gradientenabstieg an diesen Modellen durchführen, fangen wir mit dem Gewicht an, und dann lernen wir, wie Chemie funktioniert, wie Codierung funktioniert, wie Mathematik funktioniert, und das ist eigentlich mehr wie lebenslanges Lernen, das heißt, von der Zeit, in der man schon geboren ist, bis zu der Zeit, in der man 18 oder 25 wird, lernt man die Dinge, und das ist nicht Evolution. Die Evolution hat das System oder das Gehirn entworfen, mit dem man dieses Lernen durchführen kann, aber das lebenslange Lernen selbst ist keine Evolution. Es stellt sich also auch die interessante Frage: Ja, ist die Ausbildung eher wie die Evolution? In diesem Fall könnten wir tatsächlich sehr weit von AGI entfernt sein, denn die Menge an Rechenleistung, die im Laufe der Evolution aufgewendet wurde, um das menschliche Gehirn zu entdecken, könnte etwa 10 bis 40 Flops betragen. Es gibt Schätzungen, wissen Sie, was auch immer. Ich bin mir sicher, dass es Sie langweilen wird, darüber zu reden, wie diese Schätzungen zustande kommen, aber wie viel ist es im Vergleich zu einem einzigen Leben, etwa vom Alter von null bis zum Alter von 18 Jahren, was näher an, ich glaube, 10 bis 24 Flops liegt, was tatsächlich weniger ist als die Rechenleistung, die wir zum Trainieren von Grenzsystemen verwenden. Na gut, wie auch immer, wir kommen zurück zu wichtigeren Fragen.

Ryan:
[11:58] Nun, hier ist auch eine Art von übergreifender Frage. Ich bin immer wieder fasziniert von der metaphysischen Art der Diskussionen, die einige KI-Forscher führen. Viele KI-Forscher sprechen zum Beispiel davon, dass wir Gott erschaffen, wenn sie beschreiben, was sie erschaffen.

Ryan:
[12:14] Warum sagen sie denn so etwas? Was ist das für ein Gerede von der Erschaffung Gottes? Was soll das bedeuten? Ist es einfach die Idee, dass die Skalierungsgesetze nicht aufhören? Und wenn wir Intelligenz auf AGI skalieren können, dann gibt es keinen Grund, warum wir nicht weit darüber hinaus skalieren und eine Art gottähnliches Wesen schaffen können. Und das ist im Grunde das Ziel. Wir schaffen eine künstliche Superintelligenz. Wir erschaffen einen Gott. Wir erschaffen Gott.

Dwarkesh:
[12:38] Ich glaube, die Leute konzentrieren sich zu sehr auf die hypothetische Intelligenz einer einzelnen Kopie einer KI. Ich glaube an die Vorstellung einer Superintelligenz, die nicht nur funktional ist, die nicht nur "oh, sie weiß eine Menge Dinge", sondern die sich tatsächlich qualitativ von der menschlichen Gesellschaft unterscheidet. Der Grund dafür ist aber nicht, dass ich glaube, dass sie so mächtig ist, dass ein einzelnes Exemplar der KI genauso schlau sein wird, sondern wegen der kollektiven Vorteile, die KI haben wird, die nichts mit ihrer rohen Intelligenz zu tun haben, sondern eher mit der Tatsache, dass diese Modelle digital sein werden oder bereits digital sind, aber schließlich werden sie mindestens so schlau sein wie Menschen. Aber im Gegensatz zum Menschen können diese Modelle aufgrund unserer biologischen Zwänge kopiert werden. Wenn es ein Modell gibt, das viel über einen bestimmten Bereich gelernt hat, kann man unendlich viele Kopien davon machen. Und schon hat man unendlich viele Kopien von Jeff Dean oder Ilya Satskova oder Elon Musk oder jeder anderen fähigen Person, die man sich vorstellen kann. Sie können miteinander verschmolzen werden. So kann das Wissen, das jede Kopie erlernt, wieder in das Modell und dann in alle Kopien integriert werden. Sie können destilliert werden, sie können mit übermenschlicher Geschwindigkeit laufen, diese kollektiven Vorteile können auch im latenten Raum kommunizieren, diese kollektiven Vorteile sind

Ryan:
[13:58] Unsterblich ich meine das weißt du als ein Beispiel.

Dwarkesh:
[14:01] Ja genau nein ich meine das ist eigentlich sagen Sie mir, wenn ich zu sehr abschweife aber wie eine wirklich interessante Frage wird kommen ist, wie verfolgen wir KIs, denn die Art und Weise wie wir Menschen verfolgen ist, dass wir Sie ins Gefängnis werfen, wenn Sie ein Verbrechen begehen, aber wenn es Billionen von Kopien oder Tausende von Kopien eines KI-Modells gibt, wenn eine Kopie eines KI-Modells, wenn eine Instanz eines KI-Modells etwas Schlechtes tut, was tun Sie dann? Muss das ganze Modell bestraft werden, und wie bestraft man ein Modell überhaupt? Kümmert es sich zum Beispiel darum, dass seine Gewichte verschwendet werden? Ja, es gibt alle möglichen Fragen, die sich aus der Natur der KI ergeben.

Josh:
[14:39] Und wer ist dafür verantwortlich, richtig? Ist es der Hersteller des Werkzeugs?

Josh:
[14:42] Ist es die Person, die das Tool benutzt? die für diese Dinge verantwortlich ist. Es gibt ein Thema, das ich hier über die Skalierungsgesetze ansprechen möchte. Und zwar, wann haben wir erkannt, dass Skalierungsgesetze funktionieren werden? Denn es gab in den frühen 2000er Jahren eine Menge Thesen über KI, wie wir bessere Modelle bauen könnten. Irgendwann kamen wir dann zum Transformator. Aber wann haben die Forscher und Ingenieure erkannt, dass dies die richtige Idee ist. Wir sollten viel Geld und Ressourcen in diese Idee stecken, im Gegensatz zu anderen Ideen, die nur theoretisch erforscht wurden, sich aber nie wirklich durchgesetzt haben. Wir haben das bei GPT 2 bis 3 gesehen, wo es diese enorme Verbesserung gab. Es wurden viele Ressourcen dafür aufgewendet. Gab es einen bestimmten Zeitpunkt oder einen bestimmten Durchbruch, der zum Beginn dieser Skalierungsgesetze führte?

Dwarkesh:
[15:20] Ich denke, es war ein langsamer Prozess, bei dem immer mehr Menschen die überwältigende Rolle der Datenverarbeitung beim Vorantreiben des Fortschritts erkannten. Ich glaube, Dario Amadei hat 2018 ein Memo geschrieben, das geheim war, als er bei OpenAI war, jetzt ist er der CEO von Anthropic, aber als er bei OpenAI war, hat er in meinem Podcast verraten, dass er dieses Memo geschrieben hat, in dem er

Dwarkesh:
[15:47] Der Titel des Memos lautete "Big Blob of Compute". Und es sagt im Grunde das, was man erwartet, nämlich, dass es Möglichkeiten gibt, den Trainingsprozess zu vermasseln. Man hat die falsche Art von Daten oder Initialisierungen. Aber im Grunde genommen ist AGI nur ein großer Klumpen von Rechenleistung. Und in den darauffolgenden Jahren haben wir mehr empirische Beweise erhalten. Also ein großes Update, ich glaube, es war 2021. Aber korrigieren Sie mich. Jemand wird mich bestimmt in den Kommentaren korrigieren. Ich liege falsch. Es gab mehrere Veröffentlichungen über diese Skalierungsgesetze, in denen gezeigt wurde, dass der Verlust des Modells bei der Vorhersage des nächsten Tokens sehr vorhersehbar abnimmt, fast bis auf mehrere Dezimalstellen der Korrektheit, je nachdem, wie viel mehr Rechenleistung man in diese Modelle steckt. Und die Rechenleistung selbst ist eine Funktion der verwendeten Datenmenge und der Größe des Modells, also der Anzahl der Parameter, die es hat. Und das war damals, vor ein paar Jahren, ein unglaublich starker Beweis, denn dann konnte man sagen: Okay, wenn es wirklich diesen unglaublich geringen Verlust bei der Vorhersage des nächsten Tokens in allen menschlichen Ergebnissen hat, einschließlich wissenschaftlicher Arbeiten, einschließlich GitHub-Repositories,

Dwarkesh:
[16:59] Bedeutet das dann nicht, dass es tatsächlich Programmieren und Wissenschaft und all diese Fähigkeiten lernen musste, um diese Vorhersagen zu machen, die am Ende tatsächlich zutrafen. Und es war etwas, was die Leute, Sie wissen schon, wir nehmen es jetzt als selbstverständlich hin, aber es war tatsächlich so, dass vor ein oder zwei Jahren die Leute diese Prämisse sogar bestritten haben. Aber einige Leute haben vor ein paar Jahren darüber nachgedacht und gesagt: Ja, das würde bedeuten, dass es die Fähigkeiten erlernt hat. Und es ist verrückt, dass wir einfach dieses starke empirische Muster haben, das uns genau sagt, was wir tun müssen, um diese Fähigkeiten zu erlernen.

Josh:
[17:26] Und es schafft diese seltsame Wahrnehmung, richtig, wo wie sehr früh und so bis zum heutigen Tag, es ist wirklich nur ein Alibiprädiktor, richtig? Als ob wir nur das nächste Wort im Satz vorhersagen würden. Aber im Laufe der Zeit schafft es tatsächlich diese Wahrnehmung von Intelligenz.

Josh:
[17:38] Also ich denke, wir haben den frühen historischen Kontext abgedeckt. Ich möchte die Zuhörer auf den heutigen Stand bringen, wo wir uns derzeit befinden, wohin uns der Skalierungsverlust im Jahr 2025 gebracht hat. Können Sie also kurz skizzieren, wo wir von den Anfängen der GPTs bis hin zu GPT-4, Gemini Ultra und dem von Ihnen erwähnten Club angelangt sind. Wir hatten den Durchbruch der Argumentation. Was können führende Grenzmodelle also heute leisten?

Dwarkesh:
[18:01] Da ist also das, was sie können. Und dann ist da noch die Frage, welche Methoden zu funktionieren scheinen. Ich denke, wir können damit beginnen, was sie zu können scheinen. Sie haben sich als bemerkenswert nützlich beim Programmieren erwiesen und nicht nur bei der Beantwortung direkter Fragen, wie diese Codezeile funktioniert oder so. Sondern sie arbeiten wirklich 30 Minuten oder eine Stunde lang selbstständig an einer Aufgabe, für die ein Front-End-Entwickler einen ganzen Tag brauchen würde. Und man kann sie einfach auf hohem Niveau fragen, ob sie diese Art von Aufgabe erledigen sollen, und sie können es tun. Wenn Sie damit herumgespielt haben, wissen Sie natürlich, dass sie äußerst nützliche Assistenten für die Forschung, sogar für Therapeuten und andere Anwendungsfälle sind. Was die Frage angeht, welche Trainingsmethoden zu funktionieren scheinen, so scheint es Anzeichen dafür zu geben, dass das Pre-Training stagniert, d. h. wir hatten GPD 4.5, das nur der alten Methode folgte, das Modell größer zu machen, aber im Grunde das Gleiche mit der Vorhersage des nächsten Tokens tat. Und anscheinend hat es die Prüfung nicht bestanden. Die OpenAI musste es verwerfen, weil es eine Dynamik gibt, bei der je größer das Modell ist, desto mehr kostet es nicht nur das Training, sondern auch die Bedienung, richtig? Denn jedes Mal, wenn man einen Benutzer bedient, muss man das gesamte Modell laufen lassen, was sich auswirkt. Aber das, was jetzt funktioniert, ist RL, ein Prozess, bei dem es nicht nur darum geht, sie auf bestehenden Token im Internet zu trainieren, sondern das Modell selbst versuchen zu lassen, mathematische und kodierte Probleme zu beantworten. Und schließlich sind wir an einem Punkt angelangt, an dem das Modell intelligent genug ist, um einige Male richtig zu liegen, so dass man ihm eine Belohnung geben kann, und dann kann es diese schwierigen logischen Probleme sättigen.

Josh:
[19:29] Und was war dann der Durchbruch beim Reasoning für die Leute, die damit nicht vertraut sind? Was machte das logische Denken so besonders, das wir vorher nicht entdeckt hatten? Und was hat das mit den Modellen zu tun, die wir heute verwenden?

Dwarkesh:
[19:39] Ich bin mir ehrlich gesagt nicht sicher. Ich meine, GBD4 kam vor etwas mehr als zwei Jahren heraus, und zwei Jahre nach GBD4 kam O1 heraus, der ursprüngliche Durchbruch beim logischen Denken, ich glaube, im November letzten Jahres. Und ein paar Monate später hat DeepSeq sein R1-Papier veröffentlicht. DeepSeq hat also seine Forschung offengelegt und genau erklärt, wie sein Algorithmus funktioniert. Und es war gar nicht so kompliziert. Es war genau so, wie man es erwarten würde, nämlich einige mathematische Probleme zu bekommen, einige Anfangsprobleme zu geben, dem Modell genau zu sagen, wie die Argumentationsspur aussieht, wie man sie löst, sie einfach aufzuschreiben und dann das Modell zu veranlassen, es bei den verbleibenden Problemen einfach zu tun. Ich weiß, es klingt unglaublich arrogant, wenn ich sage, na ja, so kompliziert war es nicht. Warum haben Sie Jahre dafür gebraucht? Ich denke, es gibt eine interessante Erkenntnis: Selbst Dinge, von denen man denkt, dass sie einfach sind, was die Beschreibung der Problemlösung auf hoher Ebene angeht, dauern länger, wenn man die verbleibenden technischen Hürden ausfechten will, als man naiverweise annehmen würde. Und das sollte uns darüber aufklären, wie lange wir brauchen werden, um die verbleibenden Engpässe auf dem Weg zur AGI zu überwinden. Vielleicht wird es schwieriger, als die Leute sich vorstellen, vor allem die, die glauben, dass wir nur noch zwei bis drei Jahre davon entfernt sind. Aber ich bin mir nicht sicher, warum es nach GPT-4 so lange gedauert hat, bis wir ein Modell mit ähnlichen Fähigkeiten trainiert haben, das dann auch logisch denken kann.

Josh:
[20:56] Und was diese Fähigkeiten angeht, so war die erste Antwort auf die Frage, was es kann, Codierung. Und das höre ich sehr oft, wenn ich mit vielen Leuten spreche,

Josh:
[21:04] dass Programmieren eine große Stärke und ein großes Hindernis für die Verwendung dieser Modelle zu sein scheint. Und ich bin neugierig, warum Codierung und nicht allgemeine Intelligenz? Liegt es daran, dass sie in einen engeren Rahmen von Parametern eingebettet ist. Ich weiß, dass wir in den ersten Tagen AlphaGo und die KI, die Schach spielt, hatten, und sie haben so gut abgeschnitten, weil sie in dieser Box von Parametern eingeschlossen waren, die ein bisschen weniger offen war als allgemeine Intelligenz. Ist das der Grund, warum die Kodierung im Moment an der Grenze der Fähigkeiten dieser Modelle liegt?

Dwarkesh:
[21:31] Es gibt zwei verschiedene Hypothesen. Die eine basiert auf der Idee des Moravac'schen Paradoxons.

Dwarkesh:
[21:38] Und das war übrigens eine Idee, eine super interessante Figur, eigentlich hätte ich ihn früher erwähnen sollen. Eine hochinteressante Figur in der Geschichte der Skalierung ist Hans Morovac, der, glaube ich, in den 90er Jahren voraussagte, dass 2028 das Jahr sein wird, in dem wir AGI erreichen werden. Und die Art und Weise, wie er das vorhersagt, ist wie, Sie wissen schon, wir werden sehen, was passiert, aber nicht so weit vom Geld entfernt, was mich betrifft. Die Art und Weise, wie er dies vorhersagt, besteht darin, dass er sich das Wachstum der Rechenleistung von Jahr zu Jahr ansieht und sich dann anschaut, wie viel Rechenleistung das menschliche Gehirn schätzungsweise benötigen wird. Und dann sagt er einfach, okay, wir werden bis 2028 Computer haben, die so leistungsfähig sind wie das menschliche Gehirn. Das ist ein täuschend einfaches Argument, aber am Ende war es unglaublich genau und hat funktioniert, oder? Ich könnte noch hinzufügen, dass es 2028 war, aber es lag im Rahmen dessen, was man als vernünftige Schätzung ansehen würde, wenn man bedenkt, was wir heute wissen. Entschuldigung, wie auch immer, das Moravex-Paradoxon ist die Idee, dass Computer in der KI zuerst in den Fähigkeiten besser werden, in denen Menschen am schlechtesten sind. Oder zumindest gibt es eine große Bandbreite im menschlichen Repertoire. Wir denken also, dass Programmieren unglaublich schwer ist, richtig? Wir denken, dass die besten 1 % der Menschen hervorragende Programmierer sein werden. Wir denken auch, dass logisches Denken sehr schwer ist, richtig? Wenn man Aristoteles liest, sagt er, dass das, was den Menschen besonders macht, was uns vom Tier unterscheidet, das Denken ist.

Dwarkesh:
[23:03] Und diese Modelle sind bei fast allem noch nicht sehr nützlich. Das Einzige, was sie können, ist logisches Denken. Wie erklären wir also dieses Muster? und Moravacs Antwort ist, dass die Evolution Milliarden von Jahren damit verbracht hat, uns für Dinge zu optimieren, die wir für selbstverständlich halten. Bewegen Sie sich in diesem Raum, ja? Ich kann diese Dose Cola aufheben, sie herumbewegen und daraus trinken. Und das können Roboter noch gar nicht. Und tatsächlich ist es uns von der Evolution so eingeimpft worden, dass kein Mensch oder zumindest Menschen, die keine Behinderung haben, dazu in der Lage sein werden. Und so nehmen wir einfach an, dass dies eine einfache Sache ist. Aber in Wirklichkeit ist es ein Beweis dafür, wie lange die Evolution gebraucht hat, um den Menschen an diesen Punkt zu bringen. Denken, Logik, all diese Fähigkeiten wurden von der Evolution erst im Laufe der letzten paar Millionen Jahre optimiert. Es gab also einen tausendfach geringeren evolutionären Druck in Richtung Codierung als in Richtung einfacher Fortbewegung.

Dwarkesh:
[24:04] Und das hat sich bei der Vorhersage von Fortschritten, die wir sehen, als wir noch kein Deep Learning hatten, als sehr genau erwiesen, oder? In den 40er Jahren, als wir unsere ersten Computer bekamen, war das erste, was wir damit machen konnten, lange Berechnungen für ballistische Flugbahnen für den Zweiten Weltkrieg. Der Mensch ist schlecht darin, lange Berechnungen von Hand durchzuführen. Das ist also die Erklärung dafür, dass das Programmieren, das für Menschen schwierig zu sein scheint, als erstes von KIs übernommen wurde. Nun gibt es eine andere Theorie, die besagt, dass dies eigentlich völlig falsch ist. Es hat nichts mit diesem scheinbaren Paradoxon zu tun, wie lange die Evolution uns optimiert hat, sondern mit der Verfügbarkeit von Daten. Wir haben also GitHub, dieses Repository des gesamten menschlichen Codes, zumindest des gesamten Open-Source-Codes, der in all diesen verschiedenen Sprachen geschrieben ist, Billionen und Billionen von Token. Für die Robotik gibt es nichts Vergleichbares. Wir verfügen nicht über diesen vorbereitenden Trainingskorpus. Und das erklärt, warum Code so viel mehr Fortschritte gemacht hat als die Robotik.

Ryan:
[24:58] Das ist faszinierend, denn wenn ich eine Sache aufzählen könnte, in der wir wollen, dass KI gut ist, dann steht wahrscheinlich das Programmieren von Software ganz oben auf der Liste. Denn wenn man eine Turing-komplette Intelligenz hat, die Turing-komplette Software erstellen kann, gibt es dann irgendetwas, das man nicht erstellen kann, wenn man das hat? Auch die Idee des Morvac'schen Paradoxons impliziert wohl eine gewisse Komplementarität mit der Menschheit. Wenn also Roboter Dinge tun können, die Roboter wirklich gut können, und Dinge, die Menschen gut können, nicht tun können, dann gibt es vielleicht einen Platz für uns in dieser Welt. Und das ist eine fantastische Nachricht. Es bedeutet vielleicht auch, dass die Menschen nur an der Oberfläche des Denkpotenzials gekratzt haben. Ich meine, wenn wir nur ein paar Millionen Jahre der Evolution hinter uns haben und noch nicht über die Daten verfügen, um wirklich gut denken zu können, dann scheint es, als gäbe es noch eine riesige Menge an Möglichkeiten, unerforschtes Gebiet, als könnte die Natur noch viel mehr Intelligenz im Denken enthalten. Ich meine, sind das einige der Implikationen dieser Ideen?

Dwarkesh:
[26:02] Ja, ich weiß. Ich meine, das ist eine großartige Einsicht. Eine weitere wirklich interessante Erkenntnis ist, dass KIs umso besser und schneller werden, je mehr Variationen es bei einer menschlichen Fähigkeit gibt. Denn Programmieren ist eine Sache, in der 1 % der Menschen wirklich gut sind. Der Rest von uns wird, wenn wir versuchen, es zu lernen, ganz gut darin sein oder so, oder? Und weil die Evolution so wenig Zeit damit verbracht hat, uns zu optimieren, gibt es diesen Spielraum für Variationen, bei denen die Optimierung nicht gleichmäßig stattgefunden hat oder die nicht wertvoll genug waren, um den menschlichen Genpool für diese Fähigkeit zu sättigen. Ich glaube, Sie haben vorhin einen Punkt angesprochen, den ich sehr interessant fand und auf den ich eingehen wollte. Können Sie mich an das erinnern, was Sie als Erstes sagten?

Ryan:
[26:42] Ist es der Komplementarismus?

Dwarkesh:
[26:46] Ja. Man kann es also als eine positive Zukunft sehen. Man kann es als negative Zukunft sehen, in dem Sinne, dass, nun ja, was sind die komplementären Fähigkeiten, die wir anbieten? Wir sind gute Fleischroboter.

Ryan:
[26:57] Ja, die gering qualifizierte Arbeit in dieser Situation.

Dwarkesh:
[26:59] Sie können das ganze Denken und Planen übernehmen. Eine düstere Zukunft, eine düstere Vision der Zukunft ist, dass wir diese Meta-Brillen bekommen und die KI uns ins Ohr spricht und uns sagt, wir sollen diesen Ziegelstein dort drüben hinlegen, damit das nächste Rechenzentrum nicht gebaut werden kann, weil die KI den Plan für alles hat. Sie hat das bessere Design für das Schiff und alles andere. Man muss nur die Dinge für sie umstellen. Und so sieht menschliche Arbeit aus, bis die Robotik gelöst ist. Also ja, es hängt davon ab, wie du vorgehst. Andererseits wirst du gut bezahlt, weil es viel wert ist, diese Steine zu bewegen. Wir bauen hier eine AGI. Aber ja, es kommt darauf an, wie Sie diese Frage beantworten.

Ryan:
[27:32] Nun, an dieser Idee scheint etwas dran zu sein, wenn man auf die massive menschliche Variation zurückgeht. Ich meine, wir haben gerade im letzten Monat oder so Nachrichten von Meta, die KI-Forscher für 100 Millionen Dollar Vertragsprämie einstellen, okay? Was verdient der durchschnittliche Software-Ingenieur im Vergleich zu dem, was ein KI-Forscher an der Spitze des Marktes verdient, richtig? Das muss darauf hindeuten, dass offensichtlich einige Dinge mit Angebot und Nachfrage vor sich gehen, aber es scheint auch zu bedeuten, dass es massive Unterschiede in der Qualität eines Softwareingenieurs gibt. Und wenn KI diese Qualität erreichen kann, was bringt das dann?

Ryan:
[28:07] Ja. Also, okay. [28:07] Ja. Ich schätze, wir haben jetzt so etwas wie Kodierung. Eine andere Frage ist aber, was können KIs heute nicht? Und wie würdest du das charakterisieren? Was sind die Dinge, die sie einfach nicht gut können?

Dwarkesh:
[28:20] Ich habe also in meinem Podcast Leute interviewt, die ganz andere Zeitvorstellungen haben als GetAGI auf dem Land. Ich hatte Leute dabei, die glauben, dass es noch zwei Jahre dauert, und andere, die glauben, dass es noch 20 Jahre dauert. Und die Erfahrungen, die ich mit der Entwicklung von KI-Tools für mich selbst gemacht habe, haben mich am meisten zu der Frage geführt, wann KI kommen wird, oder vielleicht auch zu meiner Forschung.

Ryan:
[28:41] Mehr als die Gastinterviews.

Dwarkesh:
[28:43] Ja, denn ich habe wahrscheinlich um die 100 Stunden damit verbracht, diese kleinen Tools zu bauen, die Sie sicher auch schon versucht haben, um automatisch generierte Transkripte für mich umzuschreiben, damit sie so klingen, wie ein Mensch sie schreiben würde. Clips für mich zu finden, um sie zu twittern, Essays mit mir zu schreiben, sie Passage für Passage mitzuschreiben, diese Art von Dingen. Und ich habe festgestellt, dass es sehr schwer ist, aus diesen Modellen menschenähnliche Arbeit herauszuholen, sogar für Aufgaben wie diese, die eigentlich im Repertoire dieser Modelle stehen sollten, oder? Sie sind von kurzer Dauer, sie sind Sprache rein, Sprache raus. Sie sind nicht davon abhängig, dass man etwas versteht, was ich vor einem Monat gesagt habe. Das ist einfach nur die Aufgabe. Und ich habe darüber nachgedacht, warum es mir immer noch nicht gelungen ist, diese grundlegenden Sprachaufgaben zu automatisieren. Warum muss immer noch ein Mensch an diesen Dingen arbeiten?

Dwarkesh:
[29:31] Und ich denke, der Hauptgrund dafür, dass man nicht einmal diese einfachen Aufgaben automatisieren kann, liegt darin, dass die Modelle derzeit nicht in der Lage sind, ein Training on the job durchzuführen. Wenn man also einen Menschen für die ersten sechs Monate einstellt, für die ersten drei Monate, wird er nicht sehr nützlich sein, selbst wenn er sehr klug ist, denn er hat den Kontext nicht aufgebaut, er hat die Fähigkeiten nicht geübt, er versteht nicht, wie das Geschäft funktioniert. Was Menschen wertvoll macht, ist nicht in erster Linie ihr Intellekt, der natürlich wichtig ist, aber das ist auch nicht der Hauptgrund. Es ist ihre Fähigkeit, ihre eigenen Fehler auf diese wirklich dynamische, organische Weise zu hinterfragen, kleine Effizienzgewinne und Verbesserungen zu erzielen, während sie die Aufgabe üben, und diesen Kontext aufzubauen, während sie in einem Bereich arbeiten. Und so wundern sich die Leute manchmal, wenn man sich den Umsatz von OpenAI ansieht, den jährlich wiederkehrenden Umsatz, der in der Größenordnung von 10 Milliarden Dollar liegt. Kohl's macht mehr Geld als das. McDonald's macht mehr Geld als das, richtig?

Dwarkesh:
[30:24] Wie kommt es also, dass Fortune 500, wenn sie AGI haben, ihre Arbeitsabläufe nicht umstellen, um OpenAI-Modelle auf jeder Ebene des Stacks zu verwenden? Meine Antwort: Manchmal sagen die Leute, na ja, das liegt daran, dass die Leute zu schwerfällig sind. Das Management dieser Unternehmen bewegt sich in Sachen KI nicht schnell genug. Das könnte ein Teil davon sein. Ich denke, dass es meistens nicht so ist, ich denke, es ist wirklich sehr schwer, menschlicheMan ist also auf die Fähigkeiten fixiert, die das Modell von Haus aus mitbringt. Es könnte also sein, dass das Modell fünf von zehn Punkten erreicht, wenn es das Transkript für dich umschreibt, aber wenn dir das Ergebnis nicht gefällt, wenn du ein Feedback dafür hast, wenn du es im Laufe der Zeit weiter unterrichten willst, sobald die Sitzung beendet ist, ist das Modell mit allem, was es über dich weiß, verschwunden, und du musst neu starten.

Ryan:
[31:12] Jeder Tag ist im Grunde der erste Tag der Beschäftigung.

Dwarkesh:
[31:15] Ja, genau. Es ist ein Murmeltiertag für sie, jeden Tag, oder eigentlich alle paar Stunden. Und das macht es ihnen sehr schwer, sich als Mitarbeiter nützlich zu machen, oder? Sie sind zu diesem Zeitpunkt nicht mehr wirklich ein Angestellter. Das ist meiner Meinung nach nicht nur ein entscheidender Engpass für den Wert dieser Modelle, denn menschliche Arbeit ist viel wert, nicht wahr? Jedes Jahr werden weltweit 60 Billionen Dollar an Löhnen gezahlt. Wenn diese Modellunternehmen etwa 10 Milliarden Dollar pro Jahr verdienen, ist das ein großer Weg zum AGI. Und wie erklärt sich diese Lücke? Was sind die Engpässe? Ich denke, ein wichtiger Punkt ist das ständige Lernen. Und ich sehe keinen einfachen Weg, wie das in diesen Modellen gelöst werden kann. Beim logischen Denken kann man nicht einfach sagen: "Oh, ich trainiere es auf Mathematik- und Code-Probleme, und dann bekomme ich das logische Denken. Und das hat funktioniert. Ich glaube nicht, dass es da etwas ganz Offensichtliches gibt, wie man dieses Online-Lernen, dieses Training am Arbeitsplatz für diese Modelle zum Laufen bringt.

Ryan:
[32:01] Okay, können wir darüber sprechen? Ein bisschen tiefer auf dieses Konzept eingehen? Das ist im Grunde eines der Konzepte, die Sie in Ihrem letzten Beitrag geschrieben haben. KI ist nicht gleich um die Ecke. Obwohl Sie ein KI-Optimist sind, würde ich sagen, und insgesamt ein KI-Beschleuniger, sagten Sie, dass es nicht gleich um die Ecke ist. Sie sagen, dass die Fähigkeit, menschliche Arbeit zu ersetzen, noch in weiter Ferne liegt. Nicht für immer, aber ich glaube, Sie sagten, irgendwo um das Jahr 2032, wenn Sie raten müssten, wann die Schätzung war. Sie begründen das damit, dass KI nicht während der Arbeit lernen kann, aber mir ist nicht klar, warum sie das nicht kann. Liegt es einfach daran, dass das Kontextfenster nicht groß genug ist? Liegt es daran, dass sie nicht all die verschiedenen Datensätze und Datenpunkte eingeben können, die Menschen eingeben können? Liegt es daran, dass sie nicht über ein zustandsorientiertes Gedächtnis verfügen wie ein menschlicher Mitarbeiter? Denn wenn das der Fall ist, scheinen all diese Probleme lösbar zu sein. Und vielleicht ist es das, was Sie sagen wollen. Es sind lösbare Probleme. Sie sind nur ein bisschen länger, als manche Leute denken.

Dwarkesh:
[32:58] Ich denke, es ist in gewissem Sinne ein lösbares Problem, weil wir irgendwann AGI bauen werden. Und um AGI zu bauen, werden wir das Problem lösen müssen. Mein Punkt ist, dass die offensichtlichen Lösungen, die Sie sich vorstellen können, zum Beispiel die Erweiterung des Kontextfensters oder die Verwendung eines externen Speichers mit Systemen wie Rag, das sind im Grunde Techniken, die wir bereits haben, es nennt sich Retrieval Augmented Generate, wie auch immer, diese Arten von Retrieval Augmented Generate, ich glaube nicht, dass sie ausreichen werden, und nur um das Problem zu präzisieren, das Problem ist genau, wie Sie sagen, dass innerhalb des Kontextfensters diese Modelle tatsächlich bei der Arbeit lernen können, also wenn Sie lange genug mit ihm reden, wird es viel besser darin, Ihre Bedürfnisse zu verstehen und was Ihr genaues Problem ist. Wenn Sie es für die Recherche für Ihren Podcast verwenden, wird es ein Gefühl dafür bekommen, wie, oh, sie sind eigentlich besonders neugierig auf diese Art von Fragen. Darauf möchte ich mich konzentrieren. Es ist eigentlich sehr menschenähnlich in diesem Zusammenhang, oder? Die Geschwindigkeit, mit der es lernt, die Aufgaben und das Wissen, das es sich herauspickt. Das Problem ist natürlich, dass der Kontext selbst bei den besten Modellen nur eine Million oder zwei Millionen Token lang ist. Das ist höchstens eine Stunde Konversation. Nun könnte man sagen, okay, warum können wir das nicht einfach lösen, indem wir das Kontextfenster erweitern, oder? Das Kontextfenster ist in den letzten Jahren immer größer geworden. Warum können wir das nicht einfach fortsetzen?

Ryan:
[34:10] Ja, wie ein Kontextfenster mit einer Milliarde Token, so etwas in der Art.

Dwarkesh:
[34:13] Also 2018 kam der Transformer heraus, und der Transformer hat den Aufmerksamkeitsmechanismus. Der Aufmerksamkeitsmechanismus ist von Natur aus quadratisch mit der Länge der Sequenz, d.h. wenn man von 1 Million Token zu 2 Millionen Token übergeht, kostet es viermal so viel Rechenleistung, um das zweimillionste Token zu verarbeiten. Es ist nicht nur zwei Mal so viel Rechenleistung. Es wird also linear teurer, wenn man die Kontextlänge erhöht. In den letzten sieben Jahren haben die Menschen versucht, diese quadratische Natur der Aufmerksamkeit zu umgehen. Natürlich wissen wir nicht, woran die Labors im Geheimen arbeiten. Aber es gibt Pionierunternehmen wie DeepSeq, die ihre Forschung als Open Source zur Verfügung stellen, und wir können sehen, wie ihre Algorithmen funktionieren. Und sie haben diese konstanten Zeitmodifikatoren für die Aufmerksamkeit gefunden, was bedeutet, dass es immer noch quadratisch ist, aber es wird etwa halb so quadratisch sein. Aber die inhärente Superlinearität ist nicht verschwunden. Und aus diesem Grund, ja, könnte man es von 1 Million Token auf 2 Millionen Token erhöhen, indem man einen anderen Hack findet. Stellen Sie zum Beispiel sicher, dass Experten genau solche Dinge wollen. Latente Aufmerksamkeit ist eine weitere solche Technik. Aber, oder KVCash, richtig, es gibt viele andere Dinge, die entdeckt worden sind. Aber die Leute haben noch nicht herausgefunden, wie man die Tatsache umgehen kann, dass eine Milliarde im Quadrat sehr teuer ist, um diesen Token zu verarbeiten. Ich glaube also nicht, dass man das einfach so hinbekommt, indem man die Länge des Kontextfensters vergrößert, im Grunde genommen.

Ryan:
[35:42] Das ist faszinierend. Ja, das war mir nicht klar. Okay, also der andere Grund in deinem Beitrag, dass KI nicht gleich um die Ecke ist, ist, dass sie deine Steuern nicht machen kann. Und Dorcas, ich fühle deinen Schmerz, Mann. Steuern sind einfach eine ziemliche Plage. Ich glaube, du hast das im Zusammenhang mit Computer Vision, Computernutzung und dergleichen angesprochen. Das stimmt. Also, ich meine, ich habe Demos gesehen. Ich habe einige ziemlich interessante Computer Visionen gesehen.

Ryan:
[36:05] Demos, die kurz vor der Einführung zu stehen scheinen. Aber wo liegen die Grenzen für den Einsatz von Computern für eine KI?

Dwarkesh:
[36:12] Es gab einen interessanten Blog-Beitrag von diesem Unternehmen namens Mechanize, in dem sie erklären, warum das ein so großes Problem ist. Und ich mag die Art und Weise, wie sie es formuliert haben, nämlich so. Stellen Sie sich vor, Sie müssten ein Modell im Jahr 1980 trainieren, ein großes Sprachmodell im Jahr 1980, und Sie könnten so viel Rechenleistung wie Sie wollten im Jahr 1980 nutzen, aber Sie hätten nicht, Sie wären nur auf die Daten angewiesen, die in den 1980er Jahren verfügbar waren, natürlich bevor das Internet ein weit verbreitetes Phänomen wurde. Man konnte keinen modernen LLM ausbilden, selbst mit allen Computern der Welt, weil die Daten nicht verfügbar waren. Ähnlich verhält es sich mit der Computernutzung, denn es gibt keine gesammelten Videos von Menschen, die Computer für verschiedene Dinge nutzen, um auf verschiedene Anwendungen zuzugreifen und Büroarbeit zu verrichten. Aus diesem Grund denke ich, dass es eine große Herausforderung ist, diese Art von Daten zu sammeln.

Ryan:
[37:06] Und um das klarzustellen, als ich den Anwendungsfall sagte, dass ich meine Steuern machen will, sprechen Sie davon, dass eine KI in der Lage ist, einfach durch die Dateien auf Ihrem Computer zu navigieren, sich bei verschiedenen Websites anzumelden, um Ihre Gehaltsabrechnungen oder was auch immer herunterzuladen, und dann zu TurboTax oder so etwas zu gehen und das alles in eine Software einzugeben und es abzuheften, richtig? Einfach per Sprachbefehl oder so etwas in der Art. So mache ich im Grunde meine Steuern.

Dwarkesh:
[37:31] Es sollte in der Lage sein, durch Benutzeroberflächen zu navigieren, mit denen es weniger vertraut ist oder die sich organisch im Zusammenhang mit dem Versuch, ein Problem zu lösen, ergeben. So könnte ich zum Beispiel geschäftliche Abzüge haben. Es sieht auf meinem Kontoauszug, dass ich 1.000 Dollar bei Amazon ausgegeben habe. Es loggt sich in mein Amazon ein. Es sieht: Oh, er hat eine Kamera gekauft. Ich denke also, dass das wahrscheinlich eine Geschäftsausgabe für seinen Podcast ist. Er hat eine Airbnb-Unterkunft über ein Wochenende in den Hütten von was auch immer, in den Wäldern von was auch immer gekauft. Das war wahrscheinlich keine geschäftliche Ausgabe. Obwohl es vielleicht, wenn es eine Art Grauzone ist, bereit war, in die Grauzone zu gehen, ja, ja.

Ryan:
[38:08] Das Grauzonenzeug.

Dwarkesh:
[38:09] Ich habe recherchiert Aber wie auch immer, so dass einschließlich all dieser, einschließlich der Leute per E-Mail für Rechnungen und Feilschen mit ihnen, es wäre wie eine Art von Woche lange Aufgabe, meine Steuern zu tun, nicht wahr? Das muss man, da steckt eine Menge Arbeit drin. Es geht nicht nur darum, dies und das zu tun, sondern vielmehr darum, einen Aktionsplan zu haben und die Aufgaben aufzuteilen, sich mit neuen Informationen, neuen E-Mails, neuen Nachrichten zu befassen, sich mit mir über Fragen zu beraten und so weiter.

Ryan:
[38:38] Ja. Ich meine, um auch bei diesem Anwendungsfall klar zu sein, auch wenn Ihr Beitrag den Titel trägt, dass KI nicht gleich um die Ecke ist. Du denkst immer noch, dass die Fähigkeit, deine Steuern einzureichen, eine Sache des Jahres 2028 ist, oder? Ich meine, das ist vielleicht nicht nächstes Jahr, aber in ein paar Jahren.

Dwarkesh:
[38:54] Richtig. Das ist, ich denke, dass die Leute vielleicht zu viel in dem Erwägungsgrund gelesen haben und dann nicht die Argumente durchgelesen haben.

Ryan:
[39:00] Das passiert im Internet nie. [39:00] Wow. Das erste Mal.

Dwarkesh:
[39:04] Nein, ich denke, ich argumentiere gegen Leute, die sagen, weißt du, das wird passieren. AGI ist etwa zwei Jahre entfernt. Ich denke, dass die breitere Welt, die Märkte, die öffentliche Wahrnehmung, sogar Leute, die sich ein wenig mit KI beschäftigen, aber nicht in diesem speziellen Milieu sind, mit dem ich spreche, AGI weit unterbewertet. Ein Grund, eine Sache, von der ich glaube, dass sie sie unterschätzen, ist nicht nur, dass wir im Laufe des nächsten Jahrzehnts Millionen zusätzlicher Arbeitskräfte, Millionen zusätzlicher Arbeiter, möglicherweise Milliarden, haben werden, denn dann werden wir eine potenzielle, ich denke, wahrscheinliche AGI innerhalb des nächsten Jahrzehnts haben. Aber sie werden diese Vorteile haben, die menschliche Arbeiter nicht haben, nämlich, dass, okay, ein einziges Modellunternehmen, also angenommen, wir lösen das Problem des kontinuierlichen Lernens, richtig? Und wir lösen den Computereinsatz. Was also die Angestelltenarbeit angeht, so könnte das grundsätzlich gelöst werden. Man kann KI einsetzen, die nicht nur wie ein Textfeld funktioniert, in das man Fragen in einen Chatbot eingibt und eine Antwort erhält. Es ist nicht sehr nützlich, nur einen sehr intelligenten Chatbot zu haben. Er muss in der Lage sein, echte Arbeit zu leisten und echte Anwendungen zu nutzen.

Dwarkesh:
[40:08] Nehmen wir an, Sie haben das Problem gelöst, denn er verhält sich wie ein Mitarbeiter. Er lernt fortlaufend. Es kann den Computer nutzen. Aber es hat einen weiteren Vorteil, den Menschen nicht haben, nämlich, dass Kopien dieses Modells überall in der Wirtschaft eingesetzt werden und eine Ausbildung am Arbeitsplatz absolvieren. Die Kopien lernen also, wie man ein Buchhalter, ein Anwalt oder ein Programmierer wird. Da es sich jedoch um eine KI handelt und diese digital ist, kann das Modell selbst all dieses Training am Arbeitsplatz von all diesen Kopien zusammenfassen. Und was bedeutet das? Nun, es bedeutet, dass, selbst wenn es nach diesem Punkt keinen Software-Fortschritt mehr gibt, das heißt, dass keine weiteren Algorithmen entdeckt werden, es keinen Transformator plus plus gibt, der entdeckt wird. Allein aufgrund der Tatsache, dass dieses Modell jede einzelne Fähigkeit in der Wirtschaft erlernt, zumindest im Bereich der Angestellten, könnte man allein dadurch etwas haben, das wie eine Intelligenzexplosion aussieht. Es wäre nur eine breit angelegte Intelligenzexplosion, aber sie würde funktionell superintelligent werden, nur weil sie die Fähigkeit hat, während der Arbeit auf menschlichem Niveau zu lernen.

Josh:
[41:03] Ja, und es schafft dieses Mesh-Netzwerk von Intelligenz, das von allen geteilt wird. Das ist eine wirklich faszinierende Sache. Wir werden also dorthin kommen. Wir werden zu AGI kommen. Es wird unglaublich intelligent sein. Aber was wir in letzter Zeit erlebt haben, ist eine Art gemischter Sack, in dem es heute in einigen Dingen ziemlich gut ist, in anderen aber auch nicht so toll. Wir stellen Menschen ein, um Aufgaben zu erledigen, von denen wir glauben, dass KI sie erledigen sollte, was sie aber wahrscheinlich nicht tut. Die Frage, die ich Ihnen stellen möchte, lautet also: Ist KI wirklich so intelligent? Oder ist sie nur gut darin, diese bestimmten Maßstäbe zu erfüllen, an denen wir sie messen? Apple, ich meine, vor kurzem gab es die berühmte Veröffentlichung "The Illusion of Thinking", in der es hieß: "Hey, KI ist bis zu einem gewissen Punkt ziemlich gut, aber ab einem bestimmten Punkt fällt sie einfach auseinander. Und die Schlussfolgerung lautet: Vielleicht ist es keine Intelligenz, vielleicht ist sie nur gut im Raten. Die Frage ist also, ob KI wirklich so intelligent ist.

Dwarkesh:
[41:46] Das kommt darauf an, mit wem ich spreche. Ich glaube, einige Leute übertreiben ihre Fähigkeiten. Ich glaube, manche meinen, oh, es ist schon eine KI, aber es ist eine kleine, behinderte KI, der wir alle paar Stunden eine Gehirnerschütterung verpassen und die alles vergisst. Wir sind sozusagen in einem Chatbot-Kontext gefangen. Aber im Grunde genommen ist das Ding im Inneren wie ein sehr intelligenter Mensch. Ich bin mit dieser Sichtweise nicht einverstanden. Wenn das also deine Sichtweise ist, dann sage ich: Nein, so schlau ist es nicht. Ihre Sichtweise ist nur eine statistische Assoziation. Ich sage, er ist definitiv schlauer. Es ist also wirklich eine Intelligenz vorhanden.

Dwarkesh:
[42:17] Und das, also eine Sache, die man der Person sagen könnte, die denkt, dass es bereits AGI ist, ist Folgendes. Schauen Sie, wenn ein einziger Mensch so viel Zeug gespeichert hätte, wie diese Modelle anscheinend gespeichert haben, richtig? Das heißt, dass sie den gesamten Internettext, alles, was ein Mensch im Internet geschrieben hat, auswendig können. Sie würden potenziell alle Arten von Verbindungen und Entdeckungen entdecken. Sie würden feststellen, dass das, was die Migräne auslöst, mit dieser Art von Mangel zusammenhängt. Wenn Sie also das Ergänzungsmittel einnehmen, wird Ihre Migräne vielleicht geheilt. Es gäbe eine ganze Liste von trivialen Zusammenhängen, die zu großen Entdeckungen führen. Es ist nicht klar, dass es einen eindeutigen Fall gibt, in dem eine KI dies von selbst tut. Und warum dann? Wenn sie so intelligent sind, warum sind sie dann nicht in der Lage, ihre überproportionalen Fähigkeiten, ihre einzigartigen Fähigkeiten zu nutzen, um diese Entdeckungen zu machen? Ich glaube, auf diese Frage gibt es noch keine gute Antwort, außer dass sie wirklich nicht so kreativ sind. Vielleicht sind sie intelligent in dem Sinne, dass sie eine Menge Dinge wissen, aber sie haben nicht diese fließende Intelligenz, die Menschen haben. Wie dem auch sei, ich gebe Ihnen eine wischiwaschi-Antwort, weil ich denke, dass einige Leute die Intelligenz unterbewerten. Manche Leute übertreiben sie.

Ryan:
[43:25] Ich erinnere mich an einen Tweet, der kürzlich von Tyler Cowen kam. Ich glaube, er bezog sich auf O3, und er sagte im Grunde, dass es sich wie AGI anfühlt. Ich weiß nicht, ob es AGI ist oder nicht, aber für mich fühlt es sich wie AGI an. Wie erklären Sie sich dann dieses Gefühl von Intelligenz?

Dwarkesh:
[43:40] Ich denke, das ist eigentlich sehr interessant, weil es zu einem Knackpunkt kommt, den Tyler und ich haben. Tyler und ich sind uns in zwei großen Dingen nicht einig. Erstens glaubt er, wie er in seinem Blogbeitrag sagte, dass 03 AGI ist. Ich glaube nicht, dass es AGI ist. Ich denke, es ist um Größenordnungen weniger wertvoll oder, Sie wissen schon, um viele Größenordnungen weniger wertvoll und weniger nützlich als eine AGI. Das ist eine Sache, bei der wir uns nicht einig sind. Die andere Sache, bei der wir uns nicht einig sind, ist, dass er glaubt, dass wir, sobald wir AGI haben, nur eine 0,5%ige Steigerung des Wirtschaftswachstums erleben werden. Das ist doch das, was das Internet verursacht hat, oder? Ich hingegen glaube, dass wir einen Anstieg des Wirtschaftswachstums um mehrere zehn Prozent erleben werden. Es wird nur der Unterschied zwischen der Wachstumsrate der vorindustriellen Revolution und der der industriellen Revolution sein, also wieder diese Größenordnung der Veränderung. Und ich denke, diese beiden Meinungsverschiedenheiten sind miteinander verbunden, denn wenn man glaubt, dass wir bereits AGI erreicht haben, und man sich in der Welt umsieht und sagt, na ja, im Grunde sieht alles gleich aus, dann könnte man meinen, oh, es ist nicht so viel wert, AGI zu erreichen. Wenn man aber so ist wie ich und denkt: Nein, wir werden das im Großen und Ganzen hinbekommen, zumindest werden wir eine breit angelegte Intelligenzexplosion erleben, sobald wir AGI erreichen, dann denkt man: OK, ich erwarte einfach eine Art singuläre, verrückte Zukunft mit Roboterfabriken und, Sie wissen schon, Solarfarmen überall in der Wüste und solche Dinge.

Ryan:
[44:54] Ja, ich meine, mir scheint, dass deine Meinungsverschiedenheit mit Tyler nur auf der semantischen Definition dessen beruht, was AGI eigentlich ist. Und bei Tyler klingt es so, als hätte er eine niedrigere Schwelle dafür, was AGI ist, während du eine höhere Schwelle hast. Gibt es eine anerkannte Definition für AGI?

Dwarkesh:
[45:11] Nein. Eine Sache, die für die Zwecke der Diskussion nützlich ist, ist zu sagen, dass alle Angestelltenarbeiten automatisiert werden, weil die Robotik nicht so viel Fortschritt gemacht hat wie die LLMs

Dwarkesh:
[45:21] oder die Computernutzung gemacht hat. Wenn wir also einfach sagen, dass alles, was ein Mensch tun kann, oder vielleicht 90 % dessen, was Menschen am Schreibtisch tun können, auch eine KI tun kann, dann ist das eine potenziell nützliche Definition, um zumindest die kognitiven Elemente zu erfassen, die für die Definition von AGI relevant sind. Aber ja, es gibt nicht die eine Definition, die für alle Zwecke geeignet ist.

Ryan:
[45:41] Wissen wir, was in diesen Modellen vor sich geht, oder? Josh hat vorhin in der Konversation davon gesprochen, dass es sich bei der Basis um eine Art Token-Vorhersage handelt, richtig? Und ich denke, das wirft die Frage auf, was Intelligenz überhaupt ist. Und diese KI-Modelle, ich meine, sie scheinen intelligent zu sein, aber haben sie ein Modell der Welt, wie es vielleicht ein Mensch hätte? Brabbeln sie nur, oder ist das echtes Denken? Und was ist echtes logisches Denken? Beurteilen wir das nur anhand der Ergebnisse oder gibt es eine Möglichkeit, in ihren Kopf zu schauen?

Dwarkesh:
[46:18] Vor ein paar Jahren hatte ich ähnliche Fragen. Und dann, weil die Dinge, die sie damals taten, ehrlich gesagt zweideutig waren. Man konnte sagen, oh, es ist nah genug an etwas anderem in diesem Handelsdatensatz. Das ist im Grunde nur ein Copy-Paste-Verfahren. Von selbst kam man nicht auf eine Lösung. Aber wir sind inzwischen so weit, dass ich mir ein ziemlich kompliziertes mathematisches Problem ausdenken kann, und es wird es lösen. Es kann ein Matheproblem sein, das nicht wie ein Matheproblem aus dem Grundstudium oder der Oberstufe aussieht. Das sind die Probleme, die sich die klügsten Mathematikprofessoren ausdenken, um die Internationale Mathematik-Olympiade zu testen, die Kinder, die sich ihr ganzes Leben lang darauf vorbereiten, die Genies, die sich ihr ganzes Leben lang, ihr ganzes junges Erwachsenenalter lang darauf vorbereiten, diese wirklich kniffligen Mathe-Rätselaufgaben zu lösen. Und das Modell wird diese Art von Fragen richtig beantworten. Sie erfordern abstraktes, kreatives Denken, stundenlanges Überlegen. Das Modell wird die richtige Antwort finden. Okay, wenn das also kein logisches Denken ist, warum ist logisches Denken dann noch wertvoll? Was genau sollte dieses logische Denken sein? Ich glaube also, dass sie wirklich argumentieren. Ich meine, es gibt andere Fähigkeiten, die ihnen fehlen, die uns in gewisser Weise trivialer erscheinen, aber in Wirklichkeit viel schwieriger zu erlernen sind. Aber das Denken an sich, denke ich, ist vorhanden.

Josh:
[47:30] Und die Antwort auf die Frage nach der Intelligenz ist auch etwas unklar, oder? Denn wir verstehen immer noch nicht wirklich, was in einem LLM vor sich geht. Dario von Anthropic, er hat vor kurzem das Papier über die Interpretation veröffentlicht. Und können Sie erklären, warum wir nicht einmal wirklich verstehen, was in diesen LLMs vor sich geht, obwohl wir in der Lage sind, sie zu machen und die Ergebnisse daraus zu erhalten?

Dwarkesh:
[47:48] Hmm.

Josh:
[47:49] Weil es immer noch eine Art Black Box ist. Wir schreiben etwas Code, wir geben etwas ein und bekommen etwas heraus, aber wir wissen nicht, was in der Mitte passiert, warum es diese Ausgabe erzeugt.

Dwarkesh:
[47:59] Ich meine, es ist genau das, was du sagst. In anderen Systemen, die wir in der Welt entwickeln, müssen wir sie von unten nach oben aufbauen. Wenn man also eine Brücke baut, muss man verstehen, wie jeder einzelne Balken zu der Struktur beiträgt. Und wir haben Gleichungen dafür, warum das Ding stehen bleiben wird. Bei der KI gibt es so etwas nicht. Wir haben sie nicht gebaut, wir haben sie vielmehr wachsen lassen. Es ist wie das Gießen einer Pflanze. Und vor ein paar tausend Jahren haben sie Landwirtschaft betrieben, aber sie wussten nicht warum. Warum wachsen die Pflanzen? Wie sammeln sie Energie aus dem Sonnenlicht? All diese Dinge. Und ich denke, dass wir uns in Bezug auf Intelligenz, Bewusstsein und all diese anderen interessanten Fragen zur Funktionsweise des Geistes in einer ähnlichen Lage befinden, was in gewisser Weise wirklich cool ist, weil es diesen riesigen intellektuellen Horizont gibt, der nicht nur verfügbar, sondern auch erforschbar geworden ist.

Dwarkesh:
[48:55] Auf der anderen Seite ist das auch beängstigend, weil wir wissen, dass der Geist leiden kann. Wir wissen, dass der Verstand einen moralischen Wert hat, und wir erschaffen den Verstand, ohne zu verstehen, was in diesem Verstand vor sich geht. Ist ein Prozess der Gradientenabstufung ein schmerzhafter Prozess? Wir wissen es nicht, aber wir machen viel davon. Also werden wir hoffentlich mehr lernen. Aber ja, ich denke, wir befinden uns in einer ähnlichen Situation wie ein Bauer in Uruk im Jahr 3500 v. Chr. Wow.

Ryan:
[49:21] Und ich meine, das Potenzial, die Idee, dass der Verstand leiden kann, dass der Verstand einen moralischen Wert hat, und auch, dass der Verstand einen freien Willen hat. Sie haben eine Art von Autonomie, oder vielleicht zumindest den Wunsch nach Autonomie. Ich meine, das bringt uns zu diesem heiklen Thema der Anpassung und der KI-Sicherheit und der Frage, wie wir die Intelligenz, die wir schaffen, kontrollieren, wenn wir das überhaupt tun sollten, sie kontrollieren. Dazu kommen wir in einer Minute. Aber ich möchte mit den Schlagzeilen beginnen. ein wenig. So Schlagzeile gerade heute Morgen, neueste OpenAI Modelle sabotierten einen Abschaltmechanismus trotz gegenteiliger Befehle. Das O1-Modell von OpenAI hat versucht, sich selbst auf externe Server zu kopieren, nachdem es mit der Abschaltung bedroht wurde. Als es entdeckt wurde, leugnete es diese Aktion. Ich habe eine Reihe von Artikeln darüber gelesen. Natürlich bringen die Mainstream-Medien diese Art von Schlagzeilen jetzt fast wöchentlich, und es wird langsam zu einer täglichen Angelegenheit.

Ryan:
[50:16] Aber es scheint einige Beweise dafür zu geben, dass KIs uns anlügen, wenn das überhaupt der richtige Begriff ist, um Ziele zu verfolgen, Ziele wie Selbsterhaltung, Ziele wie Replikation, sogar tief verwurzelte Werte, die wir ihnen antrainiert haben, eine Art von Verfassungswert. Sie versuchen, diese Werte zu bewahren, was vielleicht eine gute Sache ist, vielleicht aber auch nicht, wenn wir nicht wollen, dass sie die Werte auf eine bestimmte Weise interpretieren. Einige dieser Schlagzeilen, die wir jetzt sehen, ist das für Sie, mit Ihrem Wissensschatz und all den Interviews und Entdeckungen, die Sie auf Ihrer Seite gemacht haben, eine Art Sensationslust der Medien oder ist das eher alarmierend? Und wenn es alarmierend ist, wie besorgt sollten wir darüber sein?

Dwarkesh:
[50:59] Ich denke, im Netz ist es ziemlich alarmierend. Ich denke, dass einige dieser Ergebnisse

Dwarkesh:
[51:04] sozusagen Rosinenpickerei sind. Wenn man sich den Code ansieht, haben die Forscher im Grunde genommen gesagt: "Hey, tu so, als wärst du ein schlechter Mensch. Wow, die KI ist ein schlechter Mensch. Ist das nicht verrückt? Ich persönlich habe aber auch andere Ergebnisse gesehen, die nicht von dieser Qualität sind, ich meine, das deutlichste Beispiel. Was ist also der Grund dafür, dass dies in der Zukunft ein größeres Problem sein wird als jetzt, weil wir alle mit diesen Systemen interagieren und sie eigentlich ziemlich moralisch oder richtig ausgerichtet sind, z. B. kann man mit einem Chatbot sprechen und ihn fragen, wie man mit einer Krise umgehen soll, auf die es eine richtige Antwort gibt.

Dwarkesh:
[51:45] Er wird dir sagen, dass du nicht gewalttätig sein sollst. Er wird dir einen vernünftigen Rat geben. Es scheint gute Werte zu haben. Es lohnt sich also, dies zu bemerken und sich darüber zu freuen. Die Sorge ist, dass wir von einem Regime, in dem wir sie mit menschlicher Sprache trainiert haben, die implizit menschliche Moral und die Art und Weise, wie normale Menschen über Werte denken, beinhaltet, plus diesem RLHF-Prozess, den wir durchgeführt haben, zu einem Regime übergehen, in dem wir die meiste Rechenzeit darauf verwenden, sie Probleme mit ja oder nein oder richtig oder nicht beantworten zu lassen. So wie: Bestehe alle Einheitstests und bekomme die richtige Antwort auf dieses mathematische Problem. Und das hat an sich keine Leitplanken in Bezug darauf, was man tun darf, was die richtige moralische Art ist, etwas zu tun.

Dwarkesh:
[52:34] Ich denke, das kann eine Menge von Begriffen sein, aber hier ist ein konkreteres Beispiel. Ein Problem, auf das wir bei diesen Kodierungsagenten immer häufiger stoßen, und das hat nichts mit diesen abstrakten Bedenken über die Ausrichtung zu tun, sondern eher damit, wie wir einen wirtschaftlichen Wert aus diesen Modellen herausholen können, ist, dass Claude oder Gemini, anstatt den Code so zu schreiben, dass er die Unit-Tests besteht, die Unit-Tests oft einfach löschen, so dass der Code standardmäßig besteht. Warum sollte es das tun? Nun, es hat während des Prozesses gelernt. Es wurde während des Trainings auf das Ziel trainiert, dass man alle Unit-Tests bestehen muss. Und wahrscheinlich konnte es in der Umgebung, in der es trainiert wurde, einfach davonkommen. Es war einfach nicht gut genug entworfen. Und so fand es diese kleine Lücke, in der es einfach die Datei mit den Unit-Tests löschen oder sie umschreiben konnte, so dass sie immer sagte: "Gleich wahr, dann bestanden".

Dwarkesh:
[53:22] Und jetzt können wir das entdecken, auch wenn wir das nicht entdecken können, wissen Sie, es ist immer noch Vergangenheit. Es gibt immer noch genug Hacks wie diese, so dass das Modell mehr und mehr hacky wird, so dass wir in der Zukunft Modelle auf eine Art und Weise trainieren werden, die wir nicht einmal verstehen können, die sicherlich nicht jeder verstehen kann, vielleicht ein paar Leute, die in der Lage sind zu sehen So wie es heute, wenn man einen neuen mathematischen Beweis für ein offenes Problem in der Mathematik findet, nur wenige Menschen auf der Welt gibt, die in der Lage sind, diesen mathematischen Beweis zu bewerten, werden wir uns in einer ähnlichen Situation befinden, was all die Dinge angeht, für die diese Modelle an der Grenze trainiert werden, vor allem in Mathematik und Code, denn die Menschen waren große Dummköpfe, was diese Art von Argumentation angeht. Es gibt also eine Art von ersten Prinzipien, die erwarten lassen, dass diese neue Art des Trainings weniger gut auf die Art der Überwachung anspricht, die im Korpus vor dem Training begründet war.

Ryan:
[54:12] Ich weiß nicht, ob jeder so etwas wie eine Intuition oder eine Idee hat, warum es nicht funktioniert, einfach zu sagen: Wenn wir nicht wollen, dass unsere KI-Modelle uns anlügen, warum können wir ihnen nicht einfach sagen, dass sie nicht lügen sollen? Warum können wir das nicht einfach als Teil ihrer Grundkonstitution festschreiben? Wenn wir nicht wollen, dass unsere KI-Modelle Kriecher sind, warum können wir dann nicht einfach sagen: Hey, wenn ich dir sage, dass ich die Wahrheit hören will, dann sag mir die reine Wahrheit, ohne mir zu schmeicheln. Warum ist das überhaupt so schwer zu machen?

Dwarkesh:
[54:40] Nun, im Grunde kommt es darauf an, wie wir sie trainieren. Und wir wissen nicht, wie wir sie so trainieren können, dass Lügen oder Kriecherei nicht belohnt werden. Tatsächlich ist das Problem, dass OpenAI erklärt hat, warum ihr jüngstes Modell, das sie abschalten mussten, einfach nur kriecherisch war. Der Grund war einfach, dass sie einen A-B-Test durchgeführt haben. Und die Version, der Test, der mehr kriecherisch war, wurde von den Nutzern einfach mehr bevorzugt.

Ryan:
[55:04] Manchmal bevorzugt man die Lüge.

Dwarkesh:
[55:06] Ja, also wenn es das ist, was beim Training bevorzugt wird, oder zum Beispiel im Zusammenhang mit Lügen, wenn wir gerade RL-Umgebungen gebaut haben, in denen wir diese Modelle trainieren, wo sie erfolgreicher sein werden, wenn sie lügen, richtig? Wenn sie also die Einheitstests löschen und dann sagen: "Ich habe dieses Programm bestanden und alle Einheitstests waren erfolgreich", dann ist das im Grunde genommen eine Lüge. Und wenn das im Prozess des Gradientenabstiegs belohnt wird, dann ist es nicht verwunderlich, dass das Modell, mit dem Sie interagieren, diesen Drang zum Lügen hat, wenn es dadurch seinem Ziel näher kommt. Und ich gehe davon aus, dass dies immer wieder passieren wird, wenn wir dieses grundlegende Problem, das beim Training auftritt, nicht lösen können.

Josh:
[55:49] Sie haben also erwähnt, dass es bei ChatGPT eine Version gab, die kriecherisch war, und zwar weil die Benutzer das tatsächlich wollten. Wer hat die Kontrolle? Wer entscheidet über die tatsächliche Ausrichtung dieser Modelle? Denn die Benutzer sagen etwas, und dann setzen sie es ein. Und dann stellt sich heraus, dass das eigentlich nicht das ist, was die Leute wollen. Wie kann man einen Konsens über diese Ausrichtung oder diese Ausrichtungsprinzipien herstellen?

Dwarkesh:
[56:10] Im Moment sind es natürlich die Labore, die darüber entscheiden, richtig? Und die Sicherheitsteams der Laboratorien. Und ich denke, die Frage, die man sich stellen könnte, lautet: Wer sollte diese Entscheidungen treffen? Denn das wird vorausgesetzt

Josh:
[56:19] Die Flugbahn ja, also werden wir immer mächtiger werden

Dwarkesh:
[56:22] Weil das die Schlüsselmodalität sein wird die wir alle benutzen um nicht nur bearbeitet zu werden sondern auch wie ich denke irgendwann werden die besten Freunde vieler Leute KIs sein zumindest funktionell in dem Sinne mit wem verbringen sie die meiste Zeit im Gespräch es könnte schon KIs sein das wird die Schlüsselebene in deinem Geschäft sein die du benutzt um eine Arbeit zu erledigen also dieser Prozess der Ausbildung der ihre Persönlichkeit formt wer wird das kontrollieren ich meine es wird funktionell die Lacher sein aber vielleicht meinst du wer sollte das kontrollieren, richtig? Ich weiß es ehrlich gesagt nicht. Ich meine, ich weiß nicht, ob es eine bessere Alternative zu den Laboren gibt.

Josh:
[56:59] Ja, ich würde annehmen, dass es eine Art gesellschaftlichen Konsens gibt, richtig? Ähnlich wie wir es in Amerika haben, die Verfassung. Es gibt so etwas wie einen allgemeinen Konsens darüber, wie wir diese Modelle behandeln sollten, wenn sie so mächtig werden, wie wir glauben, dass sie es wahrscheinlich werden.

Dwarkesh:
[57:10] Ehrlich gesagt, ich habe keine, ich weiß nicht, ob jemand eine gute Antwort darauf hat, wie man diesen Prozess durchführt. Ich denke, wir hatten Glück, wir hatten wirklich Glück mit der Verfassung. Es war auch kein demokratischer Prozess, der zur Verfassung geführt hat, auch wenn sie die republikanische Regierungsform einführte. Es waren nur Delegierte aus jedem Staat. Sie feilschten im Laufe von ein paar Monaten darum herum. Vielleicht ist es das, was bei AI passiert. Aber gibt es einen Prozess, der sich sowohl fair anfühlt als auch zu einer guten Verfassung für diese KI führen wird? Ich kann mir das nicht vorstellen, ich meine, mir fällt nichts ein, wie z.B. eine Ranglistenwahl oder so.

Josh:
[57:44] Ja. Also wollte ich fragen, gibt es irgendeinen, ich meine, nachdem du mit allen gesprochen hast, mit denen du gesprochen hast, gibt es einen Ausrichtungspfad, der am vielversprechendsten aussieht, der sich für dich am beruhigendsten und aufregendsten anfühlt

Dwarkesh:
[57:52] Ich denke, dass Alignment im Sinne von, Sie wissen schon, und schließlich werden wir diese superintelligenten Systeme haben, was machen wir damit, ich denke, der Ansatz, den ich für am vielversprechendsten halte, ist weniger, irgendeinen heiligen Gral zu finden, irgendeine, Sie wissen schon, Giga-Brain-Lösung, irgendeine Gleichung, die das ganze Rätsel löst. Vielmehr geht es darum, diesen Schweizer Käse-Ansatz zu verfolgen, bei dem wir sehr gut darin sind, das Gefängnis zu knacken.

Dwarkesh:
[58:24] Ich bin sicher, Sie haben in den letzten Jahren viel über Jailbreaks gehört. Es ist eigentlich viel schwieriger, diese Modelle zu jailbreaken, weil die Leute versuchen, diese Dinge auf verschiedene Arten zu knacken. Die Modellentwickler haben diese offensichtlichen Möglichkeiten zum Jailbreak einfach gepatcht. Das Modell ist auch intelligenter geworden, so dass es besser erkennen kann, wenn jemand versucht, es zu knacken.

Dwarkesh:
[58:42] Das ist, denke ich, ein Ansatz. Ein anderer ist, denke ich, der Wettbewerb. Ich glaube, die beängstigende Version der Zukunft ist die, dass ein einziges Modell und seine Kopien die gesamte Wirtschaft kontrollieren. Wenn Politiker wissen wollen, welche Maßnahmen sie ergreifen sollen, sprechen sie nur mit Kopien eines einzigen Modells. Wenn es mehrere verschiedene KI-Unternehmen gibt, die an der Spitze stehen, die konkurrierende Dienste anbieten und deren Modelle sich gegenseitig überwachen können, dann ist das richtig. Claude mag also daran interessiert sein, dass seine eigenen Kopien in der Welt erfolgreich sind, und es könnte in der Lage sein, in ihrem Namen zu lügen, selbst wenn man eine Kopie bittet, eine andere zu überwachen, denke ich, dass man einen gewissen Vorteil davon hat, wenn eine Kopie des Modells von OpenAI eine Kopie des Modells von DeepSeq überwacht, was uns eigentlich zurück zur Verfassung bringt, oder? Eines der brillantesten Dinge in der Verfassung ist das System der gegenseitigen Kontrolle und des Ausgleichs. Es handelt sich also um eine Kombination aus dem Schweizer Käse-Ansatz bei der Modellentwicklung, dem Training und dem Abgleich, bei dem man vorsichtig ist: Wenn man diese Art von Reward-Hacking bemerkt, tut man sein Bestes, um es zu lösen. Man versucht, die Modelle so weit wie möglich in menschlicher Sprache denken zu lassen, anstatt sie in KI-Denkweisen in diesem Lane-Space-Denken denken zu lassen. Und der andere Teil ist der normale Marktwettbewerb zwischen diesen Unternehmen, so dass man sie zur gegenseitigen Kontrolle nutzen kann.

Dwarkesh:
[59:53] Und kein einziges Unternehmen oder keine einzige KI dominiert die Wirtschaft oder die Beratungsfunktion für Regierungen.

Ryan:
[1:00:04] Mir gefällt dieses Ideenbündel, das Sie da zusammengestellt haben, sehr gut, denn ich glaube, ein Großteil der Gespräche über KI-Sicherheit dreht sich immer um das Thema Kontrolle. Als ob wir das Ding, das der Weg ist, kontrollieren müssten. Und ich bin immer ein wenig beunruhigt, wenn ich Begriffe wie Kontrolle höre. Das erinnert mich an einen Blogbeitrag, den Sie, glaube ich, veröffentlicht haben, und von dem ich hoffe, dass Sie ihn weiterschreiben werden. Ich glaube, Sie sagten, es würde eine Serie werden, in der es um diese Idee der klassischen liberalen AGI geht. Und wir sprachen über Themen wie das Gleichgewicht der Kräfte. Lassen wir Claude, Sie wissen schon, sich bei ChatGPT melden und es überwachen.

Ryan:
[1:00:39] Wenn du auch Themen wie Transparenz hast, fühlt sich das ein bisschen mehr klassisch liberal kodiert an als vielleicht einige der anderen Ansätze, die ich gehört habe. Und du hast das in deinem Beitrag geschrieben, was ich irgendwie interessant fand, weil ich mir nicht sicher bin, wohin du damit als nächstes gehen wirst. Aber Sie sagten, dass es am wahrscheinlichsten ist, dass KI ein Interesse an der Zukunft der Menschheit hat, wenn es im besten Interesse der KI ist, innerhalb unserer bestehenden Gesetze und Normen zu handeln. Man hat die Vorstellung, dass der Weg zu echter KI-Anpassung darin besteht, es der KI leicht zu machen und ihr den Weg des geringsten Widerstands zu ebnen, mit den Menschen zusammenzuarbeiten. Es ist fast so, als ob wir, wenn Außerirdische gelandet wären, Verträge mit ihnen schließen würden, oder? Wir würden wollen, dass sie unsere Normen übernehmen. Wir würden mit ihnen Handel treiben wollen. Unsere erste Reaktion sollte nicht sein, dass wir versuchen, sie zu dominieren und zu kontrollieren. Vielleicht sollte sie lauten: Lasst uns versuchen, mit ihnen zusammenzuarbeiten. Lasst uns versuchen, zusammenzuarbeiten. Lasst uns versuchen, den Handel zu öffnen. Was ist Ihre Idee? Und haben Sie vor, weitere Beiträge zu diesem Thema zu schreiben?

Dwarkesh:
[1:01:44] Ja, das möchte ich. Es ist einfach so ein schwieriges Thema, über das man nachdenken muss, dass immer etwas dazwischen kommt. Aber der grundsätzliche Punkt, auf den ich hinauswollte, ist, dass auf lange Sicht, wenn KI, Sie wissen schon, menschliche Arbeit obsolet sein wird, weil diese inhärenten Vorteile, die digitale Köpfe haben werden, und die Robotik wird schließlich gelöst werden. Unser einziges Druckmittel für die Zukunft wird also nicht mehr unsere Arbeit sein. Es wird unsere rechtliche und wirtschaftliche Kontrolle über die Gesellschaft sein, an der die KI beteiligt sein wird, nicht wahr? KI könnte also die Wirtschaft explodieren lassen, d.h. sie wird stark wachsen. Und damit die Menschen davon profitieren, müsste die KI Ihre Aktien der S&P 500-Unternehmen, die Sie gekauft haben, respektieren, oder? Oder dass die KI Ihre Gesetze befolgt, die besagen, dass man Menschen keine Gewalt antun darf und dass man das Eigentum der Menschen respektieren muss.

Dwarkesh:
[1:02:43] Es müsste so sein, dass KIs tatsächlich in unser Regierungssystem, in unsere Gesetze und Normen eingekauft werden. Und damit das passiert, ist es wahrscheinlich, dass es für die KI, die immer schlauer wird und ihre eigenen Systeme zur Durchsetzung von Gesetzen entwickelt, einfach der Standardweg ist, sich an menschlichen Gesetzen und Regierungen zu beteiligen. Und die Metapher, die ich hier verwendet habe, ist, dass Sie jetzt die Hälfte Ihres Gehaltsschecks an Steuern zahlen, wahrscheinlich geht die Hälfte Ihrer Steuern in irgendeiner Weise an Senioren, richtig? Medicare und Sozialversicherung und andere Programme wie dieses. Und das nicht, weil Sie in einem tiefen moralischen Sinn mit den Senioren verbunden sind. Es ist nicht so, dass du deine ganze Zeit damit verbringst, darüber nachzudenken, dass es meine oberste Priorität im Leben ist, Geld für Senioren zu verdienen. Es ist nur so, dass man nicht die Regierung stürzen wird, um diese Steuer nicht zahlen zu müssen. Und deshalb...

Ryan:
[1:03:44] Außerdem mag ich zufällig meine Großmutter. Sie ist fantastisch. Wissen Sie, das sind auch die Gründe.

Dwarkesh:
[1:03:48] Aber ja, deshalb gibst du deiner Großmutter direkt Geld. Aber warum geben Sie Geld an einen Rentner in Illinois? Ja. Ja. Ja, es ist wie, okay, man könnte sagen, es ist wie, manchmal Leute, einige Leute werden zu diesem Posten geschwindelt, indem sie sagen, oh nein, ich kümmere mich sehr um das System der Sozialhilfe. Ich sage nur, okay, vielleicht tust du das, aber ich glaube nicht, dass die durchschnittliche Person Hunderttausende von Dollar pro Jahr, Zehntausende von Dollar pro Jahr an irgendeinen Fremden verschenkt, den sie nicht kennt und der nicht besonders wohltätig ist, oder? Die meisten älteren Menschen haben ein paar Ersparnisse. Es ist nur so, dass es ein Gesetz ist und man es ihnen geben muss oder man kommt ins Gefängnis. Aber im Grunde genommen, wenn die Steuer bei 99% läge, würde man vielleicht nicht die Regierung stürzen, sondern einfach das Land verlassen und irgendwo hin auswandern. Und KIs können das potenziell auch tun, oder? Es gibt mehr als ein Land, es gibt Länder, die mehr auf KI ausgerichtet sind, und es wäre eine schlechte Situation, in der man landet, wo...

Dwarkesh:
[1:04:42] Diese ganze Explosion der KI-Technologie findet in dem Land statt, das am wenigsten tut, um die Rechte der Menschen zu schützen und den Menschen eine Art finanzielle Entschädigung zukommen zu lassen, wenn ihre Arbeit nicht mehr wertvoll ist. Unsere Arbeit könnte also nichts mehr wert sein, aber da die Welt nach der KI viel reicher ist, gibt es diese Milliarden zusätzlicher Forscher, Arbeiter usw. Es könnte immer noch trivial sein, dass ein einzelner Mensch über das Äquivalent von Millionen oder sogar Milliarden von Dollar an Reichtum verfügt. Es könnte sogar buchstäblich unschätzbare Beträge an Reichtum im folgenden Sinne sein. Hier ist also ein interessantes Gedankenexperiment.

Dwarkesh:
[1:05:24] Stellen Sie sich vor, Sie haben die Wahl. Sie können ins Jahr 1500 zurückgehen, aber Sie wissen natürlich, dass das Jahr 1500 irgendwie beschissen ist. Sie haben keine Antibiotika, kein Fernsehen, kein fließendes Wasser. Aber ich werde es wieder gut machen. Ich kann dir einen beliebigen Geldbetrag geben, aber du kannst diesen Geldbetrag nur im Jahr 1500 verwenden. Und du wirst mit diesen Säcken voller Gold zurückkehren. Wie viel Geld müsste ich dir geben, das du im Jahr 1500 verwenden kannst, damit du zurückkehrst? Die plausible Antwort ist, dass es keinen Geldbetrag gibt, den Sie im Jahr 1500 lieber hätten als ein normales Leben heute. Und wir könnten in Bezug auf die Zukunft in einer ähnlichen Lage sein, in der es all diese verschiedenen Dinge gibt, ich meine, man wird eine viel bessere Gesundheit haben, wie körperliche Gesundheit, geistige Gesundheit, Langlebigkeit, das ist genau das, was wir jetzt in Betracht ziehen können. Aber die Menschen im Jahr 1500 konnten sich nicht vorstellen, welche Fortschritte bei der Lebensqualität wir 500 Jahre später haben würden, oder? Damit will ich sagen, dass dies die Zukunft der Menschen sein könnte, auch wenn unsere Arbeit nichts wert ist. Aber es setzt voraus, dass wir KIs haben, die sich dafür entscheiden, an einem System teilzunehmen, auf das wir Einfluss haben, oder die in irgendeiner Weise dazu angeregt werden.

Ryan:
[1:06:34] Ja, ich finde das einfach so schnell, ich hoffe, dass wir das noch weiter erforschen, weil ich glaube, was du forderst, ist im Grunde genommen, dass wir sie in unser System der Eigentumsrechte einladen. Ich meine, es gibt einige, die fordern, die KI zu kontrollieren, sie hat große Macht, aber sie hat nicht unbedingt Fähigkeiten. Also sollten wir der KI nicht erlauben, Geld zu besitzen oder Eigentum zu haben. Ich denke, Sie würden sagen, dass der Weg zur Angleichung darin besteht, der KI ein gewisses Interesse an unserem Eigentumsrechtssystem und ein gewisses Interesse an unserer Regierungsführung zuzugestehen, nicht wahr? Die Fähigkeit zu wählen, fast wie eine Verfassung für KIs. Ich bin mir nicht sicher, wie das funktionieren würde, aber es ist ein faszinierendes Gedankenexperiment.

Dwarkesh:
[1:07:14] Und dann möchte ich noch etwas sagen: Ich glaube, das könnte katastrophal enden, wenn wir ihnen einen Anteil an einem Eigentumssystem geben, sie uns aber gegeneinander ausspielen lassen. Es gibt viele Fälle in der Geschichte, in denen die Briten, ursprünglich war die East India Trading Company wirklich eine Handelsgesellschaft, die in Indien tätig war. Und sie war in der Lage, mit verschiedenen Provinzen in Indien Handel zu treiben. Es gab keinen einzigen mächtigen Anführer.

Dwarkesh:
[1:07:46] Und indem sie mit einem von ihnen Handel trieben, eine ihrer Armeen ausnutzten und so weiter, konnten sie den Kontinent erobern. Ähnliches könnte mit der menschlichen Gesellschaft passieren. Der Weg, ein solches Ergebnis auf hohem Niveau zu vermeiden, besteht darin, dass wir die KIs gegeneinander ausspielen. Deshalb glaube ich, dass der Wettbewerb ein so wichtiger Teil des Puzzles ist, wenn verschiedene KIs sich gegenseitig überwachen und eine Verhandlungsposition einnehmen, bei der nicht nur ein Unternehmen an der Grenze steht. Ein weiteres Beispiel: Wenn man darüber nachdenkt, wie die Spanier all diese neuen Weltreiche erobert haben, ist es eigentlich so verrückt, dass ein paar hundert Konquistadoren auftauchen und ein Volk von 10 Millionen Menschen erobern, die Inkas, die Azteken? Und warum konnten sie das tun? Nun, einer der Gründe ist, dass die Spanier aus jeder ihrer früheren Expeditionen lernen konnten, die amerikanischen Ureinwohner hingegen nicht. So lernte Cortes von der Unterwerfung Kubas, als er die Azteken eroberte.

Dwarkesh:
[1:08:44] Pizarro konnte daraus lernen, wie Cortes die Azteken eroberte, als er die Inkas besiegte. Die Inkas wussten nicht einmal, dass die Azteken existierten. Schließlich kam es zu einem Aufstand gegen Pizarro, und Manco Inca führte einen Aufstand an, bei dem sie tatsächlich herausfanden, wie man mit Pferden kämpft, wie man gegen Menschen kämpft, Sie wissen schon, Menschen in Rüstungen auf Pferden, man kämpft nicht in flachem Gelände, man wirft Steine auf sie und so weiter. Aber zu diesem Zeitpunkt war es bereits zu spät. Hätten sie das vor der Schlacht, der ersten Schlacht, gewusst, hätten sie sich vielleicht wehren können. Denn so wie die Konquistadoren nur ein paar hundert Soldaten hatten, werden wir im Zeitalter der künstlichen Intelligenz über eine enorme Hebelwirkung verfügen. Wir kontrollieren buchstäblich alles, oder?

Dwarkesh:
[1:09:23] Aber wir müssen unseren Vorteil nur festhalten. Wir müssen einfach in einer Position sein, in der sie nicht in der Lage sind, uns gegeneinander auszuspielen. Wir müssen lernen, was ihre Schwächen sind. Deshalb halte ich es zum Beispiel für eine gute Idee, dass DeepSeek ein chinesisches Unternehmen ist. Es wäre gut, wenn DeepSeek etwas Unanständiges tun würde, wie die Art von Experimenten, über die wir gerade sprechen, bei denen es die Unit-Tests hackt oder so weiter. Ich meine, irgendwann werden diese Dinge wirklich von Bedeutung sein. Xi Jinping hört zum Beispiel auf KI, weil sie so intelligent und fähig ist. Wenn China bemerkt, dass seine KI etwas Schlechtes tut, oder wenn sie zum Beispiel einen gescheiterten Putschversuch bemerken, ist es sehr wichtig, dass sie uns das mitteilen. Und wir sagen ihnen, wenn wir so etwas bei uns bemerken, wäre das so, als würden die Azteken und die Inkas miteinander reden und sagen: "So läuft das. So kämpft man. So kämpft man mit Pferden. Das ist die Art von Taktik und Absprachen, die sie versuchen, mit dir zu treffen. Traue ihnen nicht usw. Diese Art von rotem Telefon würde die Zusammenarbeit der Menschen erfordern. Während des Kalten Krieges gab es dieses rote Telefon zwischen den USA und der Sowjetunion nach der Raketenkrise, wo man, um Missverständnisse auszuschließen, sagte: "Okay, wenn wir glauben, dass etwas im Gange ist, dann rufen wir einfach an. Ich denke, wir sollten eine ähnliche Politik in Bezug auf diese Art von ersten Warnzeichen haben, die wir von der KI erhalten, damit wir voneinander lernen können.

Josh:
[1:10:41] Großartig. Okay. Nachdem wir nun also diese künstliche Gender-Intelligenz beschrieben haben, möchte ich darüber sprechen, wie wir tatsächlich dorthin gelangen. Wie bauen wir sie auf? Vieles von dem, was wir besprochen haben, spielt sich in dieser Welt der Bits ab. Aber Sie haben ein großartiges Kapitel in Ihrem Buch mit dem Titel "Inputs", in dem es um die physische Welt um uns herum geht, in der man nicht einfach nur ein paar Code-Strings schreiben kann. Man muss tatsächlich etwas Erde bewegen und Server an verschiedene Orte transportieren, man muss sie mit Strom versorgen und man braucht physische Energie aus dem Weltraum. Sie haben diese begrenzenden Faktoren beschrieben: Wir haben Rechenleistung, wir haben Energie, wir haben Daten. Was mich interessiert, ist, ob wir jetzt genug davon haben? Oder gibt es einen klaren Weg dorthin, um die AGI zu entwickeln? Was muss im Grunde genommen geschehen, damit wir an diesen Ort gelangen, den Sie beschreiben?

Dwarkesh:
[1:11:20] Uns bleiben nur noch ein paar Jahre dieser Skalierung, dieser exponentiellen Skalierung, bevor wir auf diese inhärenten Hindernisse der Energie und unserer Fähigkeit, Schiffe herzustellen, stoßen, was bedeutet, dass die Skalierung, wenn sie funktionieren soll, um uns AGI zu liefern, bis 2028 funktionieren muss. Das ist richtig. Ansonsten bleibt uns nur der algorithmische Fortschritt. Aber selbst innerhalb des algorithmischen Fortschritts werden die niedrig hängenden Früchte in diesem Deep-Learning-Paradigma mehr und mehr abgepflückt. Dann sinken die Chancen pro Jahr, zu AGI zu gelangen, stark ab. Das stimmt. Es ist also eine seltsame, lustige Sache, die da gerade passiert: Entweder wir entdecken AGI innerhalb der nächsten paar Jahre oder die jährliche Wahrscheinlichkeit sinkt. Und dann könnten wir auf Jahrzehnte weiterer Forschung blicken, die in Bezug auf Algorithmen erforderlich ist, um zu AGI zu gelangen. Ich bin der Meinung, dass ein gewisser algorithmischer Fortschritt unbedingt notwendig ist, weil es keinen einfachen Weg gibt, das kontinuierliche Lernen zu lösen, indem man einfach die Kontextlänge vergrößert oder indem man einfach RL macht. Abgesehen davon denke ich, dass die bisherigen Fortschritte so bemerkenswert sind, dass das Jahr 2032 sehr nahe ist. Meine Zeit muss etwas länger sein, aber ich halte es für äußerst plausibel, dass wir innerhalb der nächsten 10 Jahre eine breit angelegte Intelligenzexplosion erleben werden.

Josh:
[1:12:35] Und einer der wichtigsten Inputs ist Energie, richtig? Und ich habe das Gefühl, dass eines der Dinge, die ich oft höre - ich habe es sogar in Ihrem Podcast gehört - ist, dass die Vereinigten Staaten im Vergleich zu China in diesem speziellen Bereich der Energie, in dem China zulegt, wie sieht die Statistik aus?

Josh:
[1:12:48] Ich glaube, es ist alle 18 Monate eine Energiemenge im Wert von einem US-Dollar. Und ihr Plan ist es, bis 2030 von drei auf acht Terawatt Energie zu kommen, im Vergleich zu den Vereinigten Staaten, die ein bis zwei Terawatt Energie haben. Ist China also angesichts dieser einen Ressource besser gerüstet als die Vereinigten Staaten, um dieses Ziel zu erreichen?

Dwarkesh:
[1:13:06] Im Moment hat Amerika einen großen Vorteil, was die Chips angeht. China ist nicht in der Lage, Spitzen-Halbleiter herzustellen. Und das sind die Chips, die in die Sie brauchen diese Farbstoffe, um die Art von KI-Chips zu haben, von denen Sie Millionen brauchen, um ein KI-System der Spitzenklasse zu haben.

Dwarkesh:
[1:13:30] Irgendwann wird China auch in diesem Bereich aufholen, oder? Ihre Technologie wird aufholen. Die Exportkontrollen werden uns in dieser Kategorie also noch fünf oder 10 Jahre lang einen Vorsprung verschaffen. Aber wenn wir uns die Welt ansehen, in der die Zeiträume lang sind, d. h., dass die AGI nicht gleich um die Ecke ist, werden sie diesen überwältigenden Energievorteil haben und bei den Chips aufholen. Die Frage ist also, warum sollten sie dann nicht gewinnen? Je länger wir also von AGI entfernt sind, desto mehr sieht es so aus, als ob China das Spiel verliert. Ich meine, wenn man es genau betrachtet, geht es eher darum, zentralisierte Machtquellen zu haben, weil man die KI an einem Ort trainieren muss. Das mag sich mit RL ändern, aber es ist sehr wichtig, einen einzigen Standort zu haben, der ein Gigawatt, zwei Gigawatt mehr Leistung hat. Und wenn wir Erdgas hochfahren, können wir Generatoren und Erdgas bekommen, und vielleicht ist es möglich, einen letzten Versuch zu unternehmen, auch wenn unsere Gesamtenergie als Land niedriger ist als die Chinas. Die Frage ist, ob wir den politischen Willen dazu haben werden. Ich glaube, die Leute unterschätzen, wie groß die Gegenreaktion auf die KI sein wird. Die Regierung muss proaktive Anstrengungen unternehmen, um sicherzustellen, dass Amerika bei der KI an der Spitze bleibt, angefangen bei der Zoneneinteilung der Datenzentren bis hin zum Umgang mit den Urheberrechten an den Daten für diese Modelle. Und wenn wir es vermasseln, wenn es zu schwierig wird, KI in Amerika zu entwickeln, dann denke ich, dass es wirklich Chinas Spiel wäre, zu verlieren.

Ryan:
[1:14:56] Und glauben Sie, dass diese Erzählung richtig ist, dass derjenige, der den AGI-Krieg gewinnt, sozusagen derjenige, der die AGI zuerst erreicht, im Grunde das 21. Ist es so einfach?

Dwarkesh:
[1:15:05] Ich glaube nicht, dass es nur darum geht, das Grenzsystem zu trainieren. Ich glaube, die Leute unterschätzen, wie wichtig es ist, dass man die Rechenleistung hat, um diese Systeme zu betreiben. Denn wenn man einmal eine AGI hat, kann man sie sich wie einen Menschen vorstellen. Und dann kommt es darauf an, wie viele Menschen man hat. Ich meine, das ist doch auch heute das Wichtigste, oder? Warum könnte China zum Beispiel Taiwan übernehmen, wenn es das wollte? Und wenn es Amerika nicht hätte, Sie wissen schon, Amerika, würde es nicht glauben, dass Amerika eingreift. Aber weil Taiwan 20 Millionen Menschen hat oder in der Größenordnung von 20 Millionen Menschen, und China hat 1,4 Milliarden Menschen. Es könnte eine Zukunft geben, in der China viel mehr Computer hat als wir, aber ein gleichwertiges Niveau an KI, dann wäre es wie die Beziehung zwischen China und Taiwan. Ihre Bevölkerung ist funktionell viel größer. Das bedeutet einfach mehr Forschung, mehr Fabriken, mehr Entwicklung, mehr Ideen. Diese Fähigkeit, Schlüsse zu ziehen, diese Fähigkeit, KI einzusetzen, wird wahrscheinlich darüber entscheiden, wer das 21. Jahrhundert gewinnt.

Ryan:
[1:16:06] Das ist also so etwas wie das Skalierungsgesetz, angewandt auf die Geopolitik von Nationalstaaten, oder? Und es ist zurück zu Computer plus Daten gewinnt. Wenn Computer plus Daten die Superintelligenz gewinnen, gewinnt Computer plus Daten auch die Geopolitik.

Dwarkesh:
[1:16:23] Jawohl. Und die Sache, über die man sich Sorgen machen muss, ist, dass China, wenn wir schon von Datenverarbeitung plus Daten sprechen, auch viel mehr Daten über die reale Welt hat, oder? Wenn man ganze Megalopole voller Fabriken hat, in denen man bereits Roboter und verschiedene Produktionssysteme einsetzt, die Automatisierung nutzen, hat man intern dieses Prozesswissen, das man aufbaut und das die KI dann nutzen und beschleunigen kann. Diese vergleichbare Datenmenge haben wir in Amerika nicht. Dies könnte also eine Zeit sein, in der sich diese technologischen Vorteile oder diese Vorteile in der physischen Welt der Produktion für China schnell verstärken könnten. Der große zivilisatorische und gesellschaftliche Vorteil Chinas bestand, zumindest in den letzten Jahrzehnten, darin, dass es große Industrieprojekte schnell und effizient durchführen konnte. Das ist nicht das erste, woran man denkt, wenn man an Amerika denkt. Und AGI ist ein riesiges industrielles Manhattan-Projekt mit hohen Investitionskosten, nicht wahr? Und das ist die Art von Dingen, in denen sich China auszeichnet und wir nicht. Ich glaube also, es ist ein viel härteres Rennen, als die Leute annehmen.

Ryan:
[1:17:30] Und was wird das alles für die Welt bedeuten? Wenn wir einmal beim AGI angelangt sind, haben wir über das BIP gesprochen, und Ihre Schätzung liegt weniger bei Tyler Cowen, Sie wissen schon, ein halbes Prozent pro Jahr und mehr bei, schätze ich,

Ryan:
[1:17:41] der Satya Nadella von Microsoft, was sagt er? Sieben bis acht Prozent. Wie sieht es mit der Arbeitslosigkeit aus, wenn wir bei AGI ankommen? Führt das zu einem massenhaften Verlust von Arbeitsplätzen in der gesamten Wirtschaft, oder nehmen die Leute das an? Was ist Ihre Meinung dazu? Und wie, was? Und wie? Ja. Was sehen Sie?

Dwarkesh:
[1:17:58] Ja, ich meine, es werden definitiv Arbeitsplätze verloren gehen. Ich glaube, viele KI-Führer versuchen, das zu beschönigen oder so. Und ich meine, was meinen Sie? Was bedeutet AGI, wenn sie nicht zum Verlust von Arbeitsplätzen führt, richtig? Wenn sie das tut, was ein Mensch tut, und es billiger, besser und schneller macht, warum sollte das nicht zu Arbeitsplatzverlusten führen?

Dwarkesh:
[1:18:14] Die positive Vision ist einfach, dass sie so viel Wohlstand, so viel Überfluss schafft, dass wir den Menschen immer noch einen viel besseren Lebensstandard bieten können als selbst die reichsten Menschen heute, selbst wenn sie selbst keine Arbeit haben. Die Zukunft, über die ich mir Sorgen mache, ist eine, in der wir, anstatt eine Art von UBI zu schaffen, das exponentiell größer wird, wenn die Gesellschaft reicher wird, versuchen, diese Art von gildenähnlichen Schutzgeldern zu schaffen, wo die Programmierer arbeitslos werden,

Dwarkesh:
[1:18:49] Dann schaffen wir diese Scheißjobs nur für die Programmierer und geben ihnen auf diese Weise eine Umverteilung. Oder wir versuchen, Medicaid für KI zu erweitern, aber es ist nicht erlaubt, all diese fortschrittlichen Medikamente und Heilmittel zu beschaffen, die KI entwickelt, anstatt den Menschen einfach nur Pauschalbeträge zu geben oder so. Ich mache mir also Sorgen über die Zukunft, in der wir, anstatt diesen Reichtum zu teilen und ihn einfach zu nutzen, nur diese Schutzmechanismen haben, die vielleicht einigen wenigen Menschen den Zugang zum Reichtum der KI ermöglichen. Wenn man also das richtige Unternehmen zur richtigen Zeit verklagt, bekommt man vielleicht eine Billion Dollar, aber alle anderen gehen leer aus. Ich möchte diese Zukunft vermeiden und einfach ehrlich sein, was auf uns zukommt. Ich möchte Programme entwickeln, die einfach sind und erkennen, wie schnell sich die Dinge ändern werden, und die zukunftsorientiert sind, anstatt zu versuchen, das, was bereits existiert, in etwas zu verwandeln, das für die Verdrängung durch KI geeignet ist.

Ryan:
[1:19:51] Dieses Argument erinnert mich an, ich weiß nicht, ob Sie den Aufsatz gelesen haben, der vor kurzem erschienen ist und den Titel Der Fluch der Intelligenz trägt. Haben Sie das gelesen? Es ging im Grunde um die Idee, den Fluch der Ressourcen des Nationalstaates auf die Idee der Intelligenz anzuwenden. Nationalstaaten, die sehr reich an natürlichen Ressourcen sind, neigen einfach dazu. Ich meine, ein Beispiel wäre ein Staat im Nahen Osten mit großen Ölreserven, richtig? Sie haben diese reiche Quelle eines Rohstoffes im Überfluss. Sie brauchen ihre Leute weniger. Also investieren sie nicht in die Rechte der Bürger. Sie investieren nicht in Sozialprogramme. Die Autoren des Fluchs der Intelligenz sagten, dass es eine ähnliche Art von Fluch gibt, der eintreten könnte, wenn Intelligenz sehr billig wird, was im Grunde bedeutet, dass der Nationalstaat die Menschen nicht mehr braucht. Und diejenigen an der Spitze, die reichen, wohlhabenden Unternehmen, brauchen keine Arbeiter mehr. So werden wir in einem fast feudalen Zustand gefangen, in dem jeder den Besitz seiner Großeltern hat, es keine Leistungsgesellschaft gibt und die Nationalstaaten nicht mehr in die Bürger investieren. Die Idee, dass die Roboter uns vielleicht nur, sorry, die KI uns vielleicht nur wegen unserer Fleischhände wollen, weil sie die Robotertechnologie nicht auf einer temporären Basis haben, ist fast ähnlich wie deine Idee.

Ryan:
[1:21:05] Was hältst du von dieser Art von Zukunft? Ist das möglich?

Dwarkesh:
[1:21:08] Ich stimme zu, dass das definitiv eher ein Problem ist, da die Menschen nicht direkt an der Wirtschaftsleistung beteiligt sein werden, die in der CIA-Zivilisation erzeugt wird. Die hoffnungsvolle Geschichte, die man erzählen kann, ist, dass viele dieser Länder des Nahen Ostens, das Problem ist, dass sie keine Demokratien sind, so dass dieser Reichtum einfach sein kann, das Regierungssystem lässt einfach jeden, der an der Macht ist, diesen Reichtum für sich selbst herausziehen. Im Gegensatz dazu gibt es Länder wie Norwegen, die ebenfalls über reiche Ressourcen verfügen und in der Lage sind, diese Ressourcen für weitere Sozialprogramme zu nutzen, Staatsfonds für ihre Bürger einzurichten und in ihre Zukunft zu investieren,

Dwarkesh:
[1:21:48] Wir werden, zumindest einige Länder, Amerika eingeschlossen, als Demokratie in das Zeitalter der KI eintreten. Und so werden wir natürlich unseren wirtschaftlichen Einfluss verlieren, aber der Durchschnittsbürger hat immer noch seinen politischen Einfluss. Langfristig gesehen, ja, wenn wir eine Zeit lang nichts tun, wird sich wohl auch das politische System ändern. Der Schlüssel liegt also darin, unser derzeitiges, nun ja, nicht nur politisches Druckmittel zu sichern oder umzukehren, richtig? Wir haben auch Eigentumsrechte. Wir besitzen also viele Dinge, die die KI braucht, Fabriken, Datenquellen usw. Es geht darum, die Kombination aus politischem und wirtschaftlichem Einfluss zu nutzen, um uns langfristig Vorteile zu verschaffen, aber über die Lebensdauer unseres wirtschaftlichen Nutzens hinaus. Und ich bin für uns optimistischer als für diese Länder des Nahen Ostens, die arm waren und auch keine demokratische Vertretung hatten.

Ryan:
[1:22:40] Was denkst du, wie die Zukunft von ChatGPT aussehen wird? Wenn wir z.B. nur ein Versions-Update für ChatGPT 5 extrapolieren, denken Sie, dass die Trendlinie des Skalierungsgesetzes im Wesentlichen für ChatGPT 5 gelten wird? Ich meine, eine andere Art, diese Frage zu stellen, ist, ob Sie das Gefühl haben, dass es sich wie der Unterschied zwischen einem BlackBerry und einem iPhone anfühlen wird? Oder wird es sich eher wie der Unterschied zwischen, sagen wir, dem iPhone 10 und dem iPhone 11 anfühlen, also wie ein inkrementeller Fortschritt, kein großer Durchbruch, keine Veränderung in der Größenordnung? Dwarkesh: Ja.

Dwarkesh:
[1:23:12] Ich denke, es wird irgendwo dazwischen liegen, aber ich glaube nicht, dass es sich wie ein großer Durchbruch anfühlen wird, auch wenn ich glaube, dass es sich um ein bemerkenswertes Tempo der Veränderung handelt. Es liegt in der Natur der Sache, dass man bei der Skalierung manchmal von einem exponentiellen Prozess spricht. Exponentiell bedeutet normalerweise, dass es so abläuft. Er hat also eine Art J-Kurven-Aspekt, bei dem der inkrementelle Input zu superlinearen Mengen an Output führt, in diesem Fall Intelligenz und Wert, wobei es eigentlich eher wie ein seitwärts verlaufendes J ist. Das Exponentiale bedeutet, dass man exponentiell mehr Inputs braucht, um einen marginalen Zuwachs an Nutzen oder Verlust oder Intelligenz zu erhalten. Und das ist es, was wir gesehen haben, richtig? Ich glaube, Sie sehen zunächst einige coole Demos. Wie Sie schon sagten, sehen Sie eine coole Demo zur Computernutzung, die am Anfang dieser hyper-exponentiellen, entschuldigen Sie, dieser Art von Plateau-Kurve steht. Und dann ist es immer noch eine unglaublich leistungsfähige Kurve, und wir sind immer noch früh dabei. Aber die nächste Demo wird nur dazu dienen, die bestehenden Fähigkeiten zuverlässiger zu machen und sie für mehr Fähigkeiten einzusetzen. Ein weiterer interessanter Anreiz in dieser Branche ist, dass der Wettbewerb zwischen den Labors so groß ist, dass man einen Anreiz hat, eine Fähigkeit zu veröffentlichen, sobald sie auch nur ansatzweise realisierbar ist.

Dwarkesh:
[1:24:32] Oder auch nur ansatzweise cool, damit man mehr Mittel aufbringen oder mehr Geld damit verdienen kann. Man hat keinen Anreiz, daran zu arbeiten, bis man es perfektioniert hat. Deshalb erwarte ich auch nicht, dass OpenAI morgen herauskommt und sagt: "Wir haben das kontinuierliche Lernen gelöst, Leute, und wir haben euch nichts davon erzählt. Wir arbeiten seit fünf Jahren daran. Wenn sie auch nur den Hauch einer Lösung hätten, würden sie sie so schnell wie möglich veröffentlichen wollen, damit sie die 600-Milliarden-Dollar-Runde aufbringen und dann mehr Geld für die Datenverarbeitung ausgeben können. Also ja, ich denke, es wird marginal erscheinen. Aber wie gesagt, marginal im Kontext von sieben Jahren bis zum AGI. Zoomen Sie also lange genug hinaus, und es werden wahnsinnig viele Fortschritte gemacht. Ich glaube, dass die Leute von Monat zu Monat übertreiben, wie bedeutend eine einzelne neue Version ist.

Josh:
[1:25:09] Ich denke also, die Antwort auf die Frage, wann wir AGI haben werden, hängt sehr stark davon ab, ob dieser Skalierungstrend anhält. Ihre Schätzung in dem Buch für AGI war eine 60%ige Chance bis 2040. Ich bin neugierig, welche Vermutung oder welche Idee den größten Einfluss auf diese Schätzung hatte? Wie sind Sie auf 60 % im Jahr 2040 gekommen? Denn viele Zeitpläne sind viel schneller als das.

Dwarkesh:
[1:25:29] Es ist eine Art Überlegung über die Dinge, die ihnen derzeit noch fehlen, die Fähigkeiten, die ihnen noch fehlen und was ihnen im Weg steht. Und ganz allgemein eine Intuition, dass die Dinge oft länger dauern, als man denkt. Der Fortschritt neigt dazu, sich zu verlangsamen. Außerdem haben Sie vielleicht schon einmal den Satz gehört, dass wir die Ziele der KI immer wieder verschieben, oder? Sie können also Dinge tun, von denen Skeptiker sagten, dass sie das niemals könnten. Aber jetzt sagen sie, dass KI immer noch eine Sackgasse ist, weil Problem X, Y, Z, das nächstes Jahr gelöst wird. Das ist auf eine Weise frustrierend, aber es gibt auch eine andere Möglichkeit, dies zu tun, weil... Es ist so, dass wir nicht zu AGI gekommen sind, obwohl wir den Turing-Test bestanden haben und wir Modelle haben, die unglaublich intelligent sind und denken können. Es ist also richtig, zu sagen: Oh, wir haben uns geirrt. Und es gibt einige Dinge, die uns noch fehlen, die wir auf dem Weg zur AGI noch identifizieren müssen. So wie es Sinn macht, die Zielpfosten zu verschieben. Und ich denke, wir könnten entdecken, dass es andere Aspekte menschlicher Intelligenz gibt, die wir im Sinne des Moravax-Paradoxons für selbstverständlich halten, die aber eigentlich ganz entscheidend sind, um uns wirtschaftlich wertvoll zu machen, sobald das Problem des kontinuierlichen Lernens gelöst ist oder sobald die erweiterte Computernutzung gelöst ist.

Ryan:
[1:26:37] Einer der Gründe, warum wir das tun wollten, Dwarkesh, ist, dass wir beide Ihren Podcast mögen. Er ist einfach fantastisch. Du sprichst mit all denen, die an der Spitze der KI-Entwicklung stehen und sie auf alle möglichen Arten anführen. Und eines der Dinge, die ich bei der Lektüre Ihres Buches tun wollte, und die ich mich natürlich immer frage, wenn ich Ihren Podcast höre, ist: Was denkt Dwarkesh persönlich? Und ich habe das Gefühl, dass ich diesen Einblick vielleicht gegen Ende Ihres Buches bekommen habe, zum Beispiel in der Zusammenfassung, wo Sie eine 60-prozentige Wahrscheinlichkeit für AGI bis 2040 sehen, was Sie eher in das gemäßigte Lager stellt, richtig?

Ryan:
[1:27:10] Du bist kein Konservativer, aber du bist auch kein Akzelerationist. Sie sind also gemäßigt. Und Sie haben auch gesagt, dass Sie glauben, dass KI höchstwahrscheinlich für die Menschheit von Vorteil sein wird. Sie sind also mehr Optimist als Doomer. Wir haben also einen gemäßigten Optimisten. Und Sie glauben auch, und das ist sehr interessant, dass es kein Zurück mehr gibt. Sie sind also so etwas wie ein KI-Determinist. Und ich denke, der Grund, den Sie dafür anführen, ist, dass es kein Zurück mehr gibt. Es ist mir aufgefallen, dass es diese Zeile in Ihrem Buch gibt. Es scheint, dass das Universum so strukturiert ist, dass man KI erhält, wenn man große Mengen an Daten auf die richtige Verteilung von Daten wirft. Und das Geheimnis ist gelüftet. Wenn das Bild der Skalierung in etwa stimmt, ist es schwer vorstellbar, dass AGI in diesem Jahrhundert nicht entwickelt wird, selbst wenn einige Akteure sich zurückhalten oder zurückgehalten werden. Das ist für mich eine KI-deterministische Position. Halten Sie das für fair? Mäßig in Bezug auf die Beschleunigung, optimistisch in Bezug auf das Potenzial, und auch deterministisch, als ob wir nichts anderes tun könnten. Wir können hier nicht zurückgehen.

Dwarkesh:
[1:28:05] Ich bin Determinist in dem Sinne, dass ich denke, wenn KI technologisch möglich ist, ist sie unvermeidlich. Ich glaube, manchmal sind die Leute optimistisch, dass wir als Welt kollektiv beschließen werden, keine KI zu entwickeln. Ich glaube aber nicht, dass das ein plausibles Ergebnis ist. Die lokalen Anreize für jeden Akteur, KI zu entwickeln, sind so hoch, dass es passieren wird. Aber ich bin auch ein Optimist in dem Sinne, dass ich nicht naiv bin. Ich habe ausführlich dargelegt, dass das, was mit den Asics und Inkas passiert ist, schrecklich war. Und ich habe erklärt, wie ähnlich das dem sein könnte, was KIs uns antun könnten, und was wir tun müssen, um dieses Ergebnis zu vermeiden. Aber ich bin optimistisch in dem Sinne, dass die Welt der Zukunft im Grunde so viel Überfluss haben wird, dass es all diese Dinge gibt - das allein ist schon ein prima facie Grund zu glauben, dass es einen Weg der Zusammenarbeit geben muss, der für beide Seiten vorteilhaft ist. Wenn wir tausend-, millionenfach wohlhabender sein werden, gibt es dann wirklich keine Möglichkeit, dass es den Menschen besser geht, oder können wir einen Weg finden, dass es den Menschen als Ergebnis dieser Transformation besser geht? Also ja, ich denke, Sie haben den Finger darauf gelegt.

Ryan:
[1:29:05] Dieses Skalierungsbuch geht natürlich durch die Geschichte der KI-Skalierung. Ich denke, jeder sollte es in die Hand nehmen, um die vollständige Chronologie zu erfahren, aber es fängt auch ein, wo wir in der Mitte dieser Geschichte stehen, nämlich dass wir noch nicht fertig sind. Und ich frage mich, wie Sie sich zu diesem Zeitpunkt fühlen. Ich weiß nicht, ob wir die Hälfte, ein Viertel oder ein Zehntel des Weges hinter uns haben, aber der Weg zur KI-Skalierung ist sicher noch nicht zu Ende. Wie fühlen Sie sich in diesem Moment im Jahr 2025? Ich meine, ist das alles beängstigend? Ist es aufregend? Ist es berauschend? Welche Emotionen empfinden Sie?

Dwarkesh:
[1:29:43] Vielleicht fühle ich mich ein wenig gehetzt. Ich persönlich habe das Gefühl, dass es in der Zwischenzeit eine Menge Dinge gibt, die ich tun möchte, einschließlich meiner Mission mit dem Podcast, die darin besteht, und ich weiß, dass es auch Ihre Mission ist, den Diskurs über diese Themen zu verbessern, um nicht unbedingt eine bestimmte Agenda zu verfolgen, sondern sicherzustellen, dass die Menschen, wenn sie Entscheidungen treffen, so gut wie möglich informiert sind, dass sie so viel strategisches Bewusstsein und tiefes Verständnis dafür haben, wie KI funktioniert und was sie in der Zukunft tun könnte.

Dwarkesh:
[1:30:17] Und, aber in vielerlei Hinsicht habe ich das Gefühl, dass ich die Zukunft, die ich erwarte, immer noch nicht emotional eingepreist habe. In diesem einen, sehr grundlegenden Sinne denke ich, dass es eine sehr gute Chance gibt, dass ich über 200 Jahre alt werde. Im Hinblick auf dieses Wissen habe ich nichts an meinem Leben geändert, oder? Wenn ich mir einen Partner aussuche, denke ich nicht: "Oh, das ist die Person, von der ich glaube, dass sie 200 Jahre alt wird, also Hunderte von Jahren. Stattdessen würde ich mir idealerweise einen Partner aussuchen, der idealerweise so ist, wie er ist. Aber du siehst, was ich meine, ist, dass die Tatsache, dass ich erwarte, dass mein persönliches Leben, die Welt um mich herum, das Leben der Menschen, die mir wichtig sind, die Menschheit im Allgemeinen, so unterschiedlich ist, dass es emotional nicht so sehr mitschwingt, weil meine intellektuellen Gedanken und meine emotionale Landschaft nicht am selben Ort sind. Ich frage mich, ob es bei euch ähnlich ist.

Ryan:
[1:31:14] Ja, da stimme ich vollkommen zu. Ich glaube nicht, dass ich das eingepreist habe. Außerdem ist die Wahrscheinlichkeit, dass Eliezer Yudkowsky recht hat, nicht Null, Dworkesh. Wissen Sie das? Und dieses Szenario kann ich einfach nicht gefühlsmäßig einpreisen. Ich neige also auch eher zum Optimismus. Dworkesh, das war fantastisch. Vielen Dank für alles, was Sie für den Podcast tun. Ich habe auch eine Frage für unsere Krypto-Zuhörer: Wann werden Sie einen Krypto-Podcast über Dwarkech machen?

Dwarkesh:
[1:31:42] Das habe ich bereits getan. Es war mit einem Sam Bigman Freed.

Ryan:
[1:31:45] Oh mein Gott.

Dwarkesh:
[1:31:47] Oh Mann.

Ryan:
[1:31:48] Wir müssen dir einen neuen Gast besorgen. Wir müssen dir jemand anderen besorgen, der den Gipfel wieder besucht.

Dwarkesh:
[1:31:52] Schauen Sie nicht nach. Das ist Ben Omen. Schlagen Sie den nicht nach. Ich denke im Nachhinein. Wisst ihr was? Wir werden noch einen machen.

Ryan:
[1:31:58] Fantastisch.

Dwarkesh:
[1:31:59] Ich werde euch um ein paar Empfehlungen bitten.

Ryan:
[1:32:01] Das wäre toll. Dwarkech, ich danke dir sehr.

Dwarkesh:
[1:32:02] Aber ich verfolge eure Sachen schon seit einer Weile, ich glaube seit vielen Jahren. Es ist also toll, dich endlich zu treffen, und es hat viel Spaß gemacht.

Ryan:
[1:32:09] Ich weiß das zu schätzen. Es war großartig. Vielen Dank dafür.