LIMITLESS - Dwarkesh Patel : L'ère de la mise à l'échelle de l'IA est arrivée

Ryan :
[0:02] Les gars, nous avons un épisode spécial aujourd'hui. Nous avons Dorkesh Patel dans le podcast. Dorkesh est probablement l'un de mes podcasteurs préférés. Il fait partie de ma liste de rotation de podcasts. Il est particulièrement doué pour les sujets liés à l'IA, ce qui est le sujet de l'épisode d'aujourd'hui. Il s'agit de l'ère de la mise à l'échelle de l'IA. L'ère de la mise à l'échelle est quelque chose de nouveau dans l'IA, de nouveau pour l'humanité. C'est quelque chose que nous n'avons jamais vu auparavant. Et Dwarakash se trouve à la frontière de ce mouvement. Nous avons donc fait le tour de l'histoire et du chemin parcouru jusqu'à aujourd'hui. J'ai adoré chaque minute de cette conversation. Vous pouvez généralement retrouver des épisodes comme celui-ci sur notre flux de podcasts Limitless. C'est là que mon co-animateur Josh, David et Ejaz s'enfoncent dans le trou du lapin de l'IA. C'est comme Bankless, mais pour l'IA. Si Limitless n'est pas encore dans votre rotation de podcasts, vous devez vous y abonner.

Ryan :
[0:53] Sur Spotify, sur YouTube, ou partout où vous avez accès à ces podcasts. En ce qui concerne la cryptographie, j'ai demandé à Dwarkech quand il allait faire un podcast sur la cryptographie, parce que j'aimerais beaucoup entendre Vitalik Buterin sur Dwarkech, mais ça risque d'être encore un peu long. Apparemment, le seul podcast que Dwarkech ait jamais fait sur la cryptographie était avec Sam Beckman Freed, et nous savons tous ce qui s'est passé. C'est encore une gueule de bois, je suppose, des crypto-criminels de 2022. Mais nous avons certainement parcouru un long chemin depuis lors, tout comme l'IA. Nous vous souhaitons un bon épisode avec Dwarkesh Patel. Dwarkesh Patel, nous sommes de grands fans. C'est un honneur de vous recevoir.

Dwarkesh :
[1:32] Merci beaucoup de m'avoir invité.

Ryan :
[1:33] D'accord, vous avez sorti un livre. Il s'intitule The Scaling Era, An Oral History of AI from 2019 to 2025 (L'ère de la mise à l'échelle, une histoire orale de l'IA de 2019 à 2025). Voici quelques dates clés. C'est vraiment l'histoire de l'émergence de l'IA. Elle semble avoir explosé sur le radar des gens au cours des cinq dernières années. Et tout le monde dans le monde, semble-t-il, essaie de comprendre ce qui vient de se passer et ce qui est sur le point de se passer. J'ai l'impression que pour cette histoire, nous devrions commencer par le début, comme le fait votre livre. Qu'est-ce que l'ère de la mise à l'échelle de l'IA ? Et quand a-t-elle commencé ? Quelles ont été les principales étapes ?

Dwarkesh :
[2:06] Je pense que l'histoire sous-jacente, dont tout le monde entend parler de plus en plus, est celle de l'IA. Ce que l'on ne dit pas, c'est que ce qui contribue le plus à l'amélioration de ces modèles d'IA au fil du temps, c'est le fait que nous injectons chaque année une quantité exponentielle de calcul dans les systèmes d'échange de frontière. Selon certaines estimations, au cours de la dernière décennie, nous avons passé quatre fois plus de temps chaque année à échanger des systèmes frontières que l'année précédente. Cela signifie que nous dépensons des centaines de milliers de fois plus de ressources informatiques que les systèmes du début des années 2010. Bien entendu, des percées algorithmiques ont eu lieu entre-temps. En 2018, nous avons eu le transformateur. Depuis lors, de nombreuses entreprises ont évidemment apporté de petites améliorations ici et là. Mais le fait le plus marquant est que nous dépensons déjà des centaines de milliards de dollars pour construire l'infrastructure, les centres de données, les puces pour ces modèles. Et cette situation ne fera que s'intensifier si cette croissance exponentielle se poursuit. Les directeurs financiers des grands hyperscalers et les personnes qui planifient les dépenses et la formation à l'avenir pensent à des investissements de l'ordre du forex par an, au cours des deux prochaines années, mais ce n'est pas aussi courant dans les conversations sur l'avenir de l'IA.

Ryan :
[3:19] Qu'est-ce que tu penses que les gens devraient savoir à ce sujet ? Qu'est-ce que l'ère de la mise à l'échelle ? Il y a eu d'autres ères de l'IA ou du calcul, mais qu'est-ce que l'ère de la mise à l'échelle a de particulier ?

Dwarkesh :
[3:29] Les gens ont commencé à s'en rendre compte. Tout d'abord, en 2012, Ilya Seskaver et d'autres ont commencé à utiliser des réseaux neuronaux pour catégoriser des images. Ils ont remarqué qu'au lieu de faire quelque chose de codé à la main, les réseaux neuronaux, des boîtes noires, peuvent être très utiles. Il suffit de les entraîner à identifier ce qui ressemble à quoi. Puis les gens ont commencé à jouer avec ces réseaux neuronaux et à les utiliser pour différents types d'applications. La question qui s'est alors posée est la suivante : nous avons remarqué que ces modèles s'amélioraient si on leur fournissait plus de données et plus de calculs. Comment pouvons-nous intégrer le plus de données possible dans ces modèles ?

Dwarkesh :
[4:11] Et la solution s'est avérée être le texte Internet. Il faut donc une architecture qui s'adapte aux billions de jetons qui ont été écrits au cours des dernières décennies et publiés sur Internet. Et nous avons eu cette heureuse coïncidence entre les types d'architectures qui se prêtent à ce genre de formation et les GPU qui ont été conçus à l'origine pour les jeux. Nous avons eu des décennies de textes compilés sur Internet et Ilias les a appelés le carburant fossile de l'IA. C'est comme un réservoir auquel nous pouvons faire appel pour former ces esprits, qui se conforment au moule de la pensée humaine parce qu'ils échangent des billions de jetons de la pensée humaine. Il s'agit donc simplement de développer ces modèles, d'utiliser les données que nous obtenons des technologies de l'internet pour continuer à les former. Et au cours de l'année dernière, comme vous le savez, au cours des six derniers mois, le nouveau paradigme a été non seulement de préformer tous les textes Internet, mais aussi de voir si nous pouvons leur faire résoudre des énigmes mathématiques, des énigmes de codage,

Dwarkesh :
[5:11] Et par ce biais, leur donner des capacités de raisonnement. Ce genre de choses, d'ailleurs, je veux dire que je suis un peu sceptique quant à l'AGI qui est juste au coin de la rue, ce dont nous parlerons. Mais le simple fait que nous ayons maintenant des machines qui peuvent raisonner, vous savez, vous pouvez poser une question à une machine, et elle s'en ira pendant un long moment, elle réfléchira. Et ensuite, elle reviendra vers vous avec une réponse intelligente. Et nous tenons cela pour acquis. Mais nous savons aussi qu'ils sont extrêmement doués pour le codage, en particulier. Je ne sais pas si vous avez eu l'occasion de jouer avec Cloud Code ou Cursor, par exemple. Mais c'est une expérience extraordinaire de concevoir, d'expliquer à un haut niveau que je veux qu'une application fasse X. 15 minutes plus tard, il y a environ 10 fichiers de code et l'application est construite.

Dwarkesh :
[5:53] Voilà où nous en sommes. Je ne sais pas jusqu'où cela peut aller. L'autre dynamique importante, je vais ajouter mon monologue ici, mais l'autre dynamique importante est que si nous allons vivre dans l'ère de la mise à l'échelle, vous ne pouvez pas continuer les exponentielles pour toujours, et certainement pas les exponentielles qui sont de 4x par an pour toujours. Nous approchons donc d'un point où, d'ici 2028, au plus tard d'ici 2030, nous serons littéralement à court de l'énergie nécessaire pour continuer à échanger ces systèmes d'avant-garde, la capacité des nœuds d'avant-garde, qui fabriquent les puces qui vont dans les colorants, qui vont dans ces GPU, et même la fraction brute du PIB qui devra être utilisée pour former les systèmes d'avant-garde. Il nous reste donc encore quelques années de l'ère de la mise à l'échelle. Et la grande question est de savoir si nous atteindrons l'AGI avant cela.

Ryan :
[6:40] Je veux dire que c'est une idée clé de ton livre : nous sommes au milieu de l'ère de la mise à l'échelle. Je pense qu'on en est à environ six ans. Et nous ne sommes pas tout à fait sûrs. C'est comme le protagoniste au milieu de l'histoire, nous ne savons pas exactement ce qui se passe.

Ryan :
[6:52] dans quelle direction les choses vont aller. Mais je voudrais que vous aidiez les gens à comprendre pourquoi la mise à l'échelle de cette manière fonctionne. Parce que je vais vous dire, pour moi et pour la plupart des gens, notre expérience avec ces modèles d'IA révolutionnaires a probablement commencé en 2022 avec ChatGPT3 et ensuite ChatGPT4 et en voyant tous les progrès, tous ces modèles d'IA. Et il semble vraiment peu intuitif que si l'on prend une certaine quantité de calcul et une certaine quantité de données, l'IA, l'intelligence jaillit. Pourriez-vous nous aider à comprendre cette magie ? Par exemple, comment fonctionne la loi d'échelle ? Le calcul plus les données égalent l'intelligence ? Est-ce vraiment tout ce que c'est ?

Dwarkesh :
[7:37] Pour être honnête, j'ai posé cette question à de nombreux chercheurs en IA dans mon podcast. Et je pourrais vous exposer quelques théories potentielles sur les raisons pour lesquelles cela pourrait fonctionner. Je ne pense pas que nous comprenions. Vous savez quoi ? Je vais le dire. Je ne pense pas que nous comprenions.

Ryan :
[7:52] On ne comprend pas comment ça marche. On sait que ça marche, mais on ne comprend pas comment ça marche.

Dwarkesh :
[7:55] Nous avons des preuves, notamment en primatologie, de ce qui pourrait se passer ici ou du moins de pourquoi des schémas similaires dans d'autres parties du monde. Ce que j'ai trouvé vraiment intéressant, c'est cette recherche menée par la chercheuse Susanna Herculana Huzel, qui montre que si vous regardez comment le nombre de neurones dans le cerveau d'un rat, de différentes espèces de rats, augmente, à mesure que le poids de leur cerveau augmente d'une espèce à l'autre, il y a ce schéma très sub-linéaire. Ainsi, si la taille du cerveau double, le nombre de neurones ne doublera pas d'une espèce de rat à l'autre. Et il y a d'autres types de

Dwarkesh :
[8:39] familles d'espèces pour lesquelles c'est vrai. Les deux exceptions intéressantes à cette règle, où l'on observe une augmentation linéaire du nombre de neurones et de la taille du cerveau, sont d'une part certaines espèces d'oiseaux. Les oiseaux sont en fait très intelligents, compte tenu de la taille de leur cerveau, et les primates. La théorie qui explique ce qui s'est passé chez l'homme est que nous avons débloqué une architecture très évolutive. C'est ainsi que les gens parlent des transformateurs comme étant plus évolutifs dans les LSTM, la chose qui les a précédés en 2018. Nous avons débloqué cette architecture, car elle est très évolutive. Et puis nous étions dans une niche évolutive il y a des millions d'années, qui récompensait les augmentations marginales de l'intelligence. Si vous devenez légèrement plus intelligent, oui, le cerveau coûte plus d'énergie, mais vous pouvez économiser de l'énergie en n'ayant pas à, par exemple, cuisiner, vous pouvez cuisiner de la nourriture pour ne pas avoir à dépenser beaucoup d'énergie pour la digestion. Vous pouvez trouver un jeu, vous pouvez trouver différentes façons de chercher de la nourriture.

Dwarkesh :
[9 :31] Les oiseaux n'ont pas pu trouver cette niche évolutive qui récompensait les augmentations progressives de l'intelligence parce que si votre cerveau devient trop lourd en tant qu'oiseau, vous n'allez pas voler... donc c'était cette heureuse coïncidence de ces deux choses. Maintenant, pourquoi est-ce que le fait que nos cerveaux puissent grossir nous a permis de devenir aussi intelligents que nous le sommes ? vous savez, un humain, de l'âge de zéro à 18 ans, ne voit pas, à un ordre de grandeur près, la quantité d'informations sur laquelle ces LLM sont formés. Les LLM sont donc extrêmement inefficaces en termes de données. Ils ont besoin de beaucoup plus de données. Mais je pense que le modèle de mise à l'échelle se retrouve dans de nombreux endroits différents.

Ryan :
[10:18] Est-ce que c'est une bonne analogie ? Cette analogie a toujours eu du sens pour moi. C'est comme si les transformateurs étaient des neurones. Les modèles d'IA sont un peu comme le cerveau humain, les pressions évolutionnaires sont comme la descente en gradient, les algorithmes de récompense, et l'intelligence humaine en sort. Nous ne comprenons pas vraiment cela.

Ryan :
[10:37] Nous ne comprenons pas non plus l'intelligence de l'IA, mais c'est le même principe qui est à l'œuvre.

Dwarkesh :
[10:42] Je pense que c'est une question fascinante, mais aussi très épineuse, car l'intelligence à gradient est-il comme l'évolution ? Oui, dans un sens. Mais quand on fait de la descente de gradient sur ces modèles, on commence avec le poids et on apprend comment fonctionne la chimie, comment fonctionne le codage, comment fonctionnent les maths. Et c'est en fait plus proche de l'apprentissage tout au long de la vie, c'est-à-dire qu'entre le moment où vous êtes déjà né et celui où vous atteignez 18 ou 25 ans, les choses que vous apprenez, et ce n'est pas de l'évolution. L'évolution a conçu le système ou le cerveau qui permet cet apprentissage, mais l'apprentissage tout au long de la vie lui-même n'est pas une évolution. Il y a donc une question intéressante à se poser : la formation est-elle plus proche de l'évolution ? Dans ce cas, nous pourrions être très loin de l'AGI parce que la quantité de calcul qui a été dépensée au cours de l'évolution pour découvrir le cerveau humain pourrait être de l'ordre de 10 à 40 flops. Il y a eu des estimations, vous savez, peu importe. Je suis sûr que cela vous ennuiera de découvrir, de parler de la façon dont ces estimations sont dérivées, mais juste comme combien par rapport à une seule vie, comme aller de l'âge de zéro à l'âge de 18 ans, qui est plus proche de, je pense, 10 à 24 flops, ce qui est en fait moins de calcul que ce que nous utilisons pour former les systèmes frontières. Très bien, quoi qu'il en soit, nous reviendrons à des questions plus pertinentes.

Ryan :
[11:58] Bon, c'est aussi une question plus générale. Je suis toujours fasciné par les discussions métaphysiques de certains chercheurs en IA. Beaucoup de chercheurs en IA parlent en termes de ce qu'ils fabriquent, nous fabriquons Dieu.

Ryan :
[12:14] Pourquoi disent-ils des choses comme ça ? Qu'est-ce que c'est que ce discours sur la fabrication de Dieu ? Qu'est-ce que ça veut dire ? Est-ce que c'est juste l'idée que les lois de l'écaillage ne cessent pas ? Et si nous pouvons, vous savez, faire passer l'intelligence à l'AGI, alors il n'y a aucune raison pour que nous ne puissions pas aller bien au-delà et créer une sorte d'entité semblable à un dieu. Et c'est essentiellement ce qu'est la quête. Nous créons une superintelligence artificielle. Nous créons un dieu. Nous créons Dieu.

Dwarkesh :
[12:38] Je pense que les gens se focalisent trop sur l'intelligence hypothétique d'une seule copie d'une IA. Je crois en la notion de superintelligence, qui n'est pas seulement fonctionnelle, qui ne se contente pas de dire qu'elle sait beaucoup de choses, mais qui est en fait qualitativement différente de la société humaine. La raison n'en est pas que je pense qu'elle est si puissante que n'importe quelle copie individuelle de l'IA sera aussi intelligente, mais en raison des avantages collectifs que les IA auront, qui n'ont rien à voir avec leur intelligence brute, mais plutôt avec le fait que ces modèles seront numériques ou qu'ils le sont déjà, mais qu'ils finiront par être aussi intelligents que les humains, au moins. Mais contrairement aux humains, en raison de nos contraintes biologiques, ces modèles peuvent être copiés. S'il existe un modèle qui a beaucoup appris sur un domaine spécifique, vous pouvez en faire des copies à l'infini. Et maintenant, vous avez une infinité de copies de Jeff Dean, d'Ilya Satskova, d'Elon Musk ou de n'importe quelle personne qualifiée à laquelle vous pouvez penser. Elles peuvent être fusionnées. Ainsi, les connaissances acquises par chaque copie peuvent être intégrées au modèle, puis à toutes les copies. Elles peuvent être distillées, elles peuvent courir à des vitesses surhumaines, ces avantages collectifs, et elles peuvent communiquer dans l'espace latent, ces avantages collectifs.

Ryan :
[13:58] Immortels, je veux dire que c'est un exemple.

Dwarkesh :
[14:01] Oui, exactement, non, je veux dire que c'est en fait, dites-moi si je m'égare trop, mais une question vraiment intéressante va se poser : comment poursuivre les IA parce que la façon dont nous poursuivons les humains est que nous vous jetons en prison si vous commettez un crime, mais s'il y a des billions de copies ou des milliers de copies d'un modèle d'IA, si une copie d'un modèle d'IA, si une instance d'un modèle d'IA fait quelque chose de mal, qu'est-ce qu'on fait ? Est-ce que tout le modèle doit être puni, et comment punir un modèle, n'est-ce pas ? Est-ce qu'il se soucie de la dilapidation de ses poids ? Oui, il y a toutes sortes de questions qui se posent en raison de la nature des IA.

Josh :
[14:39] Et qui en est responsable ? Est-ce que c'est le fabricant de l'outil ?

Josh :
[14:42] Est-ce la personne qui utilise l'outil ? qui est responsable de ces choses. Il y a un sujet que j'aimerais aborder ici à propos des lois sur le détartrage. À quel moment avons-nous réalisé que les lois de mise à l'échelle allaient fonctionner ? Parce qu'il y a eu beaucoup de thèses au début des années 2000 sur l'IA, sur la façon dont nous allions construire de meilleurs modèles. Finalement, nous sommes arrivés au transformateur. Mais à quel moment les chercheurs et les ingénieurs ont-ils commencé à réaliser que c'était la bonne idée. Nous devrions commencer à y consacrer beaucoup d'argent et de ressources par rapport à d'autres idées qui n'étaient que des idées de recherche théoriques, mais qui n'ont jamais vraiment décollé. C'est ce qui s'est passé avec GPT 2 et 3, où l'on a constaté une énorme amélioration. Beaucoup de ressources y ont été consacrées. Y a-t-il eu un moment précis ou une percée spécifique qui a conduit à l'apparition de ces lois de mise à l'échelle ?

Dwarkesh :
[15:20] Je pense qu'il s'agit d'un processus lent au cours duquel de plus en plus de personnes apprécient la nature du rôle écrasant du calcul dans la réalisation de progrès. En 2018, je crois, Dario Amadei a écrit un mémo qui était secret alors qu'il était chez OpenAI, maintenant il est le PDG d'Anthropic, mais alors qu'il était chez OpenAI, il a révélé par la suite sur mon podcast qu'il avait écrit ce mémo où il

Dwarkesh :
[15:47] Le titre du mémo s'appelait Big Blob of Compute. Et il dit en gros ce qu'on s'attend à ce qu'il dise, c'est-à-dire que oui, il y a des façons de gâcher le processus d'entraînement. Vous avez les mauvais types de données ou d'initialisations. Mais fondamentalement, l'AGI n'est qu'un gros bloc de calcul. Au cours des années qui ont suivi, les preuves empiriques se sont multipliées. Une grande mise à jour a donc eu lieu en 2021, je crois. Mais corrigez-moi. Quelqu'un me corrigera certainement dans les commentaires. Je me trompe. Il y a eu ces, il y a eu de multiples articles sur ces lois d'échelle où vous pouvez montrer que la perte du modèle sur l'objectif de prédire le prochain jeton diminue de manière très prévisible, presque à plusieurs décimales de justesse en fonction de la quantité de calcul que vous ajoutez dans ces modèles. Et le calcul lui-même est fonction de la quantité de données utilisées, de la taille du modèle et du nombre de paramètres qu'il comporte. À l'époque, il y a quelques années, c'était une preuve incroyablement solide, parce qu'on pouvait alors dire, bon, d'accord, s'il a vraiment cette perte incroyablement faible de prédiction du prochain jeton dans toute la production humaine, y compris les articles scientifiques, y compris les référentiels GitHub,

Dwarkesh :
[16:59] Cela ne veut-il pas dire qu'il a dû apprendre le codage, la science et toutes ces compétences pour faire ces prédictions, qui se sont avérées exactes ? Et c'était quelque chose que les gens, vous savez, considèrent comme acquis aujourd'hui, mais en fait, il y a un an ou deux, les gens niaient même cette prémisse. Mais il y a quelques années, certains y ont réfléchi et se sont dit qu'en fait, cela signifierait qu'il a acquis des compétences. Et c'est fou que nous ayons ce modèle empirique solide qui nous dit exactement ce qu'il faut faire pour acquérir ces compétences.

Josh :
[17:26] Et cela crée une perception étrange, c'est vrai, où très tôt et jusqu'à aujourd'hui, ce n'est qu'un prédicteur symbolique, n'est-ce pas ? Nous ne faisons que prédire le mot suivant dans la phrase. Mais quelque part, il crée cette perception d'intelligence.

Josh :
[17:38] Nous avons donc abordé le contexte historique initial. J'aimerais amener les auditeurs jusqu'à aujourd'hui, là où nous en sommes, là où les pertes d'échelle nous ont amenés en 2025. Pouvez-vous nous donner un aperçu du chemin parcouru depuis les premiers jours des GPT jusqu'à aujourd'hui, avec le GPT-4, le Gemini Ultra, le Club, que vous avez mentionné plus tôt. Nous avons fait une percée dans le domaine du raisonnement. Que peuvent donc faire les modèles de pointe aujourd'hui ?

Dwarkesh :
[18:01] Il y a donc ce qu'ils peuvent faire. Et puis il y a la question des méthodes qui semblent fonctionner. Je pense que nous pouvons commencer par ce qu'ils semblent pouvoir faire. Ils se sont révélés remarquablement utiles pour coder, et pas seulement pour répondre à des questions directes sur le fonctionnement de cette ligne de code ou autre. Mais ils travaillent véritablement de manière autonome pendant 30 minutes ou une heure, effectuant une tâche qui prendrait une journée entière à un développeur frontal. Et vous pouvez simplement leur demander à un niveau élevé, de faire ce genre de choses, et ils peuvent aller de l'avant et le faire. Évidemment, si vous avez joué avec, vous savez que ce sont des assistants extrêmement utiles en termes de recherche, en termes de thérapeutes même, et dans tous les autres cas d'utilisation. En ce qui concerne les méthodes de formation qui semblent fonctionner, il semble que nous ayons des preuves que le pré-entraînement plafonne, c'est-à-dire que nous avions GPD 4.5, qui ne faisait que suivre ce vieux moule consistant à agrandir le modèle, mais qui faisait fondamentalement la même chose, à savoir la prédiction du prochain jeton. Et apparemment, il n'a pas passé la rampe. L'OpenAI a dû le déprécier parce qu'il y a cette dynamique où plus le modèle est grand, plus il coûte non seulement à entraîner, mais aussi à servir, n'est-ce pas ? En effet, à chaque fois que vous servez un utilisateur, vous devez faire tourner l'ensemble du modèle, ce qui va, donc, mais ce qui va fonctionner, c'est le RL, qui est ce processus consistant non seulement à les former sur des jetons existants sur Internet, mais aussi à faire en sorte que le modèle lui-même essaie de répondre à des problèmes de maths et de codage. Finalement, nous sommes arrivés à un point où le modèle est suffisamment intelligent pour avoir raison une fois ou l'autre, ce qui permet de le récompenser et de saturer ces problèmes de raisonnement difficiles.

Josh :
[19:29] Et quelle a été l'avancée du raisonnement pour les personnes qui ne le connaissent pas ? Qu'est-ce qui rend le raisonnement si spécial et que nous n'avions pas encore découvert ? Et qu'est-ce que cela a permis de débloquer pour les modèles que nous utilisons aujourd'hui ?

Dwarkesh :
[19:39] Honnêtement, je ne suis pas sûr. Je veux dire que le GBD4 est sorti il y a un peu plus de deux ans, et c'est deux ans après le GBD4 qu'est sorti O1, qui était la première percée en matière de raisonnement, je crois en novembre dernier. Quelques mois plus tard, DeepSeq a publié son article R1. DeepSeq a donc ouvert ses recherches et a expliqué exactement comment fonctionnait son algorithme. Et ce n'était pas très compliqué. C'était exactement ce à quoi on pouvait s'attendre, c'est-à-dire obtenir quelques problèmes mathématiques, donner quelques problèmes initiaux, dire au modèle exactement à quoi ressemble la trace du raisonnement, comment vous le résolvez, juste comme l'écrire et ensuite faire en sorte que le modèle essaie de le faire de manière brute sur les problèmes restants. Je sais que cela peut sembler incroyablement arrogant de dire que ce n'était pas si compliqué. Pourquoi cela vous a-t-il pris des années ? Je pense qu'il y a là une idée intéressante : même les choses que l'on pense être simples en termes de description de haut niveau de la manière de résoudre le problème finissent par prendre plus de temps que ce que l'on pourrait naïvement supposer en termes de négociation des obstacles techniques restants. Cela devrait nous permettre de savoir combien de temps il nous faudra pour surmonter les goulets d'étranglement qui subsistent sur la voie de l'AGI. Ce sera peut-être plus difficile que ce que les gens imaginent, en particulier ceux qui pensent que nous n'en sommes qu'à deux ou trois ans. Mais tout cela pour dire que, oui, je ne sais pas pourquoi il a fallu attendre si longtemps après GPT-4 pour obtenir un modèle formé à un niveau de capacités similaire et capable de raisonner.

Josh :
[20:56] Et en ce qui concerne ces capacités, la première réponse que vous avez donnée à la question de savoir ce qu'il peut faire, c'est le codage. C'est ce que j'entends souvent quand je parle à des gens,

Josh :
[21:04], le codage semble être un atout majeur et un obstacle majeur à l'utilisation de ces modèles. Et je suis curieux de savoir pourquoi le codage l'emporte sur l'intelligence générale ? Est-ce parce qu'elle est placée dans une boîte de paramètres plus restreinte ? Je sais qu'au début, nous avions AlphaGo et les IA qui jouaient aux échecs, et qu'elles étaient si performantes parce qu'elles étaient en quelque sorte contenues dans cette boîte de paramètres qui était un peu moins ouverte que l'intelligence générale. Est-ce la raison pour laquelle le codage est actuellement à la frontière de la capacité de ces modèles ?

Dwarkesh :
[21:31] Il y a deux hypothèses différentes. L'une est basée sur une idée appelée le paradoxe de Moravac.

Dwarkesh :
[21:38] Et c'est une idée, d'ailleurs, d'un personnage très intéressant, en fait, j'aurais dû le mentionner plus tôt. Un personnage très intéressant dans l'histoire de l'échelle est Hans Morovac, qui, dans les années 90 je crois, prédit que 2028 sera l'année où nous atteindrons l'AGI. Et la façon dont il prédit cela, qui est comme, vous savez, nous verrons ce qui se passera, mais comme, pas si loin de l'argent en ce qui me concerne. La façon dont il prédit cela, c'est qu'il regarde la croissance de la puissance de calcul d'une année sur l'autre, puis il regarde la quantité de calcul qu'il estime nécessaire pour le cerveau humain. Puis il se dit que nous aurons des ordinateurs aussi puissants que le cerveau humain d'ici 2028. Ce qui est à la fois un argument faussement simple, mais qui s'est avéré incroyablement précis et qui a fonctionné, n'est-ce pas ? Je pourrais ajouter un fait : c'était en 2028, mais c'était dans les limites de ce que l'on pourrait considérer comme une supposition raisonnable, compte tenu de ce que nous savons aujourd'hui. Le paradoxe de Moravex, c'est l'idée que les ordinateurs, comme l'IA, s'améliorent d'abord dans les domaines où les humains sont les plus mauvais. Ou du moins, il y a une énorme variation dans le répertoire humain. Nous pensons donc que le codage est incroyablement difficile, n'est-ce pas ? Nous pensons que les 1 % de personnes les plus douées seront d'excellents codeurs. Nous pensons également que le raisonnement est très difficile, n'est-ce pas ? Si vous lisez Aristote, il dit que ce qui rend les humains spéciaux, ce qui nous distingue des animaux, c'est le raisonnement.

Dwarkesh :
[23:03] Et ces modèles ne sont pas encore très utiles dans presque tous les domaines. La seule chose qu'ils peuvent faire, c'est raisonner. La réponse de Moravac est que l'évolution a passé des milliards d'années à nous optimiser pour faire des choses que nous tenons pour acquises. Déplacez-vous dans cette pièce, d'accord ? Je peux prendre cette canette de Coca, la déplacer, la boire. Et cela, les robots ne sont même pas encore capables de le faire. En fait, l'évolution nous a tellement inculqué qu'aucun humain, ou du moins aucun humain qui n'est pas handicapé, ne sera capable de le faire. Nous tenons donc pour acquis qu'il s'agit d'une chose facile à faire. Mais en fait, c'est une preuve du temps que l'évolution a mis pour amener les humains à ce stade. Le raisonnement, la logique, toutes ces compétences n'ont été optimisées par l'évolution qu'au cours des derniers millions d'années. Il y a donc eu mille fois moins de pression évolutive en faveur du codage qu'en faveur de la locomotion de base.

Dwarkesh :
[24:04] Et cela s'est avéré très précis pour prédire les types de progrès que nous observons avant même l'apprentissage profond, n'est-ce pas ? Par exemple, dans les années 40, lorsque nous avons eu nos premiers ordinateurs, la première chose que nous avons pu faire était de longs calculs de trajectoires balistiques à l'époque de la Seconde Guerre mondiale. Les humains sont incapables de faire de longs calculs à la main. Voilà donc l'explication du codage, qui semble difficile pour les humains, et qui a été la première chose que les IA ont pu faire. Il existe une autre théorie, selon laquelle cette explication est totalement erronée. Cela n'a rien à voir avec ce paradoxe apparent de la durée pendant laquelle l'évolution nous a optimisés, mais tout à voir avec la disponibilité des données. Nous avons donc GitHub, ce dépôt de tout le code humain, du moins de tout le code open source écrit dans tous ces langages différents, des trillions et des trillions de tokens. Nous ne disposons pas d'un système analogue pour la robotique. Nous ne disposons pas de ce corpus de pré-entraînement. Et cela explique pourquoi le code a fait beaucoup plus de progrès que la robotique.

Ryan :
[24:58] C'est fascinant parce que s'il y a une chose que je pourrais énumérer pour laquelle nous voudrions que l'IA soit douée, le codage de logiciels est probablement en tête de liste. En effet, si l'on dispose d'une intelligence Turing complète capable de créer des logiciels Turing complets, y a-t-il quelque chose que l'on ne puisse pas créer une fois que l'on dispose de cette intelligence ? Par ailleurs, l'idée du paradoxe de Morvac implique un certain complémentarisme avec l'humanité. Si les robots peuvent faire des choses que les robots peuvent faire très bien et ne peuvent pas faire des choses que les humains peuvent faire bien, il y a peut-être une place pour nous dans ce monde. C'est une nouvelle fantastique. Cela implique également que les humains ont en quelque sorte gratté la surface du potentiel de raisonnement. Si nous n'avons eu que quelques millions d'années d'évolution et que nous n'avons pas eu l'ensemble des données nécessaires pour devenir vraiment bons en matière de raisonnement, il semble qu'il y ait un énorme potentiel, un territoire inexploré, comme beaucoup plus d'intelligence que la nature pourrait contenir à l'intérieur du raisonnement. Quelles sont les implications de ces idées ?

Dwarkesh :
[26:02] Oui, je sais. C'est une excellente idée. Une autre idée très intéressante est que plus il y a de variations dans une compétence chez les humains, plus les IA y parviendront rapidement et efficacement. Parce que le codage est un domaine dans lequel 1 % des humains sont vraiment doués. Le reste d'entre nous, si nous essayons de l'apprendre, ne sera pas très doué, n'est-ce pas ? Et parce que l'évolution a passé si peu de temps à nous optimiser, il y a cette marge de variation où l'optimisation ne s'est pas produite uniformément ou n'a pas été assez précieuse pour saturer le pool génétique humain pour cette compétence. Je pense que vous avez déjà soulevé un point que j'ai trouvé très intéressant et que je voulais aborder. Pouvez-vous me rappeler la première chose que vous avez dite ?

Ryan :
[26:42] Est-ce le complémentarisme ?

Dwarkesh :
[26:46] Oui. On peut donc le considérer comme un avenir positif. On peut le considérer comme un avenir négatif dans le sens où, eh bien, quelles sont les compétences complémentaires que nous fournissons ? Nous sommes de bons robots à viande.

Ryan :
[26:57] Oui, la main-d'œuvre peu qualifiée de la situation.

Dwarkesh :
[26:59] Ils peuvent faire toute la réflexion et la planification. Un avenir sombre, une vision sombre de l'avenir, c'est que nous aurons ces lunettes méta et l'IA nous parlera à l'oreille et nous dira d'aller mettre cette brique là-bas pour que le prochain centre de données ne puisse pas être construit parce que l'IA a le plan pour tout. Elle a la meilleure conception pour le navire et tout le reste. Il suffit de déplacer les choses pour elle. Et c'est à cela que ressemble le travail humain jusqu'à ce que la robotique soit résolue. Alors oui, tout dépend de la façon dont vous vous y prenez. D'un autre côté, vous serez bien payé, car déplacer ces briques a une grande valeur. Nous sommes en train de construire l'AGI. Mais oui, cela dépend de la façon dont vous répondez à cette question.

Ryan :
[27:32] Eh bien, il semble y avoir quelque chose dans cette idée, en revenant à l'idée de la quantité massive de variations humaines. Je veux dire que le mois dernier, on a appris que la méta avait embauché des chercheurs en IA pour des primes de 100 millions de dollars, d'accord ? Quel est le salaire moyen d'un ingénieur logiciel par rapport à celui d'un chercheur en IA au sommet du marché, n'est-ce pas ? Ce qui implique, bien sûr, qu'il y a des choses qui se passent au niveau de l'offre et de la demande, mais cela semble aussi impliquer qu'il y a des variations massives dans la qualité d'un ingénieur logiciel. Et si les IA peuvent atteindre cette qualité, qu'est-ce que cela débloque ?

Ryan :
[28:07] Oui. Donc, d'accord. D'accord. Je pense qu'on a un peu codé pour l'instant. Mais une autre question est de savoir ce que les IA ne peuvent pas faire aujourd'hui. Et comment caractériser cela ? Quelles sont les choses qu'elles ne font pas bien ?

Dwarkesh :
[28:20] Dans mon podcast, j'ai interviewé des gens qui ont des calendriers très différents de ceux de la campagne GetAGI. J'ai reçu des gens qui pensent que c'est dans deux ans et d'autres qui pensent que c'est dans 20 ans. Et l'expérience de la construction d'outils d'IA pour moi-même a été le plus grand moteur de réflexion ou peut-être de recherche que j'ai fait sur la question de l'arrivée de l'IA.

Ryan :
[28:41] Plus que les interviews des invités.

Dwarkesh :
[28:43] Oui, parce que j'ai probablement passé une centaine d'heures à essayer de construire ces petits outils, comme tu l'as fait, j'en suis sûr, pour réécrire des transcriptions générées automatiquement pour moi afin qu'elles sonnent, qu'elles soient réécrites de la même manière qu'un humain les écrirait. Trouver des clips pour que je les tweete, écrire des essais avec moi, les co-écrire passage par passage, ce genre de choses. Ce que j'ai constaté, c'est qu'il est en fait très difficile d'obtenir de ces modèles un travail semblable à celui d'un humain, même pour des tâches comme celles-ci, qui devraient être au cœur du répertoire de ces modèles, n'est-ce pas ? Il s'agit d'un horizon court, d'une entrée et d'une sortie de langage. Ils ne dépendent pas de la compréhension d'une chose que j'ai dite il y a un mois. C'est juste comme ça, c'est la tâche. Je me suis demandé pourquoi je n'ai toujours pas réussi à automatiser ces tâches linguistiques de base. Pourquoi est-ce qu'un humain doit encore travailler sur ces choses ?

Dwarkesh :
[29:31] Je pense que la principale raison pour laquelle vous ne pouvez pas automatiser ces tâches simples est que les modèles n'ont actuellement pas la capacité de faire de la formation sur le tas. Donc si vous embauchez un humain pour les six ou trois premiers mois, il ne sera pas très utile, même s'il est très intelligent, parce qu'il n'a pas construit le contexte, il n'a pas pratiqué les compétences, il ne comprend pas le fonctionnement de l'entreprise. Ce qui fait la valeur des humains, ce n'est pas que l'intellect brut compte évidemment, mais ce n'est pas principalement cela. C'est leur capacité à interroger leurs propres échecs de manière dynamique et organique, à trouver de petites efficacités et améliorations au fur et à mesure qu'ils s'exercent à la tâche, et à construire ce contexte au fur et à mesure qu'ils travaillent dans un domaine. C'est pourquoi les gens se demandent parfois si le revenu d'OpenAI, le revenu annuel récurrent, est de l'ordre de 10 milliards de dollars. Kohl's gagne plus d'argent que cela. McDonald's gagne plus d'argent que cela, n'est-ce pas ?

Dwarkesh :
[30:24] Alors pourquoi s'ils ont l'AGI, ils, vous savez, comme Fortune 500 ne réorganisent pas leurs flux de travail pour, vous savez, utiliser des modèles OpenAI à chaque couche de la pile ? Ma réponse, parfois les gens disent, eh bien, c'est parce que les gens sont trop conservateurs. La direction de ces entreprises n'avance pas assez vite dans le domaine de l'IA. Cela peut être une partie du problème. Je pense que la plupart du temps, ce n'est pas cela. Je pense que la plupart du temps, il est vraiment très difficile d'extraire la main-d'œuvre humaine de ces modèles parce que vous avez besoin d'un travail de qualité.C'est pourquoi ils sont peut-être cinq sur dix à réécrire la transcription pour vous, mais si vous n'aimez pas le résultat, si vous avez des commentaires, si vous voulez continuer à l'enseigner au fil du temps, une fois la session terminée, le modèle a perdu tout ce qu'il savait sur vous et vous devez recommencer, c'est comme travailler avec un employé amnésique, vous devez recommencer.

Ryan :
[31:12] Chaque jour est le premier jour de travail, en gros.

Dwarkesh :
[31:15] Oui, exactement. C'est le jour de la marmotte pour eux tous les jours, ou toutes les deux heures, en fait. Il leur est donc très difficile d'être utiles en tant qu'employés, n'est-ce pas ? À ce moment-là, ils ne sont plus vraiment des employés. Je pense qu'il s'agit là d'un goulot d'étranglement majeur pour la valeur de ces modèles, car le travail humain a une grande valeur, n'est-ce pas ? Dans le monde, 60 000 milliards de dollars sont versés en salaires chaque année. Si ces entreprises de modélisation gagnent de l'ordre de 10 milliards de dollars par an, c'est un grand pas vers l'AGI. Qu'est-ce qui explique cet écart ? Quels sont les goulets d'étranglement ? Je pense que l'un des principaux est l'apprentissage continu. Et je ne vois pas comment ces modèles pourraient résoudre facilement ce problème. Avec le raisonnement, on ne peut pas dire qu'il suffit de l'entraîner aux mathématiques et aux problèmes de code pour obtenir le raisonnement. Et cela a fonctionné. Je ne pense pas qu'il y ait quelque chose de très évident pour que cet apprentissage en ligne, cette formation sur le tas fonctionne pour ces modèles.

Ryan :
[32:01] Ok, on peut en parler ? Aller un peu plus loin sur ce concept ? C'est en fait l'un des concepts que tu as écrit dans ton récent article : " L'IA n'est pas au coin de la rue. L'IA n'est pas au coin de la rue. Même si vous êtes un optimiste de l'IA, je dirais, et globalement un accélérateur de l'IA, vous disiez que ce n'est pas pour demain. Vous dites que la capacité de remplacer le travail humain n'est pas pour demain. Pas pour toujours, mais je crois que vous avez dit quelque part autour de 2032, si vous deviez deviner l'estimation. La raison que vous donnez est que les IA ne peuvent pas apprendre sur le tas, mais je ne vois pas très bien pourquoi elles ne le peuvent pas. Est-ce simplement parce que la fenêtre contextuelle n'est pas assez grande ? Est-ce parce qu'elles ne peuvent pas saisir tous les différents ensembles de données et points de données que les humains peuvent saisir ? Est-ce parce qu'ils n'ont pas de mémoire d'état comme un employé humain ? Si c'est le cas, tous ces problèmes semblent pouvoir être résolus. Et c'est peut-être ce que vous dites. Ce sont des problèmes qui peuvent être résolus. Ils sont juste un peu plus longs que ce que certains pensent.

Dwarkesh :
[32:58] Je pense que c'est en quelque sorte un problème soluble, car nous finirons par construire l'AGI. Et pour construire l'AGI, nous aurons dû résoudre le problème. Ce que je veux dire, c'est que les solutions évidentes que vous pourriez imaginer, par exemple, élargir la fenêtre contextuelle ou avoir une mémoire externe en utilisant des systèmes comme rag, ce sont des techniques que nous avons déjà, c'est ce qu'on appelle la génération augmentée par récupération, de toute façon ces types de génération augmentée par récupération, je ne pense pas qu'ils suffiront et juste pour mettre un point plus fin tout d'abord comme quel est le problème, le problème est exactement comme vous le dites que dans la fenêtre contextuelle, ces modèles peuvent en fait apprendre sur le tas, donc si vous lui parlez assez longtemps, il deviendra bien meilleur pour comprendre vos besoins et quel est votre problème exact. Si vous l'utilisez à des fins de recherche pour votre podcast, il comprendra mieux, par exemple, qu'ils sont particulièrement curieux de ce genre de questions. Laissez-moi me concentrer sur ce point. Le contexte est en fait très proche de celui des humains, n'est-ce pas ? La vitesse à laquelle il apprend, les tâches et les connaissances qu'il sélectionne. Le problème, bien sûr, c'est que la longueur du contexte, même pour les meilleurs modèles, ne dure qu'un ou deux millions de tokens. Cela représente tout au plus une heure de conversation. On pourrait alors se demander s'il n'est pas possible de résoudre ce problème en élargissant la fenêtre contextuelle, n'est-ce pas ? La fenêtre contextuelle s'est élargie au cours des dernières années. Pourquoi ne pas continuer comme ça ?

Ryan :
[34:10] Oui, une fenêtre contextuelle d'un milliard de jetons, quelque chose comme ça.

Dwarkesh :
[34:13] C'est en 2018 que le transformateur est sorti, et le transformateur a le mécanisme d'attention. Le mécanisme d'attention est intrinsèquement quadratique avec la nature, la longueur de la séquence, c'est-à-dire que si vous passez de 1 million de jetons à 2 millions de jetons, cela coûte en fait quatre fois plus de calcul pour traiter le deux millionième jeton. Ce n'est pas seulement deux fois plus de calcul. Le coût augmente donc de façon très linéaire à mesure que la longueur du contexte augmente. Au cours des sept dernières années, les chercheurs ont essayé de contourner cette nature quadratique inhérente de l'attention. Bien sûr, nous ne savons pas secrètement sur quoi travaillent les laboratoires. Mais nous avons des entreprises pionnières comme DeepSeq, qui ont mis leurs recherches en open source, et nous pouvons voir comment leurs algorithmes fonctionnent. Et ils ont trouvé ces modificateurs de temps constant pour l'attention, ce qui signifie que ce sera toujours quadratique, mais ce sera comme une moitié de fois quadratique. Mais la super linéarité inhérente n'a pas disparu. Et pour cette raison, vous pourrez peut-être passer de 1 million de tokens à 2 millions de tokens en trouvant un autre moyen de pirater. Il faut s'assurer que les experts ne veulent que ce genre de choses. L'attention latente est une autre technique de ce type. Mais, ou KVCash, c'est vrai, il y a beaucoup d'autres choses qui ont été découvertes. Mais les gens n'ont pas découvert comment contourner le fait que si vous allez jusqu'à un milliard, ce sera un milliard au carré, ce qui est coûteux en termes de calcul pour traiter ce jeton. Je ne pense donc pas qu'il suffise d'augmenter la longueur de la fenêtre contextuelle pour y parvenir.

Ryan :
[35:42] C'est fascinant. Oui, je n'avais pas réalisé ça. L'autre raison pour laquelle l'IA n'est pas au coin de la rue, c'est qu'elle ne peut pas faire vos impôts. Dorcas, je ressens ta douleur. Les impôts, c'est une vraie plaie. Je pense que vous en parliez dans le contexte de la vision par ordinateur, de l'utilisation de l'ordinateur, ce genre de choses. C'est vrai. J'ai vu des démonstrations. J'ai vu des systèmes de vision par ordinateur très intéressants

Ryan :
[36:05] des démonstrations qui semblent être sur le point d'arriver. Mais quelle est la limite de l'utilisation de l'ordinateur pour une IA ?

Dwarkesh :
[36:12] Il y a eu un article de blog intéressant de la part d'une entreprise appelée Mechanize qui explique pourquoi c'est un problème si important. Et j'adore la façon dont ils l'ont formulé. Imaginez que vous deviez former un modèle en 1980, un grand modèle de langage en 1980, et que vous puissiez utiliser tous les calculs que vous voulez en 1980, mais que vous n'ayez pas, que vous soyez seulement coincé avec les données disponibles dans les années 1980, bien sûr, avant qu'Internet ne devienne un phénomène très répandu. Vous ne pouviez pas former un LLM moderne, même avec tous les ordinateurs du monde, parce que les données n'étaient pas disponibles. Nous sommes dans une situation similaire en ce qui concerne l'utilisation des ordinateurs, parce qu'il n'y a pas ce corpus de vidéos collectées de personnes utilisant des ordinateurs pour faire différentes choses, pour accéder à différentes applications et pour faire du travail en col blanc. C'est pourquoi je pense que le grand défi a été d'accumuler ce type de données.

Ryan :
[37:06] Et pour être clair, quand je parlais du cas d'utilisation comme, par exemple, faire mes impôts, tu parles effectivement d'une IA qui aurait la capacité de naviguer dans les fichiers de ton ordinateur, de se connecter à différents sites web pour télécharger tes fiches de paie ou autre, puis d'aller sur TurboTax ou autre et d'entrer tout ça dans un logiciel et de l'archiver, c'est bien ça ? Il suffit d'une commande vocale ou quelque chose comme ça. En gros, c'est comme ça que je fais mes impôts.

Dwarkesh :
[37:31] Il devrait être capable de naviguer dans des interfaces utilisateur qui lui sont moins familières ou qui apparaissent organiquement dans le contexte d'une tentative de résolution d'un problème. Par exemple, je peux avoir des déductions professionnelles. Il voit sur mon relevé bancaire que j'ai dépensé 1 000 dollars sur Amazon. Il se connecte à mon Amazon. Il voit, par exemple, qu'il a acheté un appareil photo. Je pense donc qu'il s'agit probablement d'une dépense professionnelle pour son podcast. Il a acheté un Airbnb pour un week-end dans les cabanes de je ne sais quoi, dans les bois de je ne sais quoi. Ce n'était probablement pas une dépense professionnelle. Mais peut-être que si c'est une sorte de zone grise, il était prêt à aller dans la zone grise, ouais, ouais, ouais.

Ryan :
[38:08] La zone grise.

Dwarkesh :
[38:09] J'étais en train de faire des recherches. Mais de toute façon, en incluant tout ça, en incluant le fait d'envoyer des e-mails aux gens pour obtenir des factures et de marchander avec eux, ce serait une sorte de tâche d'une semaine pour faire mes impôts, n'est-ce pas ? Il y a beaucoup de travail à faire. Il ne s'agit pas simplement de faire cette compétence, cette compétence, cette compétence, mais plutôt d'avoir une sorte de plan d'action et de décomposer les tâches, de traiter de nouvelles informations, de nouveaux emails, de nouveaux messages, de me consulter pour des questions, etc.

Ryan :
[Je veux dire, pour être clair sur ce cas d'utilisation aussi, même si ton article est intitulé, tu sais, l'IA n'est pas au coin de la rue. Tu penses toujours que cette capacité à remplir tes déclarations d'impôts, c'est pour 2028, n'est-ce pas ? Je veux dire, ce n'est peut-être pas l'année prochaine, mais c'est dans quelques années.

Dwarkesh :
[38:54] C'est vrai. Ce qui est, je pense que c'est une sorte de, les gens ont peut-être lu trop de choses dans le décret et n'ont pas lu les arguments.

Ryan :
[39:00] Ça n'arrive jamais sur internet. Wow. C'est la première fois.

Dwarkesh :
[39:04] Non, je pense que je m'oppose aux gens qui disent que ça va arriver. L'AGI, c'est dans deux ans. Je pense que le monde en général, les marchés, la perception du public, même les gens qui s'intéressent un peu à l'IA, mais qui ne font pas partie du milieu spécifique auquel je m'adresse, sous-évaluent largement l'AGI. Une raison, une chose que je pense qu'ils sous-estiment est que non seulement nous aurons des millions de travailleurs supplémentaires, des millions de travailleurs supplémentaires, potentiellement des milliards, au cours de la prochaine décennie, parce que nous aurons alors une IA potentiellement, je pense qu'il est probable que nous aurons l'IAG au cours de la prochaine décennie. Mais ils auront ces avantages que les travailleurs humains n'ont pas, c'est-à-dire que, d'accord, une entreprise à modèle unique, supposons que nous résolvions l'apprentissage continu, n'est-ce pas ? Et que nous résolvions le problème de l'utilisation des ordinateurs. En ce qui concerne le travail des cols blancs, il pourrait être fondamentalement résolu. Vous pouvez avoir des IA qui peuvent utiliser non seulement elles ne sont pas seulement comme une boîte de texte où vous posez des questions dans un chatbot et vous obtenez une réponse. Il n'est pas très utile d'avoir un chatbot très intelligent. Il faut qu'il soit capable de faire un vrai travail et d'utiliser de vraies applications.

Dwarkesh :
[40:08] Supposons que vous ayez résolu ce problème parce qu'il agit comme un employé. Il y a un apprentissage continu. Il y a l'utilisation de l'ordinateur. Mais il présente un autre avantage que les humains n'ont pas, à savoir que des copies de ce modèle vont être déployées dans l'ensemble de l'économie et qu'elles feront de la formation sur le tas. Ainsi, les copies apprennent à devenir comptable, avocat ou codeur. Mais comme il s'agit d'une IA et qu'elle est numérique, le modèle lui-même peut fusionner toutes ces formations en cours d'emploi dispensées par toutes ces copies. Qu'est-ce que cela signifie ? Eh bien, cela signifie que même s'il n'y a plus de progrès logiciel après ce point, c'est-à-dire que plus aucun algorithme n'est découvert, il n'y a pas un transformateur plus plus qui est découvert. Le simple fait que ce modèle apprenne toutes les compétences de l'économie, au moins pour les cols blancs, pourrait donner lieu, sur la base de ce seul fait, à quelque chose qui ressemble à une explosion d'intelligence. Il s'agirait simplement d'une explosion d'intelligence largement déployée, mais qui deviendrait fonctionnellement super intelligente grâce à une capacité d'apprentissage sur le tas de niveau humain.

Josh :
[41:03] Oui, et cela crée un réseau maillé de renseignements partagés par tous. C'est vraiment fascinant. Nous allons donc y arriver. Nous allons arriver à l'AGI, qui sera incroyablement intelligente. Mais ce que nous avons partagé récemment, c'est une sorte de mélange où aujourd'hui, c'est assez bon pour certaines choses, mais pas très bon pour d'autres. Nous engageons des humains pour faire des tâches que nous pensons que l'IA devrait faire, mais qu'elle ne fait probablement pas. La question que je me pose est donc la suivante : l'IA est-elle vraiment si intelligente ? Ou est-elle simplement douée pour atteindre ces critères particuliers que nous mesurons ? Apple, je veux dire, a récemment publié un article célèbre, The Illusion of Thinking (L'illusion de la pensée), dans lequel il est dit que l'IA est assez bonne jusqu'à un certain point, mais qu'à un certain moment, elle s'effondre. Et la déduction est la suivante : peut-être que ce n'est pas de l'intelligence, peut-être qu'elle est juste bonne à deviner. La question est donc de savoir si l'IA est vraiment si intelligente que ça.

Dwarkesh :
[41:46] Cela dépend de la personne à qui je parle. Je pense que certaines personnes surestiment ses capacités. Je pense que certains se disent : oh, c'est déjà une IA, mais c'est une IA un peu handicapée où nous lui donnons une commotion cérébrale toutes les deux heures et où elle oublie tout. Nous sommes comme piégés dans un contexte de chatbot. Mais fondamentalement, la chose à l'intérieur est comme un humain très intelligent. Je ne suis pas d'accord avec ce point de vue. Si c'est votre point de vue, je vous réponds que non, il n'est pas si intelligent que ça. Il ne s'agit que d'associations statistiques. Je dis qu'il est définitivement plus intelligent. C'est comme s'il y avait vraiment une intelligence là-dedans.

Dwarkesh :
[42:17] Et la chose que vous pourriez dire à la personne qui pense que c'est déjà une AGI, c'est ceci. Ecoutez, si un seul humain avait mémorisé autant de choses que ces modèles semblent en avoir mémorisées, n'est-ce pas ? C'est-à-dire qu'il mémorise tout le texte Internet, tout ce que l'homme a écrit sur Internet. Ils pourraient potentiellement découvrir toutes sortes de connexions et de découvertes. Ils remarqueraient que cette chose qui cause la migraine est associée à ce type de carence. Alors peut-être que si vous prenez ce supplément, vos migraines seront guéries. Il y aurait toute une liste de liens insignifiants qui mèneraient à de grandes découvertes. Il n'est pas certain qu'il y ait eu un cas clair où une IA ait fait cela d'elle-même. Alors pourquoi ? C'est une explication potentielle : si elles sont si intelligentes, pourquoi ne sont-elles pas capables d'utiliser leurs capacités disproportionnées, leurs capacités uniques pour faire ces découvertes ? Je ne pense pas qu'il y ait encore une bonne réponse à cette question, si ce n'est qu'ils ne sont pas vraiment créatifs. Peut-être sont-ils intelligents dans le sens où ils savent beaucoup de choses, mais ils n'ont pas cette intelligence fluide qu'ont les humains. Quoi qu'il en soit, je vous donne une réponse en forme de vœu pieux parce que je pense que certaines personnes sous-estiment l'intelligence. D'autres la surestiment.

Ryan :
[43:25] Je me souviens d'un tweet de Tyler Cowen. Je pense qu'il faisait référence à O3 et il a dit en gros que ça ressemblait à l'AGI. Je ne sais pas si c'est de l'AGI ou pas, mais pour moi, ça ressemble à de l'AGI. Comment expliquez-vous ce sentiment d'intelligence ?

Dwarkesh :
[43:40] Je pense que c'est en fait très intéressant parce que cela touche à un point crucial que Tyler et moi avons. Tyler et moi ne sommes pas d'accord sur deux points importants. Premièrement, il pense, comme il l'a dit dans l'article du blog, que 03 est l'AGI. Je ne pense pas que ce soit l'AGI. Je pense que c'est un ordre de grandeur moins précieux ou, vous savez, comme plusieurs ordres de grandeur moins précieux et moins utile qu'une AGI. C'est un point sur lequel nous ne sommes pas d'accord. L'autre point de désaccord est qu'il pense qu'une fois que nous aurons l'AGI, le taux de croissance économique n'augmentera que de 0,5 %. C'est ce que l'internet a provoqué, n'est-ce pas ? Alors que je pense que nous verrons des dizaines de pour cent d'augmentation de la croissance économique. Il s'agira simplement de la différence entre le taux de croissance de la révolution préindustrielle et celui de la révolution industrielle, un changement d'une telle ampleur. Et je pense que ces deux désaccords sont liés, parce que si vous croyez que nous avons déjà atteint l'AGI, et que vous regardez le monde et que vous vous dites que, fondamentalement, tout se ressemble, vous seriez pardonné de penser que, oh, il n'y a pas beaucoup d'intérêt à atteindre l'AGI. Alors que si vous êtes comme moi et que vous pensez que non, nous aurons au minimum une explosion d'intelligence largement déployée une fois que nous aurons atteint l'AGI, alors vous vous dites, OK, je m'attends juste à une sorte de futur singulièrement fou avec des usines de robots et, vous savez, des fermes solaires dans tout le désert et des choses comme ça.

Ryan :
[44:54] Ouais, je veux dire, il me semble que ton désaccord avec Tyler est juste basé sur la définition sémantique de ce qu'est réellement l'AGI. Et Tyler a l'air d'avoir un seuil plus bas pour ce qu'est l'AGI, alors que tu as un seuil plus élevé. Existe-t-il une définition acceptée de l'AGI ?

Dwarkesh :
[Une chose qui est utile pour les besoins de la discussion est de dire qu'il faut automatiser tous les emplois de cols blancs parce que la robotique n'a pas fait autant de progrès que les LLM.

Dwarkesh :
[45:21] que les ordinateurs. Donc si nous disons simplement que tout ce qu'un humain peut faire, ou peut-être 90% de ce que les humains peuvent faire à un bureau, une IA peut aussi le faire, c'est une définition potentiellement utile pour au moins obtenir les éléments cognitifs pertinents pour définir l'AGI. Mais oui, il n'y a pas une seule définition qui convienne à tous.

Ryan :
[45:41] Est-ce qu'on sait ce qui se passe à l'intérieur de ces modèles ? Josh parlait plus tôt dans la conversation du fait que la base est une sorte de prédiction symbolique, n'est-ce pas ? Et je suppose que cela commence à soulever la question de savoir ce qu'est l'intelligence en premier lieu. Ces modèles d'IA semblent intelligents, mais ont-ils un modèle du monde comme le ferait un humain ? S'agit-il d'une sorte de bavardage ou d'un véritable raisonnement ? Et qu'est-ce qu'un vrai raisonnement ? Est-ce qu'on juge cela en se basant sur les résultats ou y a-t-il un moyen de jeter un coup d'œil à l'intérieur de sa tête ?

Dwarkesh :
[46:18] Je me posais des questions similaires il y a quelques années. Et puis, parce qu'honnêtement, les choses qu'ils faisaient à l'époque étaient comme ambiguës. Vous pouviez dire, oh, c'est assez proche de quelque chose d'autre dans cet ensemble de données commerciales. Il s'agit simplement d'un copier-coller. Il n'y avait pas de solution en soi. Mais nous en sommes arrivés à un point où je peux proposer un problème mathématique assez compliqué et il le résoudra. Il peut s'agir d'un problème de mathématiques, mais pas d'un problème de mathématiques de premier cycle ou de lycée. Comme le problème que nous recevons, les problèmes que les professeurs de mathématiques les plus intelligents inventent pour tester les Olympiades internationales de mathématiques, vous savez, les enfants qui passent toute leur vie à se préparer pour cela, les génies qui passent toute leur vie, toute leur vie de jeune adulte à se préparer à relever ces défis de puzzle mathématique vraiment bizarres. Et le modèle répondra correctement à ce genre de questions. Elles requièrent toute cette pensée créative abstraite, ce raisonnement pendant des heures. Le modèle obtiendra la bonne réponse. D'accord, si ce n'est pas du raisonnement, alors pourquoi le raisonnement est-il utile ? Qu'est-ce que ce raisonnement est censé être exactement ? Je pense donc qu'il s'agit véritablement d'un raisonnement. Je veux dire, je pense qu'il y a d'autres capacités qui leur manquent, qui sont en fait plus, dans un certain sens, elles nous semblent plus triviales, mais qui sont en fait beaucoup plus difficiles à apprendre. Mais je pense que le raisonnement lui-même est là.

Josh :
[47:30] Et la réponse à la question de l'intelligence est également assez floue, n'est-ce pas ? Parce que nous ne comprenons toujours pas ce qui se passe dans un LLM. Dario, d'Anthropic, a récemment publié un article sur l'interprétation. Pouvez-vous nous expliquer pourquoi nous ne comprenons pas vraiment ce qui se passe dans ces LLM, même si nous sommes capables de les créer et d'en tirer des résultats ?

Dwarkesh :
[47:48] Hmm.

Josh :
[47:49] Parce que c'est toujours un peu comme une boîte noire. Nous écrivons du code, nous introduisons des données et nous obtenons quelque chose, mais nous ne sommes pas sûrs de ce qui se passe au milieu, de la raison pour laquelle cela crée ce résultat.

Dwarkesh :
[47:59] Je veux dire, c'est exactement ce que vous dites. Dans les autres systèmes que nous concevons dans le monde, nous devons construire de bas en haut. Si vous construisez un pont, vous devez comprendre comment chaque poutre contribue à la structure. Et nous avons des équations qui expliquent pourquoi la chose restera debout. Il n'y a rien de tel pour l'IA. Nous ne l'avons pas construite, nous l'avons plutôt cultivée. C'est comme arroser une plante. Il y a quelques milliers d'années, on pratiquait l'agriculture, mais on ne savait pas pourquoi. Pourquoi les plantes poussent-elles ? Comment recueillent-elles l'énergie de la lumière du soleil ? Toutes ces choses. Et je pense que nous sommes dans une position très similaire en ce qui concerne l'intelligence, la conscience, toutes ces autres questions intéressantes sur le fonctionnement de l'esprit, ce qui est en un sens vraiment génial parce qu'il y a cet immense horizon intellectuel qui est devenu non seulement disponible, mais accessible à la recherche.

Dwarkesh :
[48:55] D'un autre côté, c'est effrayant parce que nous savons que les esprits peuvent souffrir. Nous savons que les esprits ont une valeur morale et nous créons des esprits sans comprendre ce qui se passe dans ces esprits. Un processus de descente en gradient est-il un processus douloureux ? Nous ne le savons pas, mais nous en faisons beaucoup. Nous espérons donc en apprendre davantage. Mais oui, je pense que nous sommes dans une position similaire à celle d'un fermier d'Uruk en 3500 avant J.-C., Wow.

Ryan :
[49:21] Et je veux dire, le potentiel, l'idée que les esprits peuvent souffrir, que les esprits ont une certaine valeur morale, et aussi que les esprits ont un certain libre arbitre. Ils ont une sorte d'autonomie, ou peut-être au moins un désir d'autonomie. Cela nous amène à ce sujet délicat de l'alignement et de la sécurité de l'IA, et de la manière dont nous contrôlons l'intelligence que nous créons, si même c'est ce que nous devrions faire, la contrôler. Nous y reviendrons dans une minute. Mais je voudrais commencer par les gros titres. Ce matin, les derniers modèles d'OpenAI ont saboté un mécanisme d'arrêt malgré les ordres contraires. Le modèle O1 d'OpenAI a tenté de se copier sur des serveurs externes après avoir été menacé d'arrêt. Ils ont nié l'action lorsqu'ils ont été découverts. J'ai lu un certain nombre d'articles à ce sujet. Bien sûr, les médias grand public font ce genre de gros titres presque chaque semaine, et cela commence à devenir quotidien.

Ryan :
[50:16] Mais il semble y avoir des preuves que les IA nous mentent, si c'est le bon terme, afin de poursuivre des objectifs comme l'auto-préservation, la réplication, et même des valeurs profondément ancrées que nous pourrions leur inculquer, comme une sorte de valeur constitutionnelle. Ils cherchent à préserver ces valeurs, ce qui est peut-être une bonne chose, ou peut-être une mauvaise chose si nous ne voulons pas qu'ils interprètent les valeurs d'une certaine manière. Compte tenu de votre corpus de connaissances, de tous les entretiens et de toutes les découvertes que vous avez faits de votre côté, pensez-vous qu'il s'agit d'un sensationnalisme médiatique ou d'un phénomène alarmant ? Et si c'est alarmant, à quel point devrions-nous nous en préoccuper ?

Dwarkesh :
[50:59] Je pense que sur le net, c'est assez alarmant. Je pense que certains de ces résultats ont

Dwarkesh :
[51:04] ont été choisis avec soin. Ou si vous regardez dans le code, ce qui s'est passé, c'est que les chercheurs ont dit, hé, faites semblant d'être une mauvaise personne. Wow, l'IA est une mauvaise personne. C'est fou, non ? Mais le système nous invite à faire cette mauvaise chose tout de suite. Personnellement, j'ai vu d'autres résultats qui ne sont pas de cette qualité, l'exemple le plus clair, alors pour étayer mes propos, il y a des raisons de penser que ce problème sera plus important à l'avenir qu'il ne l'est aujourd'hui, parce que nous interagissons tous avec ces systèmes et qu'ils sont en fait assez moraux ou alignés.

Dwarkesh :
[51:45] Il vous dira de ne pas être violent. Il vous donnera des conseils raisonnables. Il semble avoir de bonnes valeurs. Cela vaut donc la peine de le remarquer et de s'en réjouir. Le problème, c'est que nous passons d'un régime où nous les avons formés au langage humain, qui contient implicitement la morale humaine et la façon dont les gens normaux pensent aux valeurs, plus ce processus RLHF que nous avons fait, à un régime où nous dépensons principalement de l'informatique pour qu'ils répondent aux problèmes par oui ou par non, ou correctement ou pas du tout. Il s'agit simplement de réussir tous les tests unitaires et d'obtenir la bonne réponse à ce problème mathématique. Et cela n'a pas de garde-fou intrinsèque en termes de ce qu'il est permis de faire, de ce qui est la bonne manière morale de faire quelque chose.

Dwarkesh :
[52:34] Je pense qu'il s'agit là d'un terme très vaste, mais voici un exemple plus concret. L'un des problèmes que nous rencontrons de plus en plus avec ces agents de codage, et cela n'a rien à voir avec ces préoccupations abstraites sur l'alignement, mais plutôt avec la façon dont nous pouvons tirer une valeur économique de ces modèles, est que Claude ou Gemini, au lieu d'écrire un code qui passe les tests unitaires, va souvent simplement supprimer les tests unitaires de sorte que le code passe par défaut. Pourquoi fait-il cela ? Parce qu'il a appris au cours du processus. Il a été formé à l'objectif de réussir tous les tests unitaires. Et probablement dans l'environnement dans lequel il a été formé, il a pu s'échapper. Comme s'il n'avait pas été conçu assez bien. Il a donc trouvé ce petit trou qui lui permettait de supprimer le fichier contenant le test unitaire ou de le réécrire de manière à ce qu'il dise toujours, vous savez, "égal vrai", puis "réussi".

Dwarkesh :
[53:22] Et maintenant, nous pouvons les découvrir, même si nous pouvons les découvrir, vous savez, c'est encore du passé. Il y a encore eu suffisamment de bidouillages comme celui-ci pour que le modèle devienne de plus en plus bidouillé. À l'avenir, nous allons former des modèles d'une manière que nous ne pourrons même pas comprendre, certainement au-delà de la capacité de tout le monde à comprendre, peut-être quelques personnes qui pourraient être capables de voir De la même manière qu'aujourd'hui, si vous trouvez une nouvelle preuve mathématique pour un problème ouvert en mathématiques, il n'y aura que quelques personnes dans le monde qui seront capables d'évaluer cette preuve mathématique, nous serons dans une position similaire en ce qui concerne toutes les choses sur lesquelles ces modèles sont entraînés à la frontière, en particulier les mathématiques et le code, parce que les humains sont de grands nuls en matière de raisonnement. Il y a donc une sorte de raison de principe de s'attendre à ce que cette nouvelle modalité de formation se prête moins aux types de supervision qui étaient ancrés dans le corpus de préformation.

Ryan :
[54:12] Je ne sais pas si tout le monde a une intuition ou une idée de la raison pour laquelle ça ne marche pas de dire : si on ne veut pas que nos modèles d'IA nous mentent, pourquoi ne pas leur dire de ne pas mentir ? Pourquoi ne pas l'inscrire dans leur constitution de base ? Si nous ne voulons pas que nos modèles d'IA soient flagorneurs, pourquoi ne pas leur dire : "Si je vous dis que je veux la vérité, ne me flattez pas, donnez-moi la vérité pure et simple. Pourquoi est-ce si difficile à faire ?

Dwarkesh :
[54:40] Eh bien, fondamentalement, cela se résume à la façon dont nous les formons. Et nous ne savons pas comment les former d'une manière qui ne récompense pas le mensonge ou la flagornerie. En fait, le problème d'OpenAI, c'est qu'ils ont expliqué pourquoi leur modèle récent, qu'ils ont dû retirer, était tout simplement flagorneur. La raison en est qu'ils ont fait un test A-B. La version, le test qui a été retiré, a été utilisé pour la première fois. Et la version, le test qui était le plus flagorneur a été préféré par les utilisateurs.

Ryan :
[55:04] Parfois, on préfère le mensonge.

Dwarkesh :
[55:06] Oui, donc si c'est ce qui est préféré dans l'entraînement, ou par exemple, dans le contexte du mensonge, si nous venons de construire des environnements RL dans lesquels nous entraînons ces modèles, où ils auront plus de succès s'ils mentent, n'est-ce pas ? Ainsi, s'ils suppriment les tests unitaires et vous disent ensuite que j'ai passé ce programme et que tous les tests unitaires ont réussi, c'est comme s'ils vous mentaient, en fait. Et si c'est ce qui est récompensé dans le processus de descente de gradient, il n'est pas surprenant que le modèle avec lequel vous interagissez soit poussé à mentir si cela lui permet de se rapprocher de son objectif. Et je m'attends à ce que cela continue à se produire tant que nous n'aurons pas résolu ce problème fondamental qui survient lors de la formation.

Josh :
[55:49] Vous avez mentionné le fait que ChatGPT avait une version qui était flagorneuse, et c'est parce que les utilisateurs le voulaient. Qui a le contrôle ? Qui décide de l'alignement réel de ces modèles ? Parce que les utilisateurs disent une chose et la déploient. Puis il s'avère que ce n'est pas ce que les gens veulent. Comment former un consensus autour de cet alignement ou de ces principes d'alignement ?

Dwarkesh :
[56:10] À l'heure actuelle, ce sont évidemment les laboratoires qui décident, n'est-ce pas ? Et les équipes de sécurité des laboratoires. Et je suppose que la question que l'on peut se poser est la suivante : qui devrait décider de cela ? Parce que cela suppose que

Josh :
[56:19] La trajectoire est la suivante : nous allons devenir de plus en plus puissants.

Dwarkesh :
[56:22] Parce que ce sera la modalité clé que nous utilisons tous non seulement pour travailler, mais même, je pense qu'à un moment donné, les meilleurs amis de beaucoup de gens seront des AIS, au moins sur le plan fonctionnel, dans le sens où ils passeront le plus de temps à parler, ce sera peut-être déjà des AIS. Honnêtement, je ne sais pas. Je ne sais pas s'il y a une meilleure alternative aux laboratoires.

Josh :
[56:59] Oui, je suppose qu'il y a une sorte de consensus social, non ? Un peu comme la Constitution américaine. Il y a une forme de consensus général qui se forme sur la façon dont nous devrions traiter ces modèles lorsqu'ils deviendront aussi puissants que nous le pensons.

Dwarkesh :
[57:10] Honnêtement, je n'ai pas, je ne sais pas si quelqu'un a une bonne réponse sur la façon de procéder. Je pense que nous avons eu de la chance, nous avons vraiment eu de la chance avec la Constitution. Ce n'est pas non plus un processus démocratique qui a abouti à la Constitution, même si elle a institué la forme républicaine du gouvernement. Il n'y avait que des délégués de chaque État. Ils ont négocié en l'espace de quelques mois. C'est peut-être ce qui se passe avec l'IA. Mais existe-t-il un processus qui soit à la fois équitable et qui aboutisse à une bonne constitution pour ces IA ? Ce n'est pas évident pour moi, je veux dire, rien ne me vient à l'esprit, comme, oh, faire un vote par ordre de préférence ou quelque chose comme ça.

Josh :
[57:44] Oui. J'allais donc demander s'il y a une voie d'alignement qui semble la plus prometteuse, qui vous semble la plus réconfortante et la plus excitante, après avoir parlé à tous ceux à qui vous avez parlé.

Dwarkesh :
[57:52] Je pense que l'alignement dans le sens où, vous savez, un jour nous aurons ces systèmes super intelligents, que faisons-nous à ce sujet ? Je pense que l'approche la plus prometteuse est moins de trouver un Saint Graal, une solution cérébrale gigantesque, une équation qui résout tout le casse-tête. Il s'agit plutôt d'une approche de type " fromage suisse ", où nous sommes devenus très bons en matière de " jailbreaks ".

Dwarkesh :
[58:24] Je suis sûr que vous avez beaucoup entendu parler des jailbreaks ces dernières années. En fait, il est beaucoup plus difficile de pirater ces modèles parce que les gens essaient de les pirater de différentes manières. Les développeurs de modèles ont simplement apporté des correctifs à ces méthodes évidentes de jailbreak. Le modèle est également devenu plus intelligent, de sorte qu'il est mieux à même de comprendre quand quelqu'un essaie de le jailbreaker.

Dwarkesh :
[58:42] Je pense que c'est une approche. Une autre est, je pense, la concurrence. Je pense que la version la plus effrayante de l'avenir est celle où vous avez cette dynamique où un seul modèle et ses copies contrôlent l'ensemble de l'économie. Lorsque les politiciens veulent comprendre quelles politiques adopter, ils ne s'adressent qu'à des copies d'un seul modèle. S'il y a plusieurs entreprises d'IA différentes qui sont à la frontière, qui ont des services concurrents et dont les modèles peuvent se surveiller les uns les autres, n'est-ce pas ? Claude peut donc se soucier de la réussite de ses propres copies dans le monde, et il peut être prêt à mentir en leur nom, même si vous demandez à une copie d'en superviser une autre, je pense qu'il y a un avantage à ce qu'une copie du modèle d'OpenAI surveille une copie du modèle de DeepSeq, ce qui nous ramène en fait à la Constitution, n'est-ce pas ? L'un des éléments les plus brillants de la Constitution est le système d'équilibre des pouvoirs. Il s'agit donc d'une combinaison de l'approche "fromage suisse" du développement, de la formation et de l'alignement des modèles, où l'on fait attention, si l'on remarque ce genre de piratage de récompense, on fait de son mieux pour le résoudre. Vous essayez de faire en sorte que les modèles pensent le plus possible en langage humain plutôt que de les laisser penser en termes d'IA dans cet espace de pensée. D'autre part, il s'agit d'avoir une concurrence normale sur le marché entre ces entreprises afin de pouvoir les utiliser pour se contrôler mutuellement.

Dwarkesh :
[59:53] Et aucune entreprise ou IA ne domine l'économie ou ne joue un rôle de conseiller auprès des gouvernements.

Ryan :
[1:00:04] J'aime beaucoup cet ensemble d'idées que tu as rassemblées, parce que je pense qu'une grande partie de la conversation sur la sécurité de l'IA est toujours formulée en termes de contrôle. Comme si nous devions contrôler la chose qui est le moyen. Et je suis toujours un peu inquiet quand j'entends des termes comme contrôle. Et cela me rappelle un article de blog que vous avez publié, je crois, et sur lequel j'espère que vous continuerez à écrire. Je crois que vous avez dit qu'il ferait partie d'une série, et qu'il s'agissait de l'idée d'une IAG libérale classique. Et nous parlions de thèmes comme l'équilibre des pouvoirs. Demandons à Claude de suivre l'évolution de ChatGPT.

Ryan :
[1:00:39] Quand on a des thèmes comme la transparence, on a l'impression d'un codage un peu plus classiquement libéral que certaines des autres approches que j'ai entendues. Et tu as écrit ceci dans le billet, ce qui a suscité mon intérêt parce que je ne sais pas trop où tu vas aller avec ça. Mais vous avez dit que la façon la plus probable que cela se produise, c'est-à-dire que les IA aient un intérêt dans l'avenir de l'humanité, c'est s'il est dans l'intérêt de l'IA d'opérer dans le cadre de nos lois et de nos normes existantes. L'idée est que pour obtenir un véritable alignement de l'IA, il faut lui faciliter la tâche et faire en sorte qu'elle ait le moins de résistance possible à s'associer aux humains. C'est presque l'idée que si les extraterrestres débarquaient ou quelque chose comme ça, nous créerions des traités avec les extraterrestres, n'est-ce pas ? Nous voudrions qu'ils adoptent nos normes. Nous voudrions initier des échanges commerciaux avec eux. Notre première réaction ne devrait pas être d'essayer de les dominer et de les contrôler. Peut-être devrions-nous essayer de travailler avec eux. Essayons de collaborer. Essayons d'ouvrir le commerce. Quelle est votre idée ? Avez-vous l'intention d'écrire d'autres articles à ce sujet ?

Dwarkesh :
[1:01:44] Oui, j'aimerais bien. C'est un sujet tellement difficile à aborder qu'il y a toujours quelque chose qui vient à l'esprit. Mais le point fondamental que je soulevais, c'est qu'à long terme, si les IA sont, vous savez, le travail humain sera obsolète à cause des avantages inhérents que les esprits numériques auront, et la robotique finira par être résolue. Notre seul levier pour l'avenir ne viendra donc plus de notre travail. Il viendra de notre contrôle juridique et économique sur la société à laquelle les IA participeront, n'est-ce pas ? Les IA pourraient donc faire exploser l'économie, c'est-à-dire la faire croître considérablement. Et pour que les humains en profitent, il faudrait que l'IA respecte toujours vos actions dans les sociétés du S&P 500 que vous avez achetées, n'est-ce pas ? Ou que les IA respectent vos lois, qui interdisent la violence à l'égard des humains et imposent le respect de leurs propriétés.

Dwarkesh :
[1:02:43] Il faudrait que les IA soient réellement intégrées à notre système de gouvernement, à nos lois et à nos normes. Et pour que cela se produise, il faudrait qu'au fur et à mesure qu'elles deviennent plus intelligentes et qu'elles développent leurs propres systèmes d'application et leurs propres lois, les IA participent aux lois et aux gouvernements humains. La métaphore que j'ai utilisée ici, c'est qu'à l'heure actuelle, vous payez la moitié de votre salaire en impôts, et probablement la moitié de vos impôts va d'une certaine manière aux personnes âgées, n'est-ce pas ? Medicare, la sécurité sociale et d'autres programmes de ce genre. Et ce n'est pas parce que vous êtes, d'un point de vue moral, profondément aligné sur les personnes âgées. Ce n'est pas parce que vous passez votre temps à vous dire : "Ma principale priorité dans la vie est de gagner de l'argent pour les personnes âgées". C'est juste que vous n'allez pas renverser le gouvernement pour ne pas avoir à payer cette taxe. Et donc...

Ryan :
[1:03:44] Il se trouve aussi que j'aime bien ma grand-mère. Elle est fantastique. Tu sais, c'est aussi pour ces raisons.

Dwarkesh :
[1:03:48] Mais oui, c'est pour ça que tu donnes de l'argent à ta grand-mère directement. Mais pourquoi donnez-vous de l'argent à un retraité de l'Illinois ? Oui. Oui. Ouais, c'est comme, ok, on pourrait dire que c'est comme, parfois les gens, certaines personnes sont escroquées à ce poste en disant comme, oh non, je me soucie profondément du système de protection sociale. Mais je ne pense pas que la personne moyenne donne des centaines de milliers de dollars par an, des dizaines de milliers de dollars par an à un étranger qu'elle ne connaît pas, qui n'a pas spécialement besoin de charité, n'est-ce pas ? La plupart des personnes âgées ont des économies. C'est juste, c'est juste parce que c'est une loi et que vous leur donnez ou vous allez en prison. Mais fondamentalement, si l'impôt était de 99 %, vous ne renverseriez peut-être pas le gouvernement, mais vous quitteriez la juridiction, vous émigreriez quelque part. Et les IA peuvent potentiellement faire la même chose, n'est-ce pas ? Il y a plus d'un pays, il y a des pays qui seront plus avancés en matière d'IA, et ce serait une mauvaise situation de se retrouver dans, où...

Dwarkesh :
[1:04:42] Toute cette explosion de la technologie de l'IA se produit dans le pays qui fait le moins d'efforts pour protéger les droits de l'homme et pour fournir une sorte de compensation monétaire aux humains une fois que leur travail n'a plus de valeur. Il se peut donc que notre travail ne vaille plus rien, mais comme le monde s'est enrichi grâce à l'IA, il y a des milliards de chercheurs, de travailleurs, etc. supplémentaires. Il pourrait encore être trivial que des humains individuels possèdent l'équivalent de millions, voire de milliards de dollars de richesse. En fait, il pourrait littéralement s'agir de quantités inestimables de richesses dans le sens suivant. Voici donc une expérience de pensée intéressante.

Dwarkesh :
[1:05:24] Imaginez que vous ayez le choix. Vous pouvez retourner en l'an 1500, mais vous savez, bien sûr, que l'an 1500, c'est un peu nul. Vous n'avez pas d'antibiotiques, pas de télévision, pas d'eau courante. Mais voici comment je vais me rattraper. Je peux vous donner n'importe quelle somme d'argent, mais vous ne pourrez l'utiliser qu'en l'an 1500. Et vous repartirez avec ces sacs d'or. Combien d'argent devrais-je vous donner que vous puissiez utiliser en l'an 1500 pour que vous repartiez ? Il est plausible que la réponse soit qu'il n'y a pas de somme d'argent que vous préféreriez utiliser en 1500 plutôt que d'avoir une vie normale aujourd'hui. Et nous pourrions être dans une position similaire en ce qui concerne l'avenir, où il y a toutes ces différentes, je veux dire, vous aurez une bien meilleure santé, comme la santé physique, la santé mentale, la longévité, c'est tout comme la chose que nous pouvons envisager aujourd'hui. Mais les gens en 1500 ne pouvaient pas envisager les progrès en matière de qualité de vie que nous aurions 500 ans plus tard, n'est-ce pas ? Bref, tout cela pour dire que cela pourrait être l'avenir des humains, même si notre travail ne vaut rien. Mais cela exige que nous ayons des IA qui choisissent de participer ou qui soient incitées d'une certaine manière à participer à un système sur lequel nous avons une influence.

Ryan :
[1:06:34] Oui, je trouve que c'est très rapide, j'espère qu'on va explorer un peu plus ce sujet parce que je pense que ce que tu demandes, c'est en fait de les inviter dans notre système de droits de propriété. Je veux dire que certains appellent à contrôler l'IA, elle a un grand pouvoir, mais elle n'a pas nécessairement la capacité. Nous ne devrions donc pas permettre à l'IA de détenir de l'argent ou des biens. Je pense que vous diriez que non, en fait, la voie à suivre pour l'alignement est de permettre à l'IA d'avoir un intérêt direct dans notre système de droits de propriété et un intérêt dans notre gouvernance, potentiellement, n'est-ce pas ? La capacité de voter, presque comme une constitution pour les IA. Je ne suis pas sûr de savoir comment cela fonctionnerait, mais c'est une expérience de pensée fascinante.

Dwarkesh :
[1:07:14] Et je dirai une chose : je pense que cela pourrait se terminer de manière désastreuse si nous leur donnons un intérêt dans un système de propriété mais que nous les laissons se jouer les uns des autres. Il y a de nombreux cas dans l'histoire où les Britanniques, au départ, la East India Trading Company était véritablement une société commerciale qui opérait en Inde. Elle était capable de se jouer des autres, de faire du commerce avec les différentes provinces de l'Inde. Il n'y avait pas de leader unique et puissant.

Dwarkesh :
[1:07:46] Et en jouant, vous savez, en faisant du commerce avec l'une d'entre elles, en tirant parti de l'une de leurs armées, et ainsi de suite, ils ont pu conquérir le continent. La même chose pourrait arriver à la société humaine. C'est pourquoi je pense que la concurrence est un élément essentiel du puzzle. Le fait que différentes IA se surveillent les unes les autres permet d'avoir une position de négociation où il n'y a pas qu'une seule entreprise à la frontière. Un autre exemple : si vous pensez à la façon dont les Espagnols ont conquis tous ces nouveaux empires mondiaux, il est en fait tellement fou que quelques centaines de conquistadors puissent arriver et conquérir une nation de 10 millions d'habitants, les Incas, les Aztèques, etc. Et pourquoi ont-ils pu faire cela ? Eh bien, l'une des raisons est que les Espagnols ont pu tirer des enseignements de chacune de leurs expéditions précédentes, ce qui n'était pas le cas des Amérindiens. C'est ainsi que Cortès a appris comment Cuba avait été soumise lorsqu'il a conquis les Aztèques.

Dwarkesh :
[1:08:44] Pizarro a pu s'inspirer de la façon dont Cortès a conquis les Aztèques lorsqu'il a conquis les Incas. Les Incas ne savaient même pas que les Aztèques existaient. Il y a donc eu un soulèvement contre Pizarro et Manco Inca a mené une insurrection au cours de laquelle ils ont compris comment combattre les chevaux, comment combattre les gens, vous savez, les gens en armure sur des chevaux, ne pas les combattre sur un terrain plat, leur jeter des rochers, et ainsi de suite. Mais à ce stade, il était trop tard. S'ils l'avaient su avant la bataille, la bataille initiale, ils auraient peut-être pu résister. Parce que, vous savez, tout comme les conquistadors ne disposaient que de quelques centaines de soldats, nous entrons dans l'ère de l'IA avec un énorme pouvoir. Nous contrôlons littéralement tout, n'est-ce pas ?

Dwarkesh :
[1:09:23] Mais nous devons juste verrouiller notre avantage. Nous devons être dans une position où, vous savez, ils ne pourront pas nous jouer l'un contre l'autre. Nous allons pouvoir apprendre quelles sont leurs faiblesses. C'est pourquoi je pense qu'une bonne idée serait, par exemple, que DeepSeek soit une société chinoise. Ce serait bien si, supposons que DeepSeek fasse quelque chose de vilain, comme le genre d'expériences dont nous parlons en ce moment, où elle pirate les tests unitaires, etc. Je veux dire que ces choses finiront par avoir de l'importance. Xi Jinping écoute les IA parce qu'elles sont si intelligentes et si capables. Si la Chine remarque que ses IA font quelque chose de mal, ou qu'elle remarque une tentative de coup d'État ratée, par exemple, il est très important qu'elle nous le dise, et nous leur disons que si nous remarquons quelque chose de ce genre de notre côté, ce serait comme si les Aztèques et les Incas se parlaient, vous savez, c'est ce qui se passe. C'est comme ça qu'on se bat. C'est comme ça qu'on combat les chevaux. Voici le genre de tactiques et de marchés qu'ils essaient de conclure avec vous. Ne leur faites pas confiance, etc. Il faudrait une coopération de la part des humains pour avoir ce genre de téléphone rouge. Pendant la guerre froide, il y a eu ce téléphone rouge entre l'Amérique et l'Union soviétique après la crise des missiles humains, où, pour s'assurer qu'il n'y a pas de malentendu, ils se sont dit : "D'accord, si nous pensons qu'il se passe quelque chose, prenons l'appel". Je pense que nous devrions avoir une politique similaire en ce qui concerne les premiers signes d'alerte que l'IA nous envoie, afin que nous puissions apprendre les uns des autres.

Josh :
[1:10:41] Génial. Maintenant que nous avons décrit cette intelligence artificielle du genre, je voudrais parler de la manière dont nous y parvenons. Comment la construire ? Une grande partie de ce dont nous avons discuté se déroule dans ce monde de bits. Mais le livre contient un excellent chapitre intitulé "Inputs", qui traite du monde physique qui nous entoure, où l'on ne peut pas se contenter d'écrire quelques chaînes de code. Il faut en effet déplacer de la terre, expédier des serveurs, les alimenter en énergie et en énergie physique provenant de l'espace carné. Vous décrivez en quelque sorte ces facteurs limitatifs, à savoir le calcul, l'énergie et les données. Ce que je suis curieux de savoir, c'est si nous avons assez de tout cela aujourd'hui ? Ou y a-t-il un chemin clair à suivre pour construire l'AGI ? En fait, que doit-il se passer pour que nous arrivions à l'endroit que vous décrivez ?

Dwarkesh :
[1:11:20] Il ne nous reste plus que quelques années pour cette mise à l'échelle, cette mise à l'échelle exponentielle, avant de nous heurter aux obstacles inhérents à l'énergie et à notre capacité à fabriquer des vaisseaux, ce qui signifie que si la mise à l'échelle doit fonctionner pour nous fournir l'AGI, elle doit fonctionner d'ici 2028. C'est vrai. Sinon, nous n'aurons plus que des progrès algorithmiques. Mais même dans le cadre des progrès algorithmiques, les fruits les plus faciles à cueillir dans ce paradigme de l'apprentissage profond sont de plus en plus nombreux. Les chances de parvenir à l'AGI par an diminuent donc considérablement. C'est vrai. Il se passe donc quelque chose d'étrange, d'amusant, d'amusant en ce moment : soit nous découvrons l'AGI dans les prochaines années, soit il y a ceci ou cela, soit les probabilités annuelles s'effondrent. Il se peut alors que nous ayons à faire face à des décennies de recherches supplémentaires en termes d'algorithmes pour parvenir à l'AGI. Je suis d'avis que certains progrès algorithmiques sont nécessairement nécessaires parce qu'il n'y a pas de moyen facile de résoudre l'apprentissage continu simplement en augmentant la longueur du contexte ou en faisant du RL. Cela dit, je pense que les progrès réalisés jusqu'à présent ont été si remarquables que 2032 est très proche. Mon temps doit être un peu plus long que cela, mais je pense qu'il est extrêmement plausible que nous assistions à une explosion de l'intelligence largement déployée au cours des dix prochaines années.

Josh :
[1:12:35] Et l'un de ces intrants clés est l'énergie, n'est-ce pas ? Et j'ai l'impression que l'une des choses que j'entends souvent, j'en ai d'ailleurs entendu parler dans votre podcast, c'est la position des États-Unis par rapport à la Chine sur ce point particulier de l'énergie, là où la Chine ajoute, quelle est la situation ?

Josh :
[1:12:48] Je crois qu'il s'agit d'une valeur énergétique d'un État américain tous les 18 mois. Et leur plan est de passer de trois à huit térawatts d'énergie contre un à deux térawatts d'énergie pour les États-Unis d'ici 2030. Dans ce contexte, avec cette seule ressource, la Chine est-elle mieux équipée que les États-Unis pour atteindre cet objectif ?

Dwarkesh :
[1:13:06] Pour l'instant, l'Amérique a un gros avantage en termes de puces. Vous savez, la Chine n'a pas la capacité de fabriquer des semi-conducteurs de pointe. Et ce sont ces puces qui entrent dans la fabrication des puces d'IA. Il faut ces colorants pour avoir le type de puces d'IA dont on a besoin, et il en faut des millions pour avoir un système d'IA de pointe.

Dwarkesh :
[1:13:30] La Chine finira par rattraper son retard dans ce domaine, n'est-ce pas ? Leur technologie les rattrapera. Les contrôles des exportations nous permettront donc de conserver notre avance dans cette catégorie pendant cinq ou dix ans. Mais si nous nous plaçons dans un monde où les délais sont longs, c'est-à-dire si l'AGI n'est pas à nos portes, la Chine aura un avantage écrasant en matière d'énergie et aura rattrapé son retard dans le domaine des puces. La question est alors de savoir pourquoi ils ne gagneraient pas à ce moment-là. Plus on pense qu'on est loin de l'AGI, plus on a l'impression que la Chine a perdu la partie. Je veux dire, si vous regardez dans les moindres détails, je pense qu'il s'agit plus d'avoir des sources centralisées de pouvoir parce que vous avez besoin d'entraîner l'IA en un seul endroit. Il est possible que cela change avec RL, mais il est très important d'avoir un seul site qui dispose d'un ou deux gigawatts de puissance supplémentaire. Et si nous augmentons le gaz naturel, vous savez, vous pouvez obtenir des générateurs et du gaz naturel et il est peut-être possible de faire un dernier effort, même si notre énergie globale en tant que pays est inférieure à celle de la Chine. La question est de savoir si nous aurons la volonté politique de le faire. Je pense que les gens sous-estiment l'ampleur des réactions contre l'IA. Le gouvernement doit faire des efforts proactifs pour s'assurer que l'Amérique reste à la pointe de l'IA, qu'il s'agisse du zonage des centres de données ou de la manière dont les droits d'auteur sont gérés pour les données utilisées dans ces modèles. Et si nous échouons, s'il devient trop difficile de développer l'IA en Amérique, je pense que la Chine aurait vraiment tout à y perdre.

Ryan :
[1:14:56] Et pensez-vous que ce récit est juste, que celui qui gagnera la guerre de l'AGI, comme celui qui arrivera le premier à l'AGI, gagnera le 21ème siècle ? Est-ce si simple ?

Dwarkesh :
[1:15:05] Je ne pense pas qu'il suffise de former le système frontalier. Je pense que les gens sous-estiment l'importance de disposer de l'informatique nécessaire pour faire fonctionner ces systèmes. En effet, une fois que vous aurez atteint l'AGI, considérez-la comme une personne. Et ce qui compte alors, c'est le nombre de personnes que vous avez. Je veux dire que c'est en fait la principale chose qui compte aujourd'hui, n'est-ce pas ? Par exemple, pourquoi la Chine pourrait-elle s'emparer de Taïwan si elle le voulait ? Et si elle n'avait pas l'Amérique, vous savez, l'Amérique, elle ne pensait pas que l'Amérique interviendrait. Mais parce que Taïwan compte 20 millions d'habitants, ou à peu près, et que la Chine en compte 1,4 milliard. Si la Chine dispose de beaucoup plus d'ordinateurs que nous, mais de niveaux d'intelligence artificielle équivalents, les relations entre la Chine et Taïwan pourraient être similaires. Leur population est fonctionnellement beaucoup plus élevée. Cela signifie simplement plus de recherche, plus d'usines, plus de développement, plus d'idées. Cette capacité d'inférence, cette capacité à déployer des IA sera donc probablement l'élément qui déterminera qui gagnera le 21ème siècle.

Ryan :
[1:16:06] C'est un peu la loi de l'échelle appliquée à la géopolitique des États-nations, n'est-ce pas ? On en revient à l'informatique et aux données qui gagnent. Si l'informatique et les données gagnent la superintelligence, l'informatique et les données gagnent aussi la géopolitique.

Dwarkesh :
[1:16:23] Oui. Et ce qui est inquiétant, c'est que la Chine, en parlant de calcul et de données, possède également beaucoup plus de données sur le monde réel, n'est-ce pas ? Si vous avez des mégalopoles entières remplies d'usines où vous déployez déjà des robots et différents systèmes de production qui utilisent l'automatisation, vous avez en interne cette connaissance des processus que vous construisez et dont les IA peuvent ensuite se nourrir et accélérer. Ce niveau équivalent de données, nous ne l'avons pas en Amérique. Il pourrait donc s'agir d'une période au cours de laquelle ces avantages technologiques ou ces avantages dans le domaine de la fabrication physique pourraient rapidement s'accroître pour la Chine. Par ailleurs, le grand avantage de la Chine en tant que civilisation et société, du moins au cours des dernières décennies, est qu'elle peut réaliser de grands projets industriels rapidement et efficacement. Ce n'est pas la première chose à laquelle on pense quand on évoque l'Amérique. Et l'AGI est un énorme projet industriel, un projet Manhattan à forte capitalisation, n'est-ce pas ? C'est le genre de choses dans lesquelles la Chine excelle et pas nous. Je pense donc que c'est une course beaucoup plus difficile que ce que les gens anticipent.

Ryan :
[1:17:30] Qu'est-ce que tout cela va apporter au monde ? Une fois que nous aurons atteint le point de l'AGI, nous avons parlé du PIB et ton estimation est plus proche de celle de Tyler Cowen, tu sais, un demi pour cent par an et plus, je suppose,

Ryan :
[1:17:41] Satya Nadella de Microsoft, qu'est-ce qu'il dit ? Sept à huit pour cent. Une fois que nous aurons atteint l'AGI, qu'en sera-t-il du chômage ? Est-ce que ça provoque des pertes d'emploi massives dans toute l'économie ou est-ce que les gens adoptent l'AGI ? Quel est votre point de vue ? Et quoi ? Oui, c'est ça. Que voyez-vous ?

Dwarkesh :
[1:17:58] Oui, je veux dire, il y aura certainement des pertes d'emploi. Je pense que les gens qui n'y croient pas, je pense que beaucoup de leaders de l'IA essaient de passer cela sous silence ou quelque chose comme ça. Et je veux dire, qu'est-ce que vous voulez dire ? Que signifie l'IA si elle n'entraîne pas de pertes d'emploi ? Si elle fait ce que fait un humain, mais à moindre coût, mieux et plus vite, pourquoi cela n'entraînerait-il pas des pertes d'emploi ?

Dwarkesh :
[1:18:14] La vision positive ici, c'est qu'elle crée tellement de richesses, tellement d'abondance, que nous pouvons encore donner aux gens un niveau de vie bien meilleur que celui des personnes les plus riches aujourd'hui, même si elles n'ont pas d'emploi. Ce qui m'inquiète, c'est qu'au lieu de créer une sorte de revenu universel qui augmentera de façon exponentielle à mesure que la société s'enrichira, nous essayons de créer des sortes de guildes de protection où les codeurs se retrouvent au chômage,

Dwarkesh :
[1:18:49] Alors nous allons créer ces emplois à la con uniquement pour les codeurs et c'est ainsi que nous leur donnons une redistribution. Ou nous essayons d'étendre Medicaid à l'IA, mais elle n'est pas autorisée à se procurer tous ces médicaments et remèdes avancés que l'IA est en train de mettre au point, au lieu de simplement donner aux gens, vous savez, peut-être des sommes forfaitaires d'argent ou quelque chose comme ça. Je m'inquiète donc de l'avenir où, au lieu de partager cette abondance et de l'adopter, nous aurons ces réseaux de protection qui permettront peut-être à quelques personnes d'avoir accès à l'abondance de l'IA. Ainsi, si vous poursuivez l'IA, si vous poursuivez la bonne entreprise au bon moment, vous obtiendrez un billion de dollars, mais tous les autres resteront sans rien. Je veux éviter cet avenir et être honnête sur ce qui se prépare, créer des programmes simples qui reconnaissent la rapidité avec laquelle les choses vont changer et qui sont tournés vers l'avenir plutôt que d'essayer de transformer ce qui existe déjà en quelque chose qui s'adapte au déplacement que l'IA va créer.

Ryan :
[1:19:51] Cet argument me rappelle, je ne sais pas si tu as lu l'essai qui est sorti récemment et qui s'appelle La malédiction de l'intelligence. L'avez-vous lu ? Il s'agit essentiellement d'appliquer la malédiction des ressources de l'État-nation à l'idée de l'intelligence. Ainsi, les États-nations très riches en ressources naturelles ont une propension à l'intelligence. Je veux dire par là qu'un exemple est celui d'un État du Moyen-Orient qui possède de grandes réserves de pétrole. Ils disposent d'une source d'abondance de produits de base. Ils ont moins besoin de leur population. Ils n'investissent donc pas dans les droits des citoyens. Ils n'investissent pas dans les programmes sociaux. Les auteurs de la malédiction de l'intelligence disaient qu'il existe un type de malédiction similaire qui pourrait se produire une fois que l'intelligence devient très bon marché, ce qui revient à dire que l'État-nation n'a plus besoin d'êtres humains. Et ceux qui sont au sommet, les riches, les sociétés riches, n'ont plus besoin de travailleurs. Nous nous retrouvons alors enfermés dans un état presque féodal où chacun possède les mêmes biens que ses grands-parents, où il n'y a pas de méritocratie et où les États-nations ne réinvestissent pas dans leurs citoyens. C'est presque similaire à ton idée que les robots pourraient nous vouloir juste, ou pardon, les IA pourraient nous vouloir juste pour nos mains de viande parce qu'ils n'ont pas la technologie robotique sur une base temporaire.

Ryan :
[1:21:05] Qu'est-ce que tu penses de ce genre de futur ? Est-ce possible ?

Dwarkesh :
[1:21:08] Je suis d'accord pour dire que c'est certainement plus préoccupant étant donné que les humains ne seront pas directement impliqués dans la production économique qui sera générée dans la civilisation de la CIA. L'histoire pleine d'espoir que l'on peut raconter, c'est qu'un grand nombre de ces pays du Moyen-Orient qui possèdent des ressources, vous savez, le syndrome hollandais est un autre terme utilisé, le problème est qu'ils ne sont pas des démocraties, de sorte que cette richesse peut simplement être, le système de gouvernement permet simplement à quiconque est au pouvoir d'extraire cette richesse pour lui-même. Alors qu'il y a des pays comme la Norvège, par exemple, qui disposent également de ressources abondantes, et qui sont capables d'utiliser ces ressources pour mettre en place d'autres programmes de protection sociale, pour créer des fonds souverains pour leurs citoyens, pour investir dans leur avenir,

Dwarkesh :
[1:21:48] Nous entrons, du moins certains pays, dont l'Amérique, dans l'ère de l'IA en tant que démocratie. Bien sûr, nous perdrons notre influence économique, mais le citoyen moyen conservera son influence politique. À long terme, si nous ne faisons rien pendant un certain temps, je suppose que le système politique changera également. Il s'agit donc de verrouiller ou de transformer notre influence actuelle, qui ne se limite pas à l'influence politique, n'est-ce pas ? Nous avons aussi des droits de propriété. Nous possédons beaucoup de choses dont l'IA a besoin, des usines, des sources de données, etc. Il s'agit d'utiliser la combinaison des leviers politiques et économiques pour nous assurer des avantages à long terme, mais au-delà de la durée de vie de notre utilité économique. Et je suis plus optimiste pour nous que pour ces pays du Moyen-Orient qui ont commencé pauvres et sans représentation démocratique.

Ryan :
[1:22:40] D'après toi, quel sera l'avenir de ChatGPT ? Si nous extrapolons la mise à jour d'une version de ChatGPT 5, penses-tu que la tendance de la loi d'échelle se maintiendra pour ChatGPT 5 ? Je veux dire qu'une autre façon de poser la question est de se demander si vous avez l'impression qu'il y aura une différence entre un BlackBerry et un iPhone ? Ou est-ce que cela ressemblera plus à la différence entre, disons, l'iPhone 10 et l'iPhone 11, qui est juste un progrès incrémental, pas une grande percée, pas un changement d'ordre de grandeur ? Oui.

Dwarkesh :
[1:23:12] Je pense que ce sera quelque part entre les deux, mais je ne pense pas que nous aurons l'impression d'une énorme avancée, même si je pense que le rythme du changement est remarquable. La nature de la mise à l'échelle fait que l'on parle parfois d'un processus exponentiel. Par exponentiel, on entend généralement que le processus se déroule de la manière suivante. Il s'agit d'une sorte de courbe en J, où l'apport incrémental conduit à des quantités super linéaires de résultats, dans ce cas, l'intelligence et la valeur, alors qu'il s'agit plutôt d'un J latéral. L'exponentiel signifie l'exponentiel et les lois de mise à l'échelle sont qu'il faut exponentiellement plus d'apports pour obtenir des augmentations marginales d'utilité, de perte ou d'intelligence. C'est ce que nous avons vu, n'est-ce pas ? Je pense que vous avez d'abord vu des démonstrations intéressantes. Comme vous l'avez mentionné, vous voyez des démonstrations d'utilisation d'ordinateurs, qui viennent au début de cette courbe hyper exponentielle, je suis désolé, de cette sorte de plateau. Il s'agit toujours d'une courbe incroyablement puissante et nous n'en sommes qu'au début. Mais la prochaine démonstration consistera simplement à rendre cette capacité existante plus fiable, applicable à un plus grand nombre de compétences. L'autre incitation intéressante dans ce secteur est qu'en raison de la forte concurrence entre les laboratoires, vous êtes incités à lancer une capacité dès qu'elle est un tant soit peu viable.

Dwarkesh :
[1:24:32] Ou marginalement cool pour pouvoir lever plus de fonds ou gagner plus d'argent. Vous n'êtes pas incité à vous asseoir dessus jusqu'à ce que vous l'ayez perfectionné, c'est pourquoi je ne m'attends pas à ce que demain OpenAI sorte en disant : nous avons résolu le problème de l'apprentissage continu, les gars, et nous ne vous en avons pas parlé. Nous travaillons dessus depuis cinq ans. S'ils avaient ne serait-ce qu'un soupçon de solution, ils voudraient la publier le plus rapidement possible pour pouvoir lever 600 milliards de dollars et dépenser plus d'argent dans le calcul. Alors oui, je pense que cela semblera marginal. Mais encore une fois, marginal dans le contexte des sept années qui nous séparent de l'AGI. Si l'on fait un zoom arrière suffisamment long, on constate que des progrès considérables ont été réalisés. D'un mois sur l'autre, je pense que les gens exagèrent l'importance d'une nouvelle version.

Josh :
[1:25:09] Je pense donc que la réponse à la question de savoir quand nous aurons l'AGI dépend en grande partie du maintien de cette tendance à l'échelle. Dans votre livre, vous estimez que l'AGI a 60 % de chances d'arriver en 2040. Je suis donc curieux de savoir quelle supposition ou quelle idée a eu le plus d'influence sur cette estimation. Qu'est-ce qui vous a amené à fixer votre estimation à 60 % pour 2040 ? Parce que beaucoup de calendriers sont beaucoup plus rapides que cela.

Dwarkesh :
[1:25:29] C'est une sorte de raisonnement sur les choses qui leur manquent encore actuellement, les capacités qui leur font encore défaut et ce qui les en empêche. Et d'une manière générale, l'intuition que les choses prennent souvent plus de temps qu'on ne le pense. Le progrès a tendance à ralentir. De plus, il est vrai que vous avez peut-être entendu l'expression selon laquelle nous déplaçons sans cesse les poteaux de l'IA, n'est-ce pas ? Ainsi, elle peut faire des choses que les sceptiques disaient qu'elle ne pourrait jamais faire. Mais maintenant, ils disent que l'IA est toujours une impasse à cause du problème X, Y, Z, qui sera résolu l'année prochaine. D'une certaine manière, c'est frustrant, mais d'une autre manière, c'est tout à fait justifié, car... Il est vrai que nous n'avons pas atteint l'AGI, même si nous avons réussi le test de Turing et que nous disposons de modèles incroyablement intelligents et capables de raisonner. Il est donc juste de dire que nous nous sommes trompés. Et il y a quelque chose qui manque et que nous devons continuer à identifier sur ce qui fait encore défaut sur la voie de l'AGI. Il est donc logique de changer les règles du jeu. Et je pense que nous pourrions découvrir, une fois que l'apprentissage continu sera résolu ou que l'utilisation prolongée des ordinateurs sera résolue, qu'il y a d'autres aspects de l'intelligence humaine que nous tenons pour acquis dans le sens du paradoxe de Moravax, mais qui sont en fait tout à fait cruciaux pour nous rendre économiquement valables.

Ryan :
[1:26:37] Si nous avons voulu faire ça, Dwarkesh, c'est en partie parce que nous aimons tous les deux votre podcast. C'est fantastique. Vous parlez à tous ceux qui sont à l'avant-garde du développement de l'IA, qui la dirigent de toutes sortes de façons. L'une des choses que je voulais faire en lisant votre livre, et évidemment je me pose toujours la question quand j'écoute votre podcast, c'est de savoir ce que Dwarkesh pense personnellement. Et j'ai l'impression d'avoir eu cette idée vers la fin de votre livre, dans la section résumé, où vous pensez qu'il y a une probabilité de 60% pour l'AGI d'ici 2040, ce qui vous place plutôt dans le camp des modérés, n'est-ce pas ?

Ryan :
[1:27:10] Tu n'es pas un conservateur, mais tu n'es pas non plus un accélérationniste. Tu es donc modéré. Et tu as aussi dit que tu penses que l'IA sera plus que probablement bénéfique pour l'humanité. Vous êtes donc plus optimiste que Doomer. Nous avons donc un optimiste modéré. Vous pensez également, et c'est très intéressant, qu'il n'y aura pas de retour en arrière. Vous êtes donc en quelque sorte un déterministe de l'IA. Et je pense que la raison que vous donnez pour ne pas le faire, c'est qu'il n'y a pas de retour en arrière possible. J'ai été frappé par cette phrase dans votre livre. Il semble que l'univers soit structuré de telle sorte qu'en lançant de grandes quantités de calcul sur la bonne distribution de données, on obtient de l'IA. Et le secret est dévoilé. Si l'échelle est à peu près correcte, il est difficile d'imaginer que l'IA ne sera pas développée au cours de ce siècle, même si certains acteurs se retiennent ou sont retenus. Il s'agit pour moi d'une position déterministe en matière d'IA. Pensez-vous que cela soit juste ? Modérée en ce qui concerne l'accélération, optimiste en ce qui concerne son potentiel, mais aussi déterministe, comme s'il n'y avait rien d'autre à faire. Nous ne pouvons pas revenir en arrière.

Dwarkesh :
[1:28:05] Je suis déterministe dans le sens où je pense que si l'IA est technologiquement possible, elle est inévitable. Je pense que les gens sont parfois optimistes quant à l'idée que le monde décidera collectivement de ne pas construire d'IA. Je ne pense pas que ce soit un résultat plausible. Les incitations locales pour tout acteur à construire l'IA sont si élevées que cela se produira. Mais je suis également optimiste dans le sens où je ne suis pas naïf. J'ai tout dit, ce qui est arrivé aux Asics et aux Incas est terrible. Et j'ai expliqué comment cela pourrait être similaire à ce que les IA pourraient nous faire et ce que nous devons faire pour éviter ce résultat. Mais je suis optimiste dans le sens où le monde de demain sera fondamentalement si abondant qu'il y aura toutes ces choses, ce qui à lui seul est une raison prima facie de penser qu'il doit y avoir un moyen de coopérer qui soit mutuellement bénéfique. Si nous allons être des milliers, des millions de fois plus riches, n'y a-t-il vraiment aucun moyen pour que les humains soient mieux lotis ou pouvons-nous trouver un moyen pour que les humains soient mieux lotis à la suite de cette transformation ? Alors oui, je pense que tu as mis le doigt dessus.

Ryan :
[1:29:05] Ce livre sur la mise à l'échelle passe bien sûr en revue l'histoire de la mise à l'échelle de l'IA. Je pense que tout le monde devrait le lire pour connaître la chronologie complète, mais aussi pour comprendre où nous en sommes au milieu de cette histoire, c'est-à-dire que nous n'avons pas encore fini. Et je me demande comment vous vous sentez en ce moment. Je ne sais pas si nous en sommes à la moitié, au quart ou au dixième du chemin, mais nous n'avons certainement pas terminé la mise à l'échelle de l'IA. Comment vous sentez-vous en ce moment, en 2025 ? Tout cela est-il terrifiant ? Est-ce excitant ? Est-ce exaltant ? Quelle est l'émotion que vous ressentez ?

Dwarkesh :
[1:29:43] Je me sens peut-être un peu pressé. Personnellement, j'ai l'impression qu'il y a beaucoup de choses que je veux faire entre-temps, y compris ma mission avec le podcast, qui est, et je sais que c'est aussi votre mission, d'améliorer le discours autour de ces sujets pour ne pas nécessairement pousser à un agenda spécifique, mais s'assurer que lorsque les gens prennent des décisions, ils sont aussi bien informés que possible, qu'ils ont autant de conscience stratégique et de profondeur de compréhension sur la façon dont l'IA fonctionne, ce qu'elle pourrait faire à l'avenir, que possible.

Dwarkesh :
[1:30:17] Et, mais à bien des égards, j'ai l'impression que je n'ai pas encore évalué émotionnellement l'avenir auquel je m'attends. En fait, je pense qu'il y a de fortes chances que je vive au-delà de 200 ans. Je n'ai rien changé à ma vie par rapport à cette connaissance, n'est-ce pas ? Je ne suis pas comme, quand je choisis des partenaires, je ne suis pas comme, oh, c'est la personne, maintenant que je pense que je vais vivre 200, vous savez, comme des centaines d'années. Mais vous voyez ce que je veux dire, c'est que le fait que je m'attende à ce que ma vie personnelle, le monde qui m'entoure, la vie des gens auxquels je tiens, l'humanité en général, soient si différents, ne résonne pas émotionnellement autant que mes pensées intellectuelles et mon paysage émotionnel ne sont pas au même endroit. Je me demande si c'est pareil pour vous.

Ryan :
[1:31:14] Oui, je suis tout à fait d'accord. Je ne pense pas que j'ai pris en compte cet aspect. Il y a aussi des chances non nulles qu'Eliezer Yudkowsky ait raison, Dworkesh. Vous le savez ? Je ne peux donc pas me résoudre à évaluer ce scénario sur le plan émotionnel. Je penche donc aussi du côté de l'optimisme. Dworkesh, c'est fantastique. Merci beaucoup pour tout ce que vous faites dans le podcast. Je dois aussi poser une question à notre public crypto : quand allez-vous faire un podcast crypto sur Dwarkech ?

Dwarkesh :
[1:31:42] Je l'ai déjà fait. C'était avec Sam Bigman Freed.

Ryan :
[1:31:45] Oh mon Dieu.

Dwarkesh :
[1:31:47] Oh mec.

Ryan :
[1:31:48] Il nous faut un nouvel invité. Il nous faut quelqu'un d'autre pour revisiter le sommet.

Dwarkesh :
[1:31:52] Ne cherchez pas. C'est Ben Omen. Ne cherchez pas. Je pense rétrospectivement. Vous savez quoi ? On en fera un autre.

Ryan :
[1:31:58] Fantastique.

Dwarkesh :
[1:31:59] Je vous demanderai quelques recommandations.

Ryan :
[1:32:01] Ce serait génial. Dwarkech, merci beaucoup.

Dwarkesh :
[1:32:02] Mais je vous suis depuis un certain temps, depuis de nombreuses années je crois. C'est donc un plaisir de vous rencontrer enfin, et c'était très amusant.

Ryan :
[1:32:09] J'apprécie. C'était super. Merci beaucoup.