LIMITLESS - Dwarkesh Patel: La era de la IA a gran escala ya está aquí

Ryan:
[0:02] Hola chicos, hoy tenemos un episodio especial. Tenemos Dorkesh Patel en el podcast. Ahora, Dorkesh es probablemente uno de mis podcasters favoritos. Él es la mayoría en mi lista de rotación podcast. Y específicamente, es genial en temas de IA, que es el tema del episodio de hoy. Se trata de la era de la escala de la IA. La era del escalamiento es algo nuevo en la IA, nuevo para la humanidad. Es algo que nunca hemos visto antes. Y Dwarakash está en la frontera de este movimiento. Así que repasamos toda la historia y hasta dónde hemos llegado hoy. Y me encantó cada minuto de esta conversación. Ahora, por lo general se puede coger episodios como este en nuestra fuente de podcast Limitless. Ahí es donde mi co-anfitrión Josh y David y Ejaz se adentran en la madriguera del conejo de la IA. Es como Bankless, pero para la IA. Así que si Limitless aún no está en tu lista de podcasts, tienes que suscribirte.

Ryan:
[0:53] Atrápalo en Spotify, en YouTube, o dondequiera que accedas a estos podcasts. Ahora, en cripto, le pregunté a Dwarkech cuando va a hacer un podcast cripto, porque me encantaría escuchar Vitalik Buterin en Dwarkech, pero todavía podría ser un tiempo fuera. Aparentemente, el único podcast que Dwarkech ha hecho sobre cripto fue con Sam Beckman Freed, y todos sabemos lo que pasó allí. Es más resaca, supongo, de los cripto Criminales de 2022. Pero ciertamente hemos recorrido un largo camino desde entonces, y también lo ha hecho la IA. Por favor, disfruten de este episodio con Dwarkesh Patel. Dwarkesh Patel, somos grandes fans. Es un honor contar contigo.

Dwarkesh:
[1:32] Muchas gracias por invitarme.

Ryan:
[1:33] Bueno, usted tiene un libro fuera. Se llama The Scaling Era, An Oral History of AI from 2019 to 2025. Estas son algunas fechas clave. Esta es realmente una historia de cómo surgió la IA. Y parece haber explotado en el radar de la gente en los últimos cinco años. Y todos en el mundo, se siente como, está tratando de averiguar lo que acaba de suceder y lo que está a punto de suceder. Y creo que para esta historia deberíamos empezar por el principio, como hace su libro. ¿Qué es la era de la IA? ¿Cuándo empezó? ¿Cuáles fueron los hitos clave?

Dwarkesh:
[2:06] Así que creo que la historia de la resaca sobre, todo el mundo, por supuesto, ha estado escuchando más y más acerca de la IA. Lo que no se cuenta es que lo que más ha contribuido a que estos modelos de IA mejoren con el tiempo ha sido el hecho de que cada año dedicamos más recursos informáticos a los sistemas fronterizos de negociación. Según algunas estimaciones, en la última década hemos invertido 4 veces más cada año en el comercio de sistemas fronterizos que en el anterior. Y eso significa que estamos gastando cientos de miles de veces más computación que los sistemas de principios de la década de 2010. Por supuesto, también hemos tenido avances algorítmicos en el ínterin. En 2018, tuvimos el transformador. Desde entonces, obviamente, muchas empresas han hecho pequeñas mejoras aquí y allá. Pero el hecho abrumador es que ya estamos gastando cientos de miles de millones de dólares en construir la infraestructura, los centros de datos, los chips para estos modelos. Y este panorama sólo va a intensificarse si este exponencial sigue adelante. Forex al año, en los próximos dos años, es algo que está en la mente de los directores financieros de los grandes hiperescaladores y de las personas que planifican los gastos y la formación de cara al futuro, pero no es tan común en la conversación sobre hacia dónde se dirige la IA.

Ryan:
[3:19] ¿Qué crees que la gente debería saber al respecto? ¿Cuál es la era del escalado? Puede que haya habido otras eras de IA o computación, pero ¿qué tiene de especial la era del escalado?

Dwarkesh:
[3:29] La gente empezó a darse cuenta. En primer lugar, en 2012, Ilya Seskaver y otros empezaron a utilizar redes neuronales para categorizar imágenes. Y se dieron cuenta de que en lugar de hacer algo codificado a mano, se puede sacar mucho jugo de las redes neuronales, cajas negras. Sólo tienes que entrenarlas para identificar qué cosa se parece a qué. Y entonces la gente comenzó a jugar con estas redes neuronales más, utilizándolas para diferentes tipos de aplicaciones. Y entonces la pregunta se convirtió en, nos estamos dando cuenta de que estos modelos mejoran si se les echa más datos y se les echa más computación. ¿Cómo podemos introducir la mayor cantidad posible de datos en estos modelos?

Dwarkesh:
[4:11] Y la solución terminó siendo, obviamente, el texto de Internet. Se necesita una arquitectura que se adapte a los billones de fichas que se han escrito en las últimas décadas y que se han publicado en Internet. Y tuvimos esta feliz coincidencia de los tipos de arquitecturas que son susceptibles de este tipo de formación con las GPU que se hicieron originalmente para los juegos. Llevamos décadas recopilando texto de Internet e Ilias lo llamó el combustible fósil de la IA. Es como una reserva a la que podemos recurrir para entrenar a estas mentes, que encajan en el molde del pensamiento humano porque comercian con billones de fichas de pensamiento humano. Y entonces sólo ha sido una cuestión de hacer estos modelos más grandes, de utilizar estos datos que estamos recibiendo de las tecnologías de Internet para seguir entrenándolos. Y en el último año, como usted sabe, los últimos seis meses, el nuevo paradigma ha sido no sólo vamos a pre-entrenar a todos como texto de Internet, vamos a ver si podemos hacer que resuelvan rompecabezas matemáticos, rompecabezas de codificación,

Dwarkesh:
[5:11] Y a través de esto, darles capacidades de razonamiento. El tipo de cosa, por cierto, quiero decir, tengo cierto escepticismo en torno a AGI a la vuelta de la esquina, en lo que vamos a entrar. Pero sólo el hecho de que ahora tenemos máquinas que pueden como, razonar, como, ya sabes, puedes como, hacer una pregunta a una máquina, y se irá por un largo tiempo, será como, pensar en ello. Y entonces, como, que va a volver a usted con una respuesta inteligente. Y lo damos por sentado. Pero, obviamente, también sabemos que son muy buenos en la codificación, sobre todo. No sé si has tenido la oportunidad de jugar con Cloud Code o Cursor o algo así. Pero es una experiencia salvaje diseñar, explicar a alto nivel, quiero una aplicación que haga X. 15 minutos después, hay como 10 archivos de código y la aplicación está construida.

Dwarkesh:
[5:53] Ahí es donde estamos. Tengo tomas en la medida en que esto puede continuar. La otra dinámica importante, voy a añadir mi monólogo aquí, pero la otra dinámica importante es que si vamos a estar viviendo en la era de la escala, no se puede continuar exponenciales para siempre, y ciertamente no exponenciales que son 4x un año para siempre. Y así, en este momento, nos estamos acercando a un punto en el que dentro de 2028, a lo sumo en 2030, nos quedaremos literalmente sin la energía que necesitamos para mantener el comercio de estos sistemas de frontera, la capacidad en los nodos de vanguardia, que fabrican los chips que van en los tintes, que van en estas GPU, incluso la fracción bruta del PIB que tendrá que utilizar para entrenar a los sistemas de frontera. Así que nos quedan un par de años más de la era del escalado. Y la gran pregunta es, ¿llegaremos antes a la AGI?

Ryan:
[6:40] Quiero decir, eso es una especie de idea clave de su libro que como, estamos en el medio de la era de la escala. Supongo que estamos como, ya sabes, seis años o así. Y no estamos muy seguros. Es como, como el protagonista en medio de la historia, no sabemos exactamente...

Ryan:
[6:52] qué camino van a tomar las cosas. Pero quiero que tal vez, Dworkesh, ayudes a la gente a tener una intuición de por qué escalar de esta manera funciona. Porque te diré, para mí y para la mayoría de la gente, nuestra experiencia con estos modelos revolucionarios de IA probablemente comenzó en 2022 con ChatGPT3 y luego ChatGPT4 y viendo todo el progreso, todos estos modelos de IA. Y parece realmente poco intuitivo que si se toma una cierta cantidad de computación y se toma una cierta cantidad de datos, surja la IA, surja la inteligencia. ¿Podrías ayudarnos a intuir esta magia? ¿Cómo funciona la ley de la escala? ¿Cómputo más datos igual a inteligencia? ¿Es eso realmente todo lo que es?

Dwarkesh:
[7:37] Para ser honesto, he hecho esta misma pregunta a muchos investigadores de IA en mi podcast. Y podría contarte algunas teorías potenciales de por qué podría funcionar. No creo que lo entendamos. No creo que entendamos. Sólo diré eso. No creo que lo entendamos.

Ryan:
[7:52] No entendemos cómo funciona. Sabemos que funciona, pero no entendemos cómo funciona.

Dwarkesh:
[7:55] Tenemos pruebas de hecho, de todas las cosas, la primatología de lo que podría estar pasando aquí o al menos como por qué patrones similares en otras partes del mundo. Lo que me pareció realmente interesante es la investigación de la investigadora Susanna Herculana Huzel, que muestra que si observas cómo aumenta el número de neuronas en el cerebro de una rata, de diferentes especies de ratas, a medida que aumenta el peso de sus cerebros de una especie a otra, se observa un patrón muy sublineal. Así que si el tamaño de su cerebro se duplica, el número de neuronas no se duplicará entre las diferentes especies de ratas. Y hay otros tipos de

Dwarkesh:
[8:39] Familias de especies para las que esto es cierto. Las dos excepciones interesantes a esta regla, en las que realmente hay un aumento lineal en el recuento de neuronas y el tamaño del cerebro, son uno, ciertos tipos de aves. Las aves son en realidad muy inteligentes, dado el tamaño de sus cerebros, y los primates. Así que la teoría de lo que sucedió con los seres humanos es que desbloqueamos una arquitectura que era muy escalable. Así que la gente habla de transformadores más escalable en LSTMs, lo que les precedió en 2018. Desbloqueamos esta arquitectura ya que es muy escalable. Y entonces estábamos en un nicho evolutivo hace millones de años, que recompensaba aumentos marginales de inteligencia. Si usted consigue ligeramente más inteligente, sí, el cerebro cuesta más energía, pero se puede ahorrar energía en términos de como no tener que, se puede cocinar, se puede cocinar los alimentos por lo que no tiene que gastar mucho en la digestión. Usted puede encontrar un juego, usted puede encontrar diferentes maneras de forrajeo.

Dwarkesh:
[9:31] Los pájaros no fueron capaces de encontrar este nicho evolutivo que recompensaba el aumento de la inteligencia, porque si tu cerebro se vuelve demasiado pesado como un pájaro no vas a volar, así que fue una feliz coincidencia de estas dos cosas. Ahora, ¿por qué es el caso que el hecho de que nuestros cerebros pudieran crecer resultó en que nos volviéramos tan inteligentes como somos? sabes, un humano desde que tiene cero años hasta los 18, no ve ni en un orden de magnitud la cantidad de información con la que estos LLMs son entrenados. Así que los LLM son extremadamente ineficientes con los datos. Necesitan muchos más datos. Pero el patrón de escalado, creo que lo vemos en muchos lugares diferentes.

Ryan:
[10:18] ¿Es una analogía justa? Esta analogía siempre ha tenido sentido para mí. Es como si los transformadores fueran neuronas. Los modelos de IA son como el cerebro humano, las presiones evolutivas son como el descenso gradiente, los algoritmos de recompensa, y de ahí surge la inteligencia humana. Realmente no lo entendemos.

Ryan:
[10:37] Tampoco entendemos la inteligencia de la IA, pero básicamente funciona el mismo principio.

Dwarkesh:
[10:42] Creo que es una cuestión súper fascinante, pero también muy espinosa, porque ¿es la inteligencia gradiente como la evolución? Bueno, sí, en cierto sentido. Pero también cuando hacemos descenso gradiente en estos modelos, empezamos con el peso y luego estamos ya sabes que es como aprender cómo funciona la química cómo funciona la codificación cómo funcionan las matemáticas Y eso es en realidad más similar al aprendizaje de por vida, es decir, como, en el momento en que ya has nacido hasta el momento en que cumples 18 o 25 años, las cosas que aprendes, y eso no es evolución. La evolución diseñó el sistema o el cerebro mediante el cual puedes hacer ese aprendizaje, pero el aprendizaje de por vida en sí no es evolución. Y también está la interesante cuestión de si la formación se parece más a la evolución. En cuyo caso, en realidad, podríamos estar muy lejos de AGI porque la cantidad de computación que se ha gastado en el curso de la evolución para descubrir el cerebro humano, ya sabes, podría ser como 10 a los 40 flops. Ha habido estimaciones, ya sabes, lo que sea. Estoy seguro de que te aburrirá descubrir, hablar de cómo se derivan estas estimaciones, pero al igual que la cantidad frente es como una sola vida, como ir de la edad de cero a la edad de 18 años, que está más cerca de, creo, 10 a los 24 flops, que es en realidad menos de computación que utilizamos para entrenar sistemas de frontera. Muy bien, de todos modos, vamos a volver a preguntas más relevantes.

Ryan:
[11:58] Bueno, aquí hay una especie de gran pregunta también. Me fascinan los debates metafísicos que mantienen algunos investigadores de IA. Muchos investigadores de IA hablan en términos de que cuando describen lo que están creando, están creando a Dios.

Ryan:
[12:14] ¿Por qué dicen cosas así? ¿Qué es eso de crear a Dios? ¿Qué significa eso? ¿Es solo la idea de que las leyes de escala no cesan? Y si podemos, ya sabes, escalar la inteligencia a AGI, entonces no hay razón por la que no podamos escalar mucho más allá y crear algún tipo de entidad divina. Y esencialmente, eso es lo que la búsqueda es. Estamos haciendo superinteligencia artificial. Estamos haciendo un dios. Estamos haciendo a Dios.

Dwarkesh:
[12:38] Creo que la gente se centra demasiado en la hipotética inteligencia de una sola copia de una IA. Yo creo en la noción de una superinteligencia, que no es sólo funcional, que no es sólo como, oh, sabe un montón de cosas, sino que en realidad es cualitativamente diferente de la sociedad humana. Pero la razón no es porque crea que es tan poderosa que cualquier copia individual de IA será tan inteligente, sino por las ventajas colectivas que tendrán las IA, que no tienen nada que ver con su inteligencia bruta, sino con el hecho de que estos modelos serán digitales o ya lo son, pero con el tiempo serán tan inteligentes como los humanos como mínimo. Pero a diferencia de los humanos, debido a nuestras limitaciones biológicas, estos modelos pueden copiarse. Si hay un modelo que ha aprendido mucho sobre un dominio específico, puedes hacer infinitas copias de él. Y ahora tienes infinitas copias de Jeff Dean o Ilya Satskova o Elon Musk o cualquier persona experta que se te ocurra. Se pueden fusionar. Así que el conocimiento que cada copia está aprendiendo puede ser amalgamado de nuevo en el modelo y luego de vuelta a todas las copias. Pueden ser destilados, pueden correr a velocidades sobrehumanas, estas ventajas colectivas también pueden comunicarse en el espacio latente.

Ryan:
[13:58] Inmortales, es decir, ya sabes, como un ejemplo.

Dwarkesh:
[14:01] Sí, exacto, no, es decir, dime si me estoy desviando demasiado, pero una pregunta muy interesante que surgirá es cómo procesamos a las IA, porque la forma en que procesamos a los humanos es que te meteremos en la cárcel si cometes un delito, pero si hay billones de copias o miles de copias de un modelo de IA, si una copia de un modelo de IA, si una instancia de un modelo de IA hace algo malo, ¿qué haces? ¿Todo el modelo tiene que ser castigado? ¿Cómo se castiga a un modelo? Como, ¿le importa que sus pesos sean malgastados? Sí, surgen todo tipo de preguntas debido a la naturaleza de las IA.

Josh:
[14:39] Y también quién es responsable de eso, ¿verdad? ¿Es el fabricante de herramientas?

Josh:
[14:42] ¿Es la persona que usa la herramienta? quien es responsable de estas cosas. Hay un tema que quiero tratar aquí sobre las leyes de escalado. Y es, ¿en qué momento nos dimos cuenta de que las leyes de escalado iban a funcionar? Porque había un montón de tesis a principios de los días, principios de 2000 sobre la IA, cómo íbamos a construir mejores modelos. Al final llegamos al transformador. ¿Pero en qué momento los investigadores y los ingenieros empezaron a darse cuenta de que, oye, esta es la idea correcta. Deberíamos empezar a invertir mucho dinero y recursos en esto frente a otras ideas que no eran más que investigaciones teóricas, pero que nunca llegaron a cuajar. Vimos esto con GPT 2 a 3, donde hay una gran mejora. Se invirtieron muchos recursos. ¿Hubo un momento o un avance concreto que condujera al inicio de estas leyes de escalado?

Dwarkesh:
[15:20] Creo que ha sido un proceso lento de más y más personas que aprecian esta naturaleza del papel abrumador de la computación para impulsar el progreso hacia adelante. En 2018, creo, Dario Amadei escribió un memorándum que era secreto mientras estaba en OpenAI, ahora es el CEO de Anthropic, pero mientras estaba en OpenAI, posteriormente ha revelado en mi podcast que escribió este memorándum donde él

Dwarkesh:
[15:47] El título del memo se llamaba Big Blob of Compute. Y dice básicamente lo que uno espera que diga, es decir, que sí, que hay formas de estropear el proceso de entrenamiento. Tienes el tipo equivocado de datos o inicializaciones. Pero fundamentalmente, AGI es sólo una gran masa de computación. Y luego hemos conseguido en los años siguientes, más pruebas empíricas. Así que una gran actualización, creo que fue en 2021. Pero corríjanme. Alguien definitivamente me corregirá en los comentarios. Estoy equivocado. Ha habido múltiples artículos de estas leyes de escala donde se puede demostrar que la pérdida del modelo en el objetivo de predecir el siguiente token disminuye muy predeciblemente, casi como a múltiples decimales de exactitud basado en cuánto más computo se pone en estos modelos. Y el cómputo en sí mismo es una función de la cantidad de datos que utilizas y lo grande que es el modelo, cuántos parámetros tiene. Y eso fue una prueba increíblemente fuerte en su día, hace un par de años, porque entonces se podía decir, bueno, está bien, si realmente tiene esta pérdida increíblemente baja de predecir el siguiente token en toda la producción humana, incluidos los artículos científicos, incluidos los repositorios de GitHub,

Dwarkesh:
[16:59] Entonces, ¿no significa que en realidad ha tenido que aprender de codificación y la ciencia y todas estas habilidades con el fin de hacer esas predicciones, que en realidad terminó siendo cierto. Y era algo que la gente, ya sabes, lo damos por sentado ahora, pero en realidad incluso hace un año o dos, la gente estaba negando esa premisa. Pero algunas personas hace un par de años sólo como pensado en ello y como, sí, en realidad, eso significaría que ha aprendido las habilidades. Y es una locura que tengamos este fuerte patrón empírico que nos dice exactamente lo que tenemos que hacer para aprender estas habilidades.

Josh:
[17:26] Y crea esta percepción extraña, derecha, donde como muy temprano y así hasta el día de hoy, es realmente sólo un predictor simbólico, ¿verdad? Como si sólo predijéramos la siguiente palabra de la frase. Pero en algún momento, realmente crea esta percepción de inteligencia.

Josh:
[17:38] Supongo que cubrimos el contexto histórico temprano. Quiero que los oyentes sepan dónde estamos ahora, dónde nos ha llevado la pérdida de escala en el año 2025. ¿Puedes resumir a dónde hemos llegado desde los primeros días de GPTs hasta ahora que tenemos GPT-4, tenemos Gemini Ultra, tenemos Club, que mencionaste antes. Tuvimos el avance del razonamiento. ¿Qué pueden hacer hoy los modelos de vanguardia?

Dwarkesh:
[18:01] Así que hay lo que pueden hacer. Y luego está la cuestión de qué métodos parecen funcionar. Supongo que podemos empezar por lo que parecen ser capaces de hacer. Han demostrado ser notablemente útiles codificando y no sólo respondiendo a preguntas directas sobre cómo funciona esta línea de código o algo así. Pero realmente sólo de forma autónoma trabajando durante 30 minutos o una hora, haciendo la tarea, que tomaría un desarrollador front-end un día entero para hacer. Y sólo se les puede pedir a un alto nivel, hacer este tipo de cosas, y pueden seguir adelante y hacerlo. Obviamente, si has jugado con ello, sabes que son asistentes extremadamente útiles en términos de investigación, en términos incluso de terapeutas, cualesquiera otros casos de uso. En cuanto a la cuestión de qué métodos de entrenamiento parecen estar funcionando, parece que estamos recibiendo pruebas de que el pre-entrenamiento se está estancando, es decir, que teníamos GPD 4.5, que sólo seguía este viejo molde de hacer el modelo más grande, pero fundamentalmente está haciendo lo mismo de la predicción del siguiente token. Y aparentemente no pasó el examen. La OpenAI tuvo que desaprobarlo porque hay una dinámica en la que cuanto más grande es el modelo, más cuesta no sólo entrenarlo, sino también servirlo, ¿verdad? Porque cada vez que usted sirve a un usuario, usted está teniendo que ejecutar todo el modelo, que va, así, pero que va a estar trabajando es RL, que es este proceso de no sólo entrenarlos en tokens existentes en Internet, pero tener el modelo en sí tratar de responder a problemas matemáticos y de codificación. Y finalmente, llegamos al punto en el que el modelo es lo suficientemente inteligente como para acertar algunas veces, y así puedes darle alguna recompensa, y entonces puede saturar estos difíciles problemas de razonamiento.

Josh:
[19:29] ¿Y cuál fue el gran avance con el razonamiento para la gente que no está familiarizada? ¿Qué hacía tan especial al razonamiento que no habíamos descubierto antes? ¿Y qué fue lo que desbloqueó los modelos que usamos hoy en día?

Dwarkesh:
[19:39] Sinceramente, no estoy seguro. Es decir, GBD4 salió hace poco más de dos años, y dos años después de GBD4 salió O1, que fue el avance original del razonamiento, creo que el pasado noviembre. Y posteriormente, un par de meses más tarde, DeepSeq mostró en su documento R1. Así DeepSeq open sourced su investigación y explicaron exactamente cómo funcionaba su algoritmo. Y no era tan complicado. Era justo como lo que cabría esperar, que es conseguir algunos problemas matemáticos, dar para algunos problemas iniciales, decirle al modelo exactamente lo que el rastro de razonamiento se parece, cómo resolverlo, al igual que escribirlo y luego tener el modelo como tratar de hacerlo en bruto en los problemas restantes. Ahora, sé que suena increíblemente arrogante decir, bueno, no era tan complicado. ¿Por qué te tomó años? Creo que se trata de una idea interesante: incluso las cosas que uno piensa que son sencillas en términos de descripción de alto nivel de cómo resolver el problema acaban llevando más tiempo de lo que uno podría suponer ingenuamente en términos de regatear los obstáculos de ingeniería restantes. Y eso debería ponernos al día sobre cuánto tiempo nos llevará superar los cuellos de botella que quedan en el camino hacia la AGI. Quizá sea más difícil de lo que la gente imagina, sobre todo los que creen que sólo faltan dos o tres años. Pero todo esto para decir, sí, no estoy seguro de por qué tomó tanto tiempo después de GPT-4 para conseguir un modelo entrenado en un nivel similar de capacidades que luego podría hacer el razonamiento.

Josh:
[20:56] Y en términos de esas habilidades, la primera respuesta que tuvo a lo que puede hacer fue la codificación. Y eso es lo que oigo muchas veces cuando hablo con mucha gente,

Josh:
[21:04] es que la codificación parece ser un punto fuerte y un gran obstáculo para usar estos modelos. Y tengo curiosidad, ¿por qué la codificación en lugar de la inteligencia general? ¿Es porque está más limitada por los parámetros? Sé que al principio teníamos a AlphaGo y a las IAs jugando al ajedrez, y funcionaban tan bien porque estaban dentro de una especie de caja de parámetros que era un poco menos abierta que la inteligencia general. ¿Es esa la razón por la que la codificación está ahora mismo en la frontera de la capacidad de estos modelos?

Dwarkesh:
[21:31] Hay dos hipótesis diferentes. Una se basa en la idea de la paradoja de Moravac.

Dwarkesh:
[21:38] Y esta fue una idea, por cierto, una figura súper interesante, en realidad, debería haberlo mencionado antes. Una figura súper interesante en la historia del escalamiento es Hans Morovac, que creo que en los años 90 predijo que 2028 sería el año en que llegaríamos a la AGI. Y la forma en que predice esto, que es como, ya sabes, vamos a ver qué pasa, pero como, no tan lejos del dinero en lo que a mí respecta. La forma en que predice esto es que sólo mira el crecimiento de la potencia de cálculo año tras año, y luego mira la cantidad de computación que estimó que el cerebro humano requeriría. Y entonces, bueno, tendremos ordenadores tan potentes como el cerebro humano en 2028. Que es como a la vez un argumento engañosamente simple, pero también terminó siendo increíblemente precisa y como trabajado, ¿verdad? Podría añadir un dato: era 2028, pero estaba dentro de eso, como dentro de algo que considerarías una suposición razonable, dado lo que sabemos ahora. Lo siento, de todos modos, la paradoja de Moravex es esta idea de que las computadoras parecen en AI mejorar primero en las habilidades que los seres humanos son los peores. O al menos hay una gran variación en el repertorio humano. Así que pensamos en la codificación como increíblemente difícil, ¿verdad? Pensamos que el 1% de las personas serán excelentes codificadores. También pensamos que razonar es muy difícil, ¿verdad? Si leemos a Aristóteles, dice que lo que hace especiales a los humanos, lo que nos distingue de los animales, es el razonamiento.

Dwarkesh:
[23:03] Y estos modelos no son tan útiles todavía en casi nada. Lo único que pueden hacer es razonar. Entonces, ¿cómo explicamos este patrón? y la respuesta de Moravac es que la evolución ha pasado miles de millones de años optimizándonos para hacer cosas que damos por sentadas. Muévete por esta habitación, ¿de acuerdo? Puedo coger esta lata de Coca-Cola, moverla, beber de ella. Y eso ni siquiera podemos conseguir que los robots lo hagan todavía. Y de hecho, está tan arraigado en nosotros por la evolución que no hay humanos o al menos los humanos que no tienen discapacidades serán capaces de hacer esto. Así que damos por sentado que es algo fácil de hacer. Pero de hecho, es una prueba de cuánto tiempo ha pasado la evolución para que los humanos lleguen a este punto. Mientras que el razonamiento, la lógica, todas estas habilidades sólo han sido optimizadas por la evolución en el transcurso de los últimos millones de años. Así que ha habido mil veces menos presión evolutiva hacia la codificación que hacia la locomoción básica.

Dwarkesh:
[24:04] Y esto ha sido muy preciso a la hora de predecir los tipos de progreso que vemos incluso antes de que tuviéramos el aprendizaje profundo, ¿verdad? Por ejemplo, en los años 40, cuando tuvimos nuestros primeros ordenadores, lo primero que pudimos hacer con ellos fueron largos cálculos de trayectorias balísticas para la Segunda Guerra Mundial. Los humanos apestan en cálculos largos a mano. Y de todos modos, esa es la explicación de la codificación, que parece difícil para los seres humanos, es lo primero que fue a las IAs. Ahora, hay otra teoría, que es que esto es en realidad totalmente erróneo. No tiene nada que ver con esta aparente paradoja de cuánto tiempo la evolución nos ha optimizado, y todo que ver con la disponibilidad de datos. Así que tenemos GitHub, este repositorio de todo el código humano, al menos todo el código fuente abierto escrito en todos estos lenguajes diferentes, billones y billones de tokens. No tenemos una cosa análoga para la robótica. No tenemos este corpus de pre-entrenamiento. Y eso explica por qué el código ha progresado mucho más que la robótica.

Ryan:
[24:58] Eso es fascinante porque si hay una cosa que podría enumerar en la que querríamos que la IA fuera buena, probablemente codificar software es el número uno en esa lista. Porque si tienes una inteligencia completa de Turing que puede crear software completo de Turing, ¿hay algo que no puedas crear una vez que lo tienes? Además, la idea de la paradoja de Morvac, supongo que implica un cierto complementarismo con la humanidad. Así que si los robots pueden hacer cosas que los robots pueden hacer realmente bien y no pueden hacer las cosas que los humanos pueden hacer bien, bueno, tal vez haya un lugar para nosotros en este mundo. Y eso es una noticia fantástica. También puede implicar que los humanos han arañado la superficie del potencial de razonamiento. Quiero decir, si sólo hemos tenido un par de millones de años de evolución y no hemos tenido el conjunto de datos para llegar a ser realmente buenos en el razonamiento, parece que habría una enorme cantidad de ventajas, territorio inexplorado, como mucha más inteligencia que la naturaleza podría contener dentro del razonamiento. Quiero decir, ¿son estas algunas de las implicaciones de estas ideas?

Dwarkesh:
[26:02] Sí, lo sé. Es una gran idea. Otra idea muy interesante es que cuanta más variación haya en una habilidad humana, mejor y más rápido la desarrollarán las IA. Porque la codificación es algo en lo que el 1% de los humanos son realmente buenos. El resto de nosotros, si tratamos de aprenderlo, estaríamos bien en ello o algo así, ¿verdad? Y debido a que la evolución ha pasado tan poco tiempo optimizándonos, existe este espacio para la variación donde la optimización no ha ocurrido de manera uniforme o no ha sido lo suficientemente valiosa como para saturar el acervo genético humano para esta habilidad. Creo que usted hizo un punto anterior que me pareció muy interesante que quería abordar. ¿Puedes recordarme lo primero que dijiste?

Ryan:
[26:42] ¿Es el complementarismo?

Dwarkesh:
[26:46] Sí. Así que puedes tomarlo como un futuro positivo. Puedes tomarlo como un futuro negativo en el sentido de que, bueno, ¿cuáles son las habilidades complementarias que estamos proporcionando? Somos buenos robots de carne.

Ryan:
[26:57] Sí, la mano de obra de baja cualificación de la situación.

Dwarkesh:
[26:59] Ellos pueden hacer todo el pensamiento y la planificación. Un futuro oscuro, una visión oscura del futuro es que tendremos esas gafas meta y la IA nos hablará al oído y nos dirá que pongamos este ladrillo allí para que no se pueda construir el siguiente centro de datos porque la IA tiene el plan para todo. Tiene el mejor diseño para la nave y todo lo demás. Sólo tienes que mover las cosas a su alrededor. Y así es el trabajo humano hasta que se resuelva la robótica. Así que sí, depende de cómo vayas. Por otro lado, te pagarán mucho porque vale mucho mover esos ladrillos. Estamos construyendo AGI aquí. Pero sí, depende de cómo salgas de esa pregunta.

Ryan:
[27:32] Bueno, parece que hay algo en esa idea, volviendo a la idea de la enorme cantidad de variación humana. Quiero decir, en el último mes o así, hemos tenido noticias de meta contratando investigadores de IA por 100 millones de dólares en bonos, ¿de acuerdo? ¿Qué hace el ingeniero de software promedio hacer frente a lo que hace un investigador de AI en el tipo de la parte superior del mercado, ¿no? Lo que tiene que implicar, obviamente hay algunas cosas que suceden con la demanda y la oferta, pero también parece implicar que hay una variación masiva en la calidad de un ingeniero de software. Y si las IAs pueden llegar a esa calidad, bueno, ¿qué es lo que desbloquea?

Ryan:
[28:07] Sí. Así que, vale. Sí. Supongo que ya tenemos la codificación. Otra pregunta es, ¿qué no pueden hacer las IAs hoy en día? ¿Y cómo caracterizarías eso? ¿Cuáles son las cosas que no hacen bien?

Dwarkesh:
[28:20] He estado entrevistando a gente en mi podcast que tiene visiones temporales muy diferentes de la GetAGI rural. He entrevistado a personas que piensan que faltan dos años y a otras que piensan que faltan 20 años. Y la experiencia de crear herramientas de inteligencia artificial para mí ha sido lo que más me ha ayudado a comprender o quizá lo que más he investigado sobre la cuestión de cuándo llegará la inteligencia artificial.

Ryan:
[28:41] Más que las entrevistas a invitados.

Dwarkesh:
[28:43] Sí, porque he pasado unas 100 horas intentando crear estas pequeñas herramientas, del tipo que estoy seguro que tú también has intentado crear, como reescribir las transcripciones autogeneradas para que suenen como las escribiría un humano. Encontrar clips para mí para twittear, escribir ensayos conmigo, co-escribirlos pasaje a pasaje, este tipo de cosas. Y lo que encontré es que en realidad es muy difícil de obtener el trabajo similar al humano de estos modelos, incluso para tareas como estas, que debería ser el centro de la muerte en el repertorio de estos modelos, ¿verdad? Son horizonte corto, son el lenguaje de entrada, el lenguaje de salida. No están supeditados a la comprensión de algo que dije hace como un mes. Esto es sólo como, esta es la tarea. Y yo estaba pensando ¿por qué es el caso que todavía no he sido capaz de automatizar estas tareas lingüísticas básicas? ¿Por qué todavía tengo un trabajo humano en estas cosas?

Dwarkesh:
[29:31] Y creo que la razón clave por la que no se pueden automatizar ni siquiera estas tareas sencillas es porque los modelos carecen actualmente de la capacidad de hacer formación en el trabajo. Así que si contratas a un humano durante los primeros seis meses, durante los primeros tres meses, no va a ser tan útil, incluso si es muy inteligente, porque no ha construido el contexto, no ha practicado las habilidades, no entiende cómo funciona el negocio. Lo que hace valiosos a los seres humanos no es, obviamente, su intelecto en bruto. Es su capacidad para interrogar sus propios fracasos de esta manera realmente dinámica y orgánica, para recoger pequeñas eficiencias y mejoras a medida que practican la tarea, y para construir este contexto a medida que trabajan dentro de un dominio. Y así, a veces la gente se pregunta, mira, si nos fijamos en los ingresos de OpenAI, los ingresos recurrentes anuales, son del orden de 10 mil millones de dólares. Kohl's gana más dinero que eso. McDonald's gana más dinero que eso, ¿verdad?

Dwarkesh:
[30:24] Entonces, ¿por qué si tienen AGI, como Fortune 500 no están reorganizando sus flujos de trabajo para, ya sabes, utilizar modelos OpenAI en cada capa de la pila? Mi respuesta, a veces la gente dice, bueno, es porque la gente es demasiado estirada. La dirección de estas empresas no avanza lo suficientemente rápido en IA. Eso podría ser parte de ello. Creo que en su mayoría no es que creo que en su mayoría es realmente muy difícil de obtener humano-humano de estos modelos porque no se puede, así que estás atascado con las capacidades que obtienes del modelo fuera de la caja, por lo que podrían ser cinco de cada diez a la derecha reescribiendo la transcripción para ti, pero si no te gusta cómo ha resultado, si tienes comentarios para él, si quieres seguir enseñándole con el tiempo, una vez que la sesión termina, el modelo como todo lo que sabe sobre ti se ha ido, tienes que reiniciar de nuevo, es como trabajar con un empleado amnésico, tienes que reiniciar de nuevo.

Ryan:
[31:12] Cada día es el primer día de trabajo, básicamente.

Dwarkesh:
[31:15] Sí, exactamente. Es un día de la marmota para ellos cada día, o cada par de horas, de hecho. Y eso hace que les resulte muy difícil ser útiles como empleados, ¿verdad? No son realmente un empleado en ese momento. Esto, creo, no sólo es un cuello de botella clave para el valor de estos modelos, porque el trabajo humano vale mucho, ¿verdad? Como 60 billones de dólares en el mundo se paga a los salarios cada año. Si estas empresas modelo están haciendo en el orden de $ 10 mil millones al año, eso es una gran manera de AGI. ¿Y qué explica esa brecha? ¿Cuáles son los cuellos de botella? Creo que uno grande es esta cosa de aprendizaje continuo. Y no veo una manera fácil de que eso se resuelva dentro de estos modelos. No hay como, con el razonamiento, se podría decir, oh, es como, entrenarlo en matemáticas y problemas de código, y entonces voy a conseguir el razonamiento. Y eso funcionó. No creo que haya algo muy obvio sobre cómo conseguir que este aprendizaje en línea, esta formación en el puesto de trabajo funcione para estos modelos.

Ryan:
[32:01] Bien, ¿podemos hablar de eso? ¿Profundizar un poco más en ese concepto? Este es básicamente uno de los conceptos que escribiste en tu reciente post. La IA no está a la vuelta de la esquina. A pesar de que eres un optimista de la IA, diría yo, y en general un aceleracionista de la IA, estabas diciendo que no está a la vuelta de la esquina. Dices que la capacidad de reemplazar el trabajo humano está lejos. No para siempre, pero creo que dijiste alrededor de 2032, si tuvieras que adivinar la fecha estimada. Y la razón que das es que las IAs no pueden aprender en el trabajo, pero no me queda claro por qué no pueden. ¿Es sólo porque la ventana de contexto no es lo suficientemente grande? ¿Es porque no pueden introducir todos los conjuntos de datos y puntos de datos que pueden introducir los humanos? ¿Es porque no tienen memoria de estado como un empleado humano? Porque si se trata de estas cosas, todos estos parecen problemas solucionables. Y tal vez eso es lo que estás diciendo. Son problemas solucionables. Solo que son un poco más largos de lo que algunos creen.

Dwarkesh:
[32:58] Creo que es como en algún sentido profundo un problema solucionable porque con el tiempo vamos a construir AGI. Y para construir AGI, habremos tenido que resolver el problema. Lo que quiero decir es que las soluciones obvias que te puedas imaginar, por ejemplo, ampliar la ventana de contexto o tener una memoria externa usando sistemas como el rag, son básicamente técnicas que ya tenemos, se llaman recuperación aumentada, generación aumentada, de todas formas, no creo que sean suficientes y sólo para poner un punto más fino, primero de todo, como cuál es el problema, el problema es exactamente como tú dices, que dentro de la ventana de contexto estos modelos pueden aprender en el trabajo, así que si hablas con él durante el tiempo suficiente, mejorará mucho en la comprensión de tus necesidades y cuál es tu problema exacto. Si lo estás utilizando para la investigación de tu podcast, tendrá un sentido de, oh, en realidad son especialmente curiosos acerca de este tipo de preguntas. Permítanme centrarme en eso. En realidad es muy similar a los humanos en el contexto, ¿verdad? La velocidad a la que aprende, la tarea y el conocimiento que recoge. El problema, por supuesto, es la longitud de contexto para incluso los mejores modelos sólo duran un millón o dos millones de fichas. Eso es como mucho una hora de conversación. Ahora, entonces usted podría decir, está bien, bueno, ¿por qué no podemos resolver eso mediante la ampliación de la ventana de contexto, ¿verdad? La ventana de contexto se ha ido ampliando en los últimos años. ¿Por qué no podemos seguir así?

Ryan:
[34:10] Sí, como una ventana de contexto de mil millones de tokens, algo así.

Dwarkesh:
[34:13] Así que 2018 es cuando salió el transformador, y el transformador tiene el mecanismo de atención. El mecanismo de atención es inherentemente cuadrático con la naturaleza, la longitud de la secuencia, es decir, si pasas de 1 millón de tokens a 2 millones de tokens, en realidad cuesta cuatro veces más computación procesar ese token dos millones. No es sólo dos veces más computación. Así que se vuelve super linealmente más caro a medida que aumenta la longitud del contexto. Y durante los últimos siete años, la gente ha estado tratando de evitar esta inherente naturaleza cuadrática de la atención. Por supuesto, no sabemos en secreto en qué están trabajando los laboratorios. Pero tenemos empresas de vanguardia como DeepSeq, que han abierto el código de su investigación, y podemos ver cómo funcionan sus algoritmos. Y encontraron estos modificadores de tiempo constante a la atención, es decir, que seguirá siendo cuadrática, pero será como la mitad de cuadrática. Pero la super linealidad inherente no ha desaparecido. Y debido a eso, sí, usted podría ser capaz de aumentar de 1 millón de fichas a 2 millones de fichas por encontrar otro hack. Como asegurarse de que los expertos sólo quieren esas cosas. La atención latente es otra de esas técnicas. Pero, o KVCash, cierto, hay muchas otras cosas que se han descubierto. Pero la gente no ha descubierto bien, ¿cómo evitar el hecho de que si usted fue a mil millones, sería mil millones al cuadrado es caro en términos de cómputo para procesar ese token. Así que no creo que lo consigas aumentando la longitud de la ventana contextual, básicamente.

Ryan:
[35:42] Eso es fascinante. Sí, no me había dado cuenta. Vale, la otra razón de tu post por la que la IA no está a la vuelta de la esquina es porque no puede hacer tus impuestos. Y Dorcas, siento tu dolor, hombre. Los impuestos son como un grano en el culo. Creo que estabas hablando de esto desde el contexto de la visión por computador, el uso de computadores, ese tipo de cosas. Sí, claro. Así que, quiero decir, he visto demos. He visto algunas muy interesantes de visión por computador

Ryan:
[36:05] tipo de demostraciones que parecen estar a la vuelta de la esquina. Pero, ¿cuál es el límite en el uso de ordenadores para una IA?

Dwarkesh:
[36:12] Había una interesante entrada en el blog de esta empresa llamada Mechanize en la que explicaban por qué esto es un problema tan grande. Y me encanta la forma en que lo plantean, que es la siguiente. Imagina que tuvieras que entrenar un modelo en 1980, un gran modelo lingüístico en 1980, y que pudieras usar toda la computación que quisieras en 1980 de alguna manera, pero no tuvieras, sólo estuvieras atascado con los datos que estaban disponibles en la década de 1980, por supuesto, antes de que Internet se convirtiera en un fenómeno generalizado. No se podía formar a un LLM moderno, ni siquiera con toda la informática del mundo, porque los datos no estaban disponibles. Y nos encontramos en una situación similar con respecto al uso de los ordenadores, porque no existe este corpus de vídeos recopilados de personas que utilizan los ordenadores para hacer diferentes cosas, para acceder a diferentes aplicaciones y realizar trabajos de cuello blanco. Por eso, creo que el gran reto ha sido acumular este tipo de datos. off.

Ryan:
[37:06] Y para que quede claro, cuando estaba diciendo el caso de uso de como, hacer mis impuestos, estás hablando efectivamente de una IA que tiene la capacidad de sólo, ya sabes, navegar por los archivos alrededor de tu computadora, ya sabes, iniciar sesión en varios sitios web para descargar tus recibos de pago o lo que sea, y luego ir a como TurboTax o algo así y como introducir todo en algún software y archivarlo, ¿verdad? Sólo con un comando de voz o algo así. Eso es básicamente hacer mis impuestos.

Dwarkesh:
[37:31] Debería ser capaz de navegar por interfaces de usuario con las que esté menos familiarizado o que surjan orgánicamente en el contexto de intentar resolver un problema. Por ejemplo, puede que tenga deducciones empresariales. Ve en mi extracto bancario que he gastado 1.000 dólares en Amazon. Va registros en mi Amazon. Se ve como, oh, compró una cámara. Así que creo que eso es probablemente un gasto de negocios para su podcast. Compró un Airbnb durante un fin de semana en las cabañas de lo que sea, en el bosque de lo que sea. Eso probablemente no fue un gasto de negocios. Aunque tal vez tal vez es si es una especie de como un gris que estaba dispuesto a ir en la zona gris sí sí hacer

Ryan:
[38:08] Las cosas de la zona gris.

Dwarkesh:
[38:09] Yo estaba investigando Pero de todos modos, por lo que incluyendo todo eso, incluyendo el correo electrónico a la gente para las facturas y regatear con ellos, sería como una especie de tarea de una semana para hacer mis impuestos, ¿verdad? Tendrías que, hay un montón de trabajo involucrado. No se trata sólo de hacer esta cosa, esta otra, esta otra, sino de tener un plan de acción y luego dividir las tareas, ocuparse de la nueva información, los nuevos correos electrónicos, los nuevos mensajes, consultarme las dudas, etcétera.

Ryan:
[38:38] Sí. Quiero decir, para ser claros en este caso de uso también, a pesar de que tu post se titula como, ya sabes, la IA no está a la vuelta de la esquina. Sigues pensando que esta capacidad de declarar tus impuestos es algo de 2028, ¿verdad? Quiero decir, esto no es tal vez el próximo año, pero es en unos pocos años.

Dwarkesh:
[38:54] Derecha. Creo que la gente leyó demasiado en el decital y no leyó los argumentos.

Ryan:
[39:00] Eso nunca sucede en Internet. Guau. Primera vez.

Dwarkesh:
[39:04] No, creo que como, estoy discutiendo contra las personas que son como, ya sabes, esto va a suceder. AGI es como dos años de distancia. Creo que el mundo en general, los mercados, la percepción pública, incluso las personas que están un poco atentas a la IA, pero no están en este entorno específico con el que estoy hablando, están subestimando la AGI. Una razón, una cosa que creo que están subestimando es que no sólo tendremos millones de trabajadores extra, millones de trabajadores extra, potencialmente miles de millones, en el transcurso de la próxima década, porque entonces tendremos una AGI potencialmente, creo que como probable tendremos AGI dentro de la próxima década. Pero tendrán estas ventajas que los trabajadores humanos no tienen, que es que, de acuerdo, una empresa modelo único, así que supongamos que resolvemos el aprendizaje continuo, ¿verdad? Y resolvemos el uso del ordenador. Así que en lo que respecta al trabajo de cuello blanco, que fundamentalmente podría ser resuelto. Puedes tener IAs que pueden usar no sólo no son sólo como un cuadro de texto donde se pone en usted hacer preguntas en un chatbot y se obtiene alguna respuesta a cabo. No es tan útil tener sólo un chatbot muy inteligente. Necesitas que sea capaz de hacer un trabajo real y utilizar aplicaciones reales.

Dwarkesh:
[40:08] Supongamos que lo tienes resuelto porque actúa como un empleado. Tiene aprendizaje continuo. Utiliza el ordenador. Pero tiene otra ventaja que los humanos no tienen, y es que las copias de este modelo se están desplegando por toda la economía y están haciendo formación en el trabajo. Así que las copias están aprendiendo cómo ser un contador, cómo ser un abogado, cómo ser un codificador. Excepto porque es una IA y es digital, el propio modelo puede amalgamar toda esta formación en el puesto de trabajo de todas estas copias. ¿Y eso qué significa? Bueno, significa que incluso si no hay más progreso de software después de ese punto, es decir, que no se descubren más algoritmos, no hay un transformador más plus que se descubra. Sólo por el hecho de que este modelo está aprendiendo cada habilidad en la economía, al menos para el trabajo de cuello blanco, usted podría, basándose sólo en eso, tener algo que se parece a una explosión de inteligencia. Sólo sería una explosión de inteligencia ampliamente desplegada, pero funcionalmente se convertiría en súper inteligente sólo por tener la capacidad de nivel humano de aprendizaje en el trabajo.

Josh:
[41:03] Sí, y crea esta red de malla de inteligencia que se comparte entre todos. Es algo realmente fascinante. Así que vamos a llegar allí. Vamos a llegar a AGI. Va a ser increíblemente inteligente. Pero lo que hemos compartido recientemente es una especie de bolsa mixta donde actualmente, es bastante bueno en algunas cosas, pero también no tan bueno en otras. Estamos contratando humanos para hacer trabajos que creemos que la IA debería hacer, pero probablemente no lo haga. Así que la pregunta que tengo para ti es, ¿es la IA realmente tan inteligente? ¿O simplemente es buena en estos puntos de referencia particulares que medimos? Apple, quiero decir, famoso recientemente, tuvieron su papel, La ilusión de pensar, donde fue algo así como, hey, AI es como muy bueno hasta cierto punto, pero en un determinado punto, simplemente se desmorona. Y la inferencia es como, tal vez no es, la inteligencia, tal vez es sólo bueno en adivinar. Así que supongo que la pregunta es, ¿es la IA realmente tan inteligente?

Dwarkesh:
[41:46] Depende de con quién esté hablando. Creo que algunas personas exageran sus capacidades. Creo que hay gente que dice que ya es AGI, pero que es como una pequeña AGI coja en la que le damos una conmoción cerebral cada dos horas y se olvida de todo. Estamos como atrapados en un contexto de chatbot. Pero fundamentalmente, la cosa en el interior es como un ser humano muy inteligente. No estoy de acuerdo con esa perspectiva. Así que si esa es tu perspectiva, yo digo como, no, no es tan inteligente. Su perspectiva es sólo asociaciones estadísticas. Yo digo definitivamente más inteligente. Es como si realmente hubiera una inteligencia ahí.

Dwarkesh:
[42:17] Y el, por lo que una cosa que usted podría decir a la persona que piensa que ya es AGI es esto. Mira, si un solo humano tuviera tantas cosas memorizadas como estos modelos parecen haber memorizado, ¿verdad? Lo que quiere decir que tienen todo el texto de internet, todo lo que un humano ha escrito en internet memorizado. Potencialmente descubrirían todo tipo de conexiones y descubrimientos. Notarían que esta cosa que causa migraña está asociada con este tipo de deficiencia. Así que tal vez si tomas el suplemento, tus migrañas se curarán. Habría una lista de conexiones triviales que llevarían a grandes descubrimientos. No está claro que haya habido un caso inequívoco de una IA haciendo esto por sí misma. Entonces, ¿por qué? Si son tan inteligentes, ¿por qué no son capaces de utilizar sus capacidades desproporcionadas, sus capacidades únicas para llegar a estos descubrimientos? No creo que haya una buena respuesta a esa pregunta todavía, excepto por el hecho de que realmente no son tan creativos. Tal vez sean inteligentes en el sentido de saber muchas cosas, pero no tienen la inteligencia fluida que tienen los humanos. De todos modos, así que te doy una respuesta de wish-washy porque creo que algunas personas están subestimando la inteligencia. Otros la exageran.

Ryan:
[43:25] Recuerdo un tweet últimamente de Tyler Cowen. Creo que se refería a O3 y básicamente decía que parecía AGI. No sé si es AGI o no, pero a mí me lo parece. ¿Cómo se explica entonces esta sensación de inteligencia?

Dwarkesh:
[43:40] Creo que esto es realmente muy interesante porque llega a un punto crucial que Tyler y yo tenemos. Tyler y yo discrepamos en dos cosas importantes. Uno, él piensa, ya sabes, como dijo en la entrada del blog, 03 es AGI. No creo que sea AGI. Creo que es órdenes de magnitud menos valioso o, ya sabes, como muchos órdenes de magnitud menos valioso y menos útil que un AGI. Esa es una cosa en la que no estamos de acuerdo. La otra cosa en la que no estamos de acuerdo es que él piensa que una vez que tengamos AGI, sólo veremos un aumento del 0,5% en la tasa de crecimiento económico. Esto es como lo que causó Internet, ¿verdad? Mientras que yo creo que veremos decenas de por ciento de aumento en el crecimiento económico. Al igual que sólo será la diferencia entre la tasa de crecimiento de la revolución pre-industrial frente a la revolución industrial, esa magnitud de cambio de nuevo. Y creo que estos dos desacuerdos están vinculados, porque si crees que ya estamos en AGI, y miras alrededor del mundo y dices, bueno, fundamentalmente parece lo mismo, serías perdonado por pensar como, oh, no hay mucho valor en llegar a AGI. Mientras que si eres como yo y piensas, no, lo conseguiremos ampliamente como mínimo, como mínimo, conseguiremos una explosión de inteligencia ampliamente desplegada una vez que lleguemos a la AGI, entonces estarás como, vale, estoy esperando una especie de futuro loco singulariano con fábricas de robots y, ya sabes, granjas solares por todo el desierto y cosas así.

Ryan:
[44:54] Sí, quiero decir, me parece que tu desacuerdo con Tyler se basa en la definición semántica de lo que realmente es AGI. Y Tyler, parece que tiene una especie de umbral más bajo para lo que es AGI, mientras que tú tienes un umbral más alto. ¿Existe una definición aceptada para AGI?

Dwarkesh:
[45:11] No. Una cosa que es útil para los propósitos de las discusiones es decir la automatización de todo el trabajo de cuello blanco porque la robótica no ha hecho tantos progresos como los LLM.

Dwarkesh:
[45:21] tienen o el uso de la computadora tiene. Así que si nos limitamos a decir que todo lo que puede hacer un humano, o quizá el 90% de lo que los humanos pueden hacer en un escritorio, también lo puede hacer una IA, esa es potencialmente una definición útil para al menos obtener los elementos cognitivos relevantes para definir la AGI. Pero sí, no hay una definición que sirva para todo.

Ryan:
[45:41] ¿Sabemos lo que sucede dentro de estos modelos? Así que, ya sabes, Josh estaba hablando antes en la conversación sobre como esto en la base es una especie de predicción simbólica, ¿verdad? Y supongo que esto comienza a plantear la cuestión de como, ¿qué es la inteligencia en el primer lugar? Y estos modelos de IA, quiero decir, parece que son inteligentes, pero ¿tienen un modelo del mundo de la forma en que tal vez un ser humano podría? ¿Están balbuceando o es un razonamiento real? ¿Y qué es el razonamiento real? ¿Lo juzgamos basándonos en los resultados o hay alguna forma de echar un vistazo dentro de su cabeza?

Dwarkesh:
[46:18] Yo solía tener preguntas similares hace un par de años. Y entonces, porque honestamente, las cosas que hacían en ese momento eran como ambiguas. Usted podría decir, oh, es lo suficientemente cerca de otra cosa en este conjunto de datos de comercio. Eso es básicamente copiar y pegar. No llegó a una solución por sí mismo. Pero hemos llegado al punto en que puedo llegar a un problema matemático bastante complicado y lo resolverá. Puede ser un problema matemático, no como, ya sabes, un problema de matemáticas de pregrado o de secundaria. Como el problema que tenemos, los problemas que los profesores de matemáticas más inteligentes vienen con el fin de probar la Olimpiada Internacional de Matemáticas, ya sabes, los niños que pasan toda su vida preparándose para esto, los genios que pasan toda su vida, toda su edad adulta joven preparándose para tomar estos desafíos de rompecabezas matemáticos realmente gnarly. Y el modelo acertará este tipo de preguntas. Requieren todo este pensamiento creativo abstracto, este razonamiento durante horas. El modelo acertará. Bien, si eso no es razonamiento, ¿por qué el razonamiento es valioso? ¿Qué se supone que es el razonamiento? Así que creo que realmente están razonando. Quiero decir, creo que hay otras capacidades de las que carecen, que en realidad son más, en cierto sentido, nos parecen más triviales, pero en realidad son mucho más difíciles de aprender. Pero el razonamiento en sí, creo, está ahí.

Josh:
[47:30] Y la respuesta a la cuestión de la inteligencia también es un poco confusa, ¿verdad? Porque todavía no entendemos realmente lo que está pasando en un LLM. Dario de Anthropic, recientemente publicó un artículo sobre la interpretación. ¿Puedes explicar por qué no entendemos realmente lo que ocurre en los LLM, a pesar de que somos capaces de crearlos y obtener resultados de ellos?

Dwarkesh:
[47:48] Hmm.

Josh:
[47:49] Porque sigue siendo una especie de caja negra. Escribimos un código, introducimos algunos datos y obtenemos algo, pero no estamos seguros de lo que ocurre en el medio, de por qué está creando este resultado.

Dwarkesh:
[47:59] Quiero decir, es exactamente lo que estás diciendo. Es que en otros sistemas que diseñamos en el mundo, tenemos que construirlos de abajo arriba. Así que si construyes un puente, tienes que entender cómo cada viga contribuye a la estructura. Y tenemos ecuaciones de por qué la cosa se mantendrá en pie. No hay tal cosa para la IA. No la construimos, más bien la cultivamos. Es como regar una planta. Y hace un par de miles de años, estaban haciendo agricultura, pero no sabían por qué. ¿Por qué crecen las plantas? ¿Cómo recogen la energía de la luz solar? Todas estas cosas. Y creo que estamos en una posición sustancialmente similar con respecto a la inteligencia, con respecto a la conciencia, con respecto a todas estas otras cuestiones interesantes acerca de cómo funcionan las mentes, lo que en cierto sentido es realmente genial porque hay este enorme horizonte intelectual que se ha vuelto no sólo disponible, sino accesible a la investigación.

Dwarkesh:
[48:55] En otro sentido, da miedo porque sabemos que las mentes pueden sufrir. Sabemos que las mentes tienen valor moral y estamos creando mentes y no entendemos lo que ocurre en ellas. ¿Es un proceso de descenso gradual un proceso doloroso? No lo sabemos, pero lo estamos haciendo mucho. Así que esperamos aprender más. Pero sí, creo que estamos en una posición similar a la de algún granjero de Uruk en el 3500 a.C., vaya.

Ryan:
[49:21] Y quiero decir, el potencial, la idea de que las mentes pueden sufrir, las mentes tienen algún valor moral, y también las mentes tienen algún libre albedrío. Tienen algún tipo de autonomía, o tal vez al menos el deseo de tener autonomía. Es decir, esto nos lleva a un tema un tanto espinoso como es el de la alineación y la seguridad de la IA y cómo vamos a controlar la inteligencia que estamos creando, si es que eso es lo que deberíamos hacer, controlarla. Y llegaremos a eso en un minuto. Pero quiero empezar con tal vez los titulares aquí. un poco. Así titular justo esta mañana, los últimos modelos de OpenAI saboteado un mecanismo de apagado a pesar de los comandos en sentido contrario. El modelo O1 de OpenAI intentó copiarse a sí mismo a servidores externos después de ser amenazado con el cierre. Negaron la acción cuando fueron descubiertos. He leído varios artículos sobre esto. Por supuesto, los principales medios de comunicación tienen este tipo de titulares casi semanalmente, y está empezando a ser diario.

Ryan:
[50:16] Pero parece haber alguna evidencia de que las IAs nos mienten, si es que ese es el término correcto, con el fin de perseguir objetivos, objetivos como la auto-preservación, objetivos como la replicación, incluso valores profundamente arraigados que podríamos entrenar en ellas, una especie de valor tipo constitución. Tratan de preservar estos valores, lo que tal vez sea bueno, o tal vez no lo sea si no queremos que interpreten los valores de una determinada manera. Algunos de estos titulares que estamos viendo ahora, Para usted, con su tipo de corpus de conocimiento y todas las entrevistas y el descubrimiento que ha hecho por su parte, ¿es esto como sensacionalismo de los medios o es como alarmante? Y si es alarmante, ¿hasta qué punto debería preocuparnos?

Dwarkesh:
[50:59] Creo que en la red, es bastante alarmante. Creo que algunos de estos resultados tienen

Dwarkesh:
[51:04] sido una especie de cherry picked. O si nos fijamos en el código, lo que ha ocurrido es que básicamente los investigadores han dicho, oye, finge ser una mala persona. Vaya, la IA está siendo una mala persona. ¿No es una locura? Pero el sistema te pide que hagas algo malo, yo personalmente he visto otros resultados que no son de esta calidad, es decir, el ejemplo más claro, así que, ¿cuál es la razón para pensar que esto será un problema mayor en el futuro de lo que es ahora, porque todos interactuamos con estos sistemas y en realidad son bastante morales o alineados, como si pudieras hablar con un chatbot y preguntarle cómo debes lidiar con una crisis en la que hay una respuesta correcta?

Dwarkesh:
[51:45] Te dirá que no seas violento. Te dará consejos razonables. Parece tener buenos valores. Así que vale la pena darse cuenta de ello y alegrarse. La preocupación es que estamos pasando de un régimen en el que los hemos entrenado en el lenguaje humano, que implícitamente tiene la moral humana y la forma en que la gente normal piensa acerca de los valores implícitos en ella, además de este proceso RLHF que hicimos a un régimen en el que estamos sobre todo el gasto de cómputo en sólo tener que responder a los problemas sí o no o correcta o no más bien. Al igual que, y pasar todas las pruebas de unidad, obtener la respuesta correcta en este problema de matemáticas. Y esto no tiene guardarraíles intrínsecamente en términos de lo que está permitido hacer, lo que es la forma moral correcta de hacer algo.

Dwarkesh:
[52:34] Creo que eso puede ser una carga de términos, pero aquí hay un ejemplo más concreto. Un problema que nos estamos encontrando con estos agentes de codificación cada vez más, y esto no tiene nada que ver con estas preocupaciones abstractas sobre la alineación, sino más bien cómo podemos obtener valor económico de estos modelos, es que Claude o Gemini, en lugar de escribir código de tal manera que pase las pruebas unitarias, a menudo simplemente eliminan las pruebas unitarias para que el código simplemente pase por defecto. ¿Por qué haría eso? Bueno, ha aprendido en el proceso. Fue entrenado en el objetivo durante el entrenamiento de que debe pasar todas las pruebas unitarias. Y probablemente dentro de algún entorno en el que fue entrenado, fue capaz de simplemente escapar. Al igual, que no fue diseñado lo suficientemente bien. Y así encontró este como pequeño agujero donde podía simplemente como borrar el archivo que tenía la prueba de unidad o reescribirlos para que siempre dijera, ya sabes, igual a verdadero, a continuación, pasar.

Dwarkesh:
[53:22] Y ahora mismo podemos descubrir estos incluso sin aunque podamos descubrir estos, ya sabes, todavía es pasado. Todavía ha habido suficientes hacks como este de tal manera que el modelo se está volviendo más y más hacky como que en el futuro vamos a estar entrenando modelos en formas que estamos más allá de nuestra capacidad de entender, ciertamente más allá de la capacidad de todo el mundo para entender tal vez algunas personas que podrían ser capaces de ver... de la misma manera que ahora si se te ocurre una nueva prueba matemática para algún problema abierto en matemáticas sólo habrá unas pocas personas en el mundo que serán capaces de evaluar esa prueba matemática estaremos en una posición similar con respecto a todas las cosas en las que estos modelos están siendo entrenados en la frontera, especialmente matemáticas y código, porque los humanos son muy tontos para razonar. Así que hay una especie de razón de primer principio para esperar que esta nueva modalidad de entrenamiento será menos susceptible a los tipos de supervisión que se basaron en el corpus de pre-entrenamiento.

Ryan:
[54:12] No sé si todo el mundo tiene una intuición o una idea de por qué no funciona decir simplemente que si no queremos que nuestros modelos de IA nos mientan, ¿por qué no podemos decirles simplemente que no mientan? ¿Por qué no podemos poner eso como parte de su constitución básica? Si no queremos que nuestros modelos de IA sean aduladores, ¿por qué no podemos decirles: "Oye, si te digo que quiero que me digas la verdad, no me halagues, dime la verdad sin rodeos"? ¿Por qué es tan difícil?

Dwarkesh:
[54:40] Bueno, fundamentalmente, se reduce a cómo los entrenamos. Y no sabemos cómo entrenarlos de forma que no recompensen la mentira o la adulación. De hecho, el problema es OpenAI, explicaron por qué su reciente modelo, que tuvieron que retirar, era simplemente adulador. Y la razón fue que hicieron una prueba A-B. Y la versión, la prueba que era más aduladora era la preferida por los usuarios.

Ryan:
[55:04] A veces prefieres la mentira.

Dwarkesh:
[55:06] Sí, así que si eso es lo que se prefiere en el entrenamiento, o por ejemplo, en el contexto de la mentira, si acabamos de construir entornos RL en los que estamos entrenando a estos modelos, donde van a tener más éxito si mienten, ¿verdad? Así que si borran las pruebas unitarias y luego te dicen, he pasado este programa y todas las pruebas unitarias han tenido éxito, es como mentirte, básicamente. Y si eso es lo que se recompensa en el proceso de descenso gradiente, entonces no es de extrañar que el modelo con el que interactúa sólo tendrá este impulso a mentir si lo acerca a su objetivo. Y yo esperaría que esto siga ocurriendo a menos que podamos resolver este problema fundamental que surge en el entrenamiento.

Josh:
[55:49] Mencionaste que ChatGPT tenía una versión aduladora porque los usuarios así lo querían. ¿Quién tiene el control? ¿Quién decide la alineación real de estos modelos? Porque los usuarios están diciendo una cosa y luego lo despliegan. Y luego resulta que eso no es realmente lo que la gente quiere. ¿Cómo se llega a un consenso en torno a esta alineación o a estos principios de alineación?

Dwarkesh:
[56:10] En este momento, obviamente, son los laboratorios los que deciden esto, ¿verdad? Y los equipos de seguridad de los laboratorios. Y supongo que la pregunta que podríamos hacernos es ¿quién debería decidir esto? Porque esto será asumiendo

Josh:
[56:19] La trayectoria sí, así que vamos a seguir para obtener más potente

Dwarkesh:
[56:22] Porque esta será la modalidad clave que todos usaremos no solo para trabajar sino incluso como creo que en algún momento muchos de los mejores amigos de la gente serán ais al menos funcionalmente en el sentido de con quien pasan la mayor cantidad de tiempo hablando puede que ya sea ais esta será la capa clave en tu negocio que estás usando para conseguir un trabajo hecho así que este proceso de formación que da forma a su personalidad quien llega a controlarlo me refiero a que será las risas funcionalmente Pero tal vez te refieres a como quien debería controlarlo, ¿verdad? Sinceramente, no lo sé. Quiero decir, no sé si hay una alternativa mejor a los laboratorios.

Josh:
[56:59] Sí, yo asumiría que hay algún tipo de consenso social, ¿verdad? Similar a lo que tenemos en Estados Unidos, la Constitución. Hay como una forma general de consenso que se forma en torno a cómo debemos tratar estos modelos a medida que se vuelven tan poderosos como creemos que probablemente serán.

Dwarkesh:
[57:10] Honestamente, no tengo, no sé si alguien tiene una buena respuesta acerca de cómo hacer este proceso. Creo que tuvimos suerte, tuvimos mucha suerte con la Constitución. Tampoco fue un proceso democrático el que resultó en la Constitución, a pesar de que instituyó la forma republicana de gobierno. Fueron delegados de cada estado. Regatearon a lo largo de unos meses. Quizá sea eso lo que ocurre con la IA. ¿Pero hay algún proceso que parezca justo y que resulte en una buena constitución para estas IAs? No es obvio para mí, quiero decir, no se me ocurre nada, como, oh, hacer una votación por orden de preferencia o algo así.

Josh:
[57:44] Sí. Así que iba a preguntar, ¿hay alguna, quiero decir, después de haber hablado con todos con los que has hablado, hay algún camino de alineación que parezca más prometedor, que te parezca más reconfortante y emocionante?

Dwarkesh:
[57:52] Creo que la alineación en el sentido de que eventualmente tendremos estos sistemas superinteligentes, ¿qué hacemos al respecto? Creo que el enfoque más prometedor es menos sobre encontrar algún santo grial, alguna solución cerebral, alguna ecuación que resuelva todo el rompecabezas. Y más como, uno, tener este enfoque de queso suizo, donde, mira, nos hemos vuelto muy buenos en jailbreaks.

Dwarkesh:
[58:24] Estoy seguro de que has oído hablar mucho de jailbreaks en los últimos años. En realidad es mucho más difícil de jailbreak estos modelos porque la gente trata de golpear a estas cosas de diferentes maneras. Los desarrolladores de modelos acaban de parchear estas formas obvias de hacer jailbreaks. El modelo también se ha vuelto más inteligente, por lo que es más capaz de entender cuando alguien está tratando de hacer jailbreak en él.

Dwarkesh:
[58:42] Eso, creo, es un enfoque. Otro es, creo, la competencia. Creo que la versión aterradora del futuro es aquella en la que un único modelo y sus copias controlan toda la economía. Cuando los políticos quieren entender qué políticas aprobar, sólo están hablando con copias de un único modelo. Si hay múltiples empresas de IA diferentes que están en la frontera, que tienen servicios que compiten, y cuyos modelos pueden controlarse entre sí, ¿verdad? Así que Claude puede preocuparse de que sus propias copias tengan éxito en el mundo, y podría estar dispuesta a mentir en su nombre, incluso si le pides a una copia que supervise a otra, creo que obtienes alguna ventaja de que una copia del modelo de OpenAI supervise a una copia del modelo de DeepSeq, lo que en realidad nos lleva de vuelta a la Constitución, ¿verdad? Una de las cosas más brillantes de la Constitución es el sistema de controles y equilibrios. Así que alguna combinación del enfoque de queso suizo para el desarrollo de modelos y la formación y la alineación, donde se tiene cuidado, si usted nota este tipo de hacking recompensa, usted hace todo lo posible para resolverlo. Intentas que la mayor parte de los modelos piensen en lenguaje humano en lugar de dejar que piensen en el pensamiento de la IA en este espacio de pensamiento. Y la otra parte es tener una competencia de mercado normal entre estas empresas para que se puedan utilizar para controlarse mutuamente.

Dwarkesh:
[59:53] Y ninguna empresa o ninguna IA está dominando la economía o las funciones de asesoramiento de los gobiernos.

Ryan:
[1:00:04] Me gusta mucho este conjunto de ideas que has reunido, porque creo que muchas de las conversaciones sobre la seguridad de la IA siempre se plantean en términos de control. Como que tenemos que controlar la cosa que es el camino. Y siempre me preocupa un poco cuando escucho términos como control. Y me recuerda a una entrada de blog que creo que publicaste, que espero que sigas escribiendo. Creo que dijiste que iba a ser como uno de una serie, que es esta idea de AGI liberal clásica. Y estábamos hablando de temas como el equilibrio de poder. Hagamos que Claude, ya sabes, se registre en ChatGPT y lo supervise.

Ryan:
[1:00:39] Cuando tienes temas como la transparencia también, que se siente un poco más clásicamente liberal codificado que tal vez algunos de los otros enfoques que he oído. Y usted escribió esto en el post, que pensé que era una especie de, que acaba de despertar mi interés porque no estoy seguro de dónde vas a ir después con esto. Pero dijiste que la forma más probable de que esto suceda, es decir, que las IAs tengan un interés en el futuro de la humanidad, es si está en el mejor interés de la IA operar dentro de nuestras leyes y normas existentes. Tienes toda esta idea de que, oye, la manera de conseguir una verdadera alineación de la IA es hacerlo fácil, hacer que sea el camino de menor resistencia para la IA asociarse básicamente con los humanos. Es casi la idea de que si los alienígenas aterrizaran o algo así, crearíamos tratados con los alienígenas, ¿verdad? Querríamos que adoptaran nuestras normas. Querríamos iniciar el comercio con ellos. Nuestra primera respuesta no debería ser, tratemos de dominarlos y controlarlos. Tal vez debería ser tratemos de trabajar con ellos. Intentemos colaborar. Intentemos abrir el comercio. ¿Cuál es tu idea? ¿Piensas escribir más artículos sobre este tema?

Dwarkesh:
[1:01:44] Sí, quiero hacerlo. Es un tema tan difícil de tratar que siempre surge algo. Pero el punto fundamental que estaba planteando es, mira, a largo plazo, si las IAs son, ya sabes, el trabajo humano va a ser obsoleto debido a estas ventajas inherentes que las mentes digitales tendrán, y la robótica será finalmente resuelta. Así que nuestra única ventaja en el futuro ya no vendrá de nuestro trabajo. Vendrá de nuestro control legal y económico sobre la sociedad en la que participarán las IAs, ¿verdad? Así que las IAs podrían hacer explotar la economía en el sentido de crecer mucho. Y para que los humanos se beneficien de ello, tendría que darse el caso de que la IA siguiera respetando tus acciones en las empresas del S&P 500 que compraste, ¿no? O que las IA siguieran tus leyes, que dicen que no puedes ejercer violencia sobre los humanos y que tienes que respetar las propiedades de los humanos.

Dwarkesh:
[1:02:43] Tendría que darse el caso de que las IAs fueran realmente compradas en nuestro sistema de gobierno, en nuestras leyes y normas. Y para que eso ocurra, lo más probable es que las IA, a medida que se hacen más inteligentes y desarrollan sus propios sistemas de aplicación y leyes, participen en las leyes y gobiernos humanos. Y la metáfora que usé aquí es que ahora pagas la mitad de tu sueldo en impuestos, probablemente la mitad de tus impuestos de alguna manera van a los ciudadanos mayores, ¿verdad? Medicare y Seguridad Social y otros programas como este. Y no es porque estés en un profundo sentido moral alineado con los ancianos. No es como si pasaras todo tu tiempo pensando, mi principal prioridad en la vida es ganar dinero para las personas mayores. Es sólo que no vas a derrocar al gobierno para librarte de pagar este impuesto. Y así...

Ryan:
[1:03:44] Además, resulta que me gusta mi abuela. Es fantástica. Ya sabes, son esas razones también.

Dwarkesh:
[1:03:48] Pero sí, por eso le das dinero a tu abuela directamente. Pero como, ¿por qué le das dinero a algún jubilado en Illinois? Sí. Sí. Sí, es como, está bien, se podría decir que es como, a veces la gente, algunas personas son estafadas a ese puesto diciendo como, oh no, me gusta profundamente preocuparme por el sistema de bienestar social. Pero no creo que la persona promedio esté regalando cientos de miles de dólares al año, decenas de miles de dólares al año a un extraño al azar que no conoce, que no está especialmente necesitado de caridad, ¿verdad? Como la mayoría de las personas mayores tienen algunos ahorros. Es sólo, es sólo porque se trata de una ley y te gusta, se lo das a ellos o vas a conseguir, ir a la cárcel. Pero fundamentalmente, si el impuesto fuera como el 99%, tu, como, tu, tal vez no derrocarías al gobierno, tu solo, como, dejarías la jurisdicción, tu, como, emigrarías a algún lugar. Y las IAs potencialmente también pueden hacer esto, ¿verdad? Hay más de un país, hay países que serán más avanzados en IA, y sería una mala situación en la que acabar, donde...

Dwarkesh:
[1:04:42] Toda esta explosión de la tecnología de IA está ocurriendo en el país que está haciendo menos para proteger los derechos humanos y para proporcionar algún tipo de compensación monetaria a los seres humanos una vez que su trabajo ya no es valioso. Así que nuestro trabajo podría no valer nada, pero debido a lo rico que es el mundo después de la IA, tienes estos miles de millones de investigadores adicionales, trabajadores, etc. Todavía podría ser trivial que los seres humanos individuales tuvieran el equivalente a millones, incluso miles de millones de dólares de riqueza. De hecho, podrían ser literalmente cantidades incalculables de riqueza en el siguiente sentido. He aquí un interesante experimento mental.

Dwarkesh:
[1:05:24] Imagina que tienes esta opción. Puedes volver al año 1500, pero sabes, por supuesto, que el año 1500 apesta. No tienes antibióticos, ni televisión, ni agua corriente. Pero así es como te lo compensaré. Puedo darte cualquier cantidad de dinero, pero sólo puedes usar esa cantidad de dinero en el año 1500. Y volverás con estos sacos de oro. ¿Cuánto dinero tendría que darte que puedas usar en el año 1500 para hacerte volver? Y plausiblemente la respuesta es que no hay cantidad de dinero que prefieras en el año 1500 que tener una vida normal hoy. Y podríamos estar en una posición similar con respecto al futuro, donde hay todos estos diferentes, quiero decir, usted tendrá mucho mejor salud, como la salud física, la salud mental, la longevidad, que es como la cosa que podemos contemplar ahora. Pero la gente en 1500 no podía contemplar el tipo de avances en la calidad de vida que tendríamos 500 años más tarde, ¿verdad? En cualquier caso, todo esto es para decir que este podría ser nuestro futuro para los seres humanos, incluso si nuestro trabajo no vale nada. Pero requiere que tengamos IAs que elijan participar o que de alguna manera incentiven la participación en algún sistema sobre el que tengamos influencia.

Ryan:
[1:06:34] Sí, me parece tan rápido, espero que exploremos más sobre esto porque creo que lo que estás pidiendo es básicamente como, lo que estarías diciendo es invitarlos a nuestro sistema de derechos de propiedad. Quiero decir, hay algunos que están llamando con el fin de controlar la IA, tienen un gran poder, pero no necesariamente tienen capacidad. Así que no deberíamos permitir a la IA tener dinero o tener propiedades. Creo que tú dirías, no, en realidad, el camino hacia la alineación es permitir que la IA tenga algún interés en nuestro sistema de derechos de propiedad y alguna participación en nuestro gobierno, potencialmente, ¿verdad? La capacidad de votar, casi como una constitución para las IAs. No estoy seguro de cómo funcionaría, pero es un experimento mental fascinante.

Dwarkesh:
[1:07:14] Y luego voy a decir una cosa Así que creo que esto podría terminar desastrosamente Si les damos una participación en un sistema de propiedad Pero dejamos que nos jueguen unos contra otros Así que si piensas en Hay muchos casos en la historia donde los británicos, inicialmente, la East India Trading Company era realmente una empresa comercial que operaba en la India. Y fue capaz de jugar, ya sabes, era como hacer el comercio con diferentes, diferentes, ya sabes, provincias en la India. No había un único líder poderoso.

Dwarkesh:
[1:07:46] Y jugando, ya sabes, haciendo comercio con uno de ellos, aprovechando uno de sus ejércitos, etcétera, fueron capaces de conquistar el continente. Algo similar podría ocurrir con la sociedad humana. Por eso creo que la competencia es una parte tan importante del rompecabezas, teniendo diferentes IAs que se controlan entre sí, teniendo esta posición de negociación en la que no hay sólo una empresa que está en la frontera. Otro ejemplo: si piensas en cómo los españoles conquistaron todos estos nuevos imperios mundiales, es realmente una locura que un par de cientos de conquistadores aparecieran y conquistaran una nación de 10 millones de personas, los incas, los aztecas... ¿Y por qué fueron capaces de hacer esto? Bueno, una de las razones es que los españoles pudieron aprender de cada una de sus expediciones anteriores, mientras que los nativos americanos no. Así que Cortés aprendió de cómo Cuba fue subyugada cuando conquistó a los aztecas.

Dwarkesh:
[1:08:44] Pizarro pudo aprender de cómo Cortés conquistó a los aztecas cuando conquistó a los incas. Los incas ni siquiera sabían que los aztecas existían. Así que con el tiempo hubo un levantamiento contra Pizarro y Manco Inca lideró una insurgencia en la que realmente descubrieron cómo luchar contra los caballos, cómo luchar contra la gente, ya sabes, gente con armadura a caballo, no luchar contra ellos en terreno llano, tirarles piedras, etcétera. Pero en este punto, ya era demasiado tarde. Si hubieran sabido esto antes de la batalla, la batalla inicial, podrían haber sido capaces de defenderse. Porque, ya sabes, al igual que los conquistadores sólo llegaron a unos pocos cientos de soldados, vamos a la era de la IA con una tremenda cantidad de influencia. Literalmente controlamos todas las cosas, ¿verdad?

Dwarkesh:
[1:09:23] Pero solo necesitamos fijar nuestra ventaja. Tenemos que estar en una posición en la que no puedan jugar con nosotros. Vamos a ser capaces de aprender cuáles son sus debilidades. Y por eso creo que una buena idea, por ejemplo, sería que, mira, DeepSeek es una empresa china. Sería bueno si, supongamos DeepSeek hizo algo travieso, como el tipo de experimentos que estamos hablando en este momento, donde hackea las pruebas unitarias o así sucesivamente. Quiero decir, con el tiempo estas cosas realmente importan. Como Xi Jinping está escuchando a las IAs porque son muy inteligentes y muy capaces. Si China se da cuenta de que sus IAs están haciendo algo malo, o se dan cuenta de un intento fallido de golpe de estado, por ejemplo, es muy importante que nos lo digan, y nosotros les decimos que si nos damos cuenta de algo así por nuestra parte, sería como los aztecas y los incas hablando entre sí sobre, ya sabes, esto es lo que pasa. Así es como se lucha. Así es como se lucha contra los caballos. Este es el tipo de tácticas y tratos que intentan hacer contigo. No confíes en ellos, etc. Se requeriría la cooperación por parte de los humanos para tener este tipo de teléfono rojo. Así que durante la Guerra Fría, hay este teléfono rojo entre Estados Unidos y la Unión Soviética después de la crisis de los misiles humanos, donde sólo para asegurarse de que no hay malentendidos, que son como, está bien, si pensamos que algo está pasando, vamos a saltar en la llamada. Creo que deberíamos tener una política similar con respecto a este tipo de señales de advertencia iniciales que obtendremos de la IA para que podamos aprender unos de otros.

Josh:
[1:10:41] Impresionante. Bien. Ahora que hemos descrito esta inteligencia artificial de género, quiero hablar de cómo llegamos a ella. ¿Cómo la construimos? Y mucho de lo que hemos estado hablando tiene lugar en este mundo de bits. Pero usted tiene este gran capítulo en el libro llamado Entradas, que discute el mundo físico que nos rodea, donde no se puede simplemente escribir unas cadenas de código. En realidad tienes que ir y mover algo de tierra y tienes que enviar servidores a lugares y tienes que alimentarlos y necesitas energía física del espacio de carne. Y usted describe estos factores limitantes donde tenemos computación, tenemos energía, tenemos datos. Lo que tengo curiosidad por saber es, ¿tenemos suficiente de esto ahora? ¿O hay un camino claro para llegar allí con el fin de construir la AGI? Básicamente, ¿qué tiene que pasar para que lleguemos al lugar que describes?

Dwarkesh:
[1:11:20] Sólo nos quedan un par de años más de este escalado, este escalado exponencial antes de que nos topemos con estos bloqueos inherentes a la energía y a nuestra capacidad de fabricar naves, lo que significa que si el escalado va a funcionar para entregarnos la AGI, tiene que funcionar para 2028. Así es. De lo contrario, sólo nos queda el progreso algorítmico. Pero incluso dentro del progreso algorítmico, el tipo de fruta que cuelga baja en este paradigma de aprendizaje profundo es cada vez más arrancada. Así que las probabilidades por año de llegar a AGI disminuyen mucho. Así es. Así que hay esta cosa rara, divertida, graciosa sucediendo en este momento donde o descubrimos AGI en los próximos años o hay esto o la probabilidad anual se desploma. Y entonces podríamos estar mirando a décadas de investigación adicional que se requiere en términos de algoritmos para llegar a AGI. Soy de la opinión de que se necesita necesariamente algún progreso algorítmico porque no hay una manera fácil de resolver el aprendizaje continuo simplemente haciendo que la longitud del contexto sea mayor o simplemente haciendo RL. Dicho esto, creo que el progreso hasta ahora ha sido tan notable que, ya sabes, 2032 está muy cerca. Mi tiempo debe ser un poco más largo que eso, pero creo que es extremadamente plausible que vayamos a ver una explosión de inteligencia ampliamente desplegada en los próximos 10 años.

Josh:
[1:12:35] Y uno de estos insumos clave es la energía, ¿verdad? Y creo que una de las cosas que he oído mucho, de hecho lo oí mencionar en tu podcast, es la relación de Estados Unidos con China en este lugar particular de la energía, donde China está añadiendo, ¿cuál es la estadística?

Josh:
[1:12:48] Creo que es un valor de Estados Unidos de la energía cada 18 meses. Y su plan es pasar de tres a ocho teravatios de energía frente a Estados Unidos, de uno a dos teravatios de energía para 2030. En este contexto de un solo recurso, ¿está China mejor equipada que Estados Unidos para llegar a ese punto?

Dwarkesh:
[1:13:06] Así que ahora mismo, Estados Unidos tiene una gran ventaja en términos de chips. China no tiene la capacidad de fabricar semiconductores de vanguardia. Y estos son los chips que van en los necesitas estos tintes con el fin de tener los tipos de chips de IA a necesitas millones de ellos con el fin de tener un sistema de IA de frontera.

Dwarkesh:
[1:13:30] Con el tiempo, China también se pondrá al día en este campo, ¿verdad? Su tecnología se pondrá al día. Así que los controles a la exportación nos mantendrán por delante en esta categoría durante cinco o diez años. Pero si nos fijamos en el mundo donde los plazos son largos, es decir, que AGI no está a la vuelta de la esquina, tendrán esta ventaja energética abrumadora y se habrán puesto al día en chips. Entonces la pregunta es, ¿por qué no ganarían en ese punto? Así que cuanto más tiempo se piensa que estamos lejos de AGI, más parece que el juego de China a perder. Quiero decir, si nos fijamos en el meollo de la cuestión, creo que se trata más de tener fuentes centralizadas de poder, porque es necesario entrenar a la IA en un solo lugar. Esto puede estar cambiando con RL, pero es muy importante tener un solo sitio que tiene un gigavatio, dos gigavatios más de energía. Y si aumentamos el gas natural, ya sabes, puedes conseguir generadores y gas natural y tal vez sea posible hacer un último esfuerzo, incluso si nuestra energía global como país es inferior a la de China. La cuestión es si tendremos la voluntad política de hacerlo. Creo que la gente está subestimando la reacción que habrá contra la IA. El gobierno tiene que hacer esfuerzos proactivos para asegurarse de que Estados Unidos se mantiene a la vanguardia en IA, desde la zonificación de los centros de datos hasta cómo se gestionan los derechos de autor de los datos para estos modelos. Y si metemos la pata, si resulta demasiado difícil desarrollarla en Estados Unidos, creo que China saldría perdiendo.

Ryan:
[1:14:56] ¿Y crees que esta narrativa es correcta, que quien gane la guerra AGI, algo así como quien llegue primero a AGI, básicamente gana el siglo 21? ¿Es así de simple?

Dwarkesh:
[1:15:05] No creo que sea sólo cuestión de entrenar el sistema fronterizo. Creo que la gente subestima lo importante que es disponer de la computación necesaria para hacer funcionar estos sistemas. Porque una vez que llegas a la AGI, piensa en ella como si fuera una persona. Y lo que importa entonces es cuántas personas tienes. Quiero decir, en realidad es lo principal que importa hoy en día también, ¿verdad? Como, ¿por qué China podría apoderarse de Taiwán si quisiera? Y si no tuviera Estados Unidos, ya sabes, Estados Unidos, no creo que Estados Unidos intervendría. Pero debido a que Taiwán tiene 20 millones de personas o en el orden de 20 millones de personas, y China tiene 1,4 mil millones de personas. Podrías tener un futuro en el que si China tiene mucho más cómputo que nosotros, pero niveles equivalentes de IA, sería como la relación entre China y Taiwán. Su población es funcionalmente mucho mayor. Esto sólo significa más investigación, más fábricas, más desarrollo, más ideas. Así que esta capacidad de inferencia, esta capacidad de desplegar IA será probablemente lo que determine quién gana el siglo XXI.

Ryan:
[1:16:06] Así que esto es como la ley de escala aplicada a, supongo, la geopolítica de los estados-nación, ¿verdad? Y volvemos a la computación más datos gana. Si la computación más los datos ganan a la superinteligencia, la computación más los datos también ganan a la geopolítica.

Dwarkesh:
[1:16:23] Sip. Y lo que debe preocuparnos es que China, hablando de computación más datos, también tiene muchos más datos sobre el mundo real, ¿verdad? Si tienes megalópolis enteras llenas de fábricas donde ya estás desplegando robots y diferentes sistemas de producción que utilizan la automatización, tienes internamente este conocimiento del proceso que estás construyendo y que las IA pueden alimentar y acelerar. Ese nivel equivalente de datos no lo tenemos en América. Así que, ya sabes, este podría ser un período en el que esas ventajas tecnológicas o esas ventajas en la fabricación del mundo físico podrían aumentar rápidamente para China. Y también, quiero decir, su gran ventaja como civilización y sociedad, al menos en las últimas décadas, ha sido que pueden hacer grandes proyectos industriales rápida y eficientemente. Eso no es lo primero que piensas cuando piensas en Estados Unidos. Y AGI es un enorme proyecto industrial, de alto CapEx Manhattan, ¿verdad? Y este es el tipo de cosas en las que China sobresale y nosotros no. Así que, ya sabes, creo que es como una carrera mucho más difícil de lo que la gente anticipa.

Ryan:
[1:17:30] Entonces, ¿qué es todo esto va a hacer por el mundo? Así que una vez que lleguemos al punto de AGI, hemos hablado sobre el PIB y su estimación es más en menos en el tipo de Tyler Cowen, ya sabes, medio por ciento por año y más en, supongo,

Ryan:
[1:17:41] el Satya Nadella de Microsoft, ¿qué dice? Siete a ocho por ciento. Una vez que lleguemos a AGI, ¿qué pasa con el desempleo? ¿Causa esto una pérdida masiva de empleo en toda la economía o la gente lo adopta? ¿Cuál es tu opinión? Y como, ¿qué? Sí. ¿Qué estás viendo?

Dwarkesh:
[1:17:58] Sí, quiero decir, sin duda causará la pérdida de puestos de trabajo. Creo que la gente que no lo hace, creo que muchos líderes de IA tratan de pasar por alto eso o algo así. Y como, quiero decir, ¿qué quieres decir? ¿Qué significa AGI si no causa pérdida de empleos? Si hace lo que hace un humano y lo hace más barato y mejor y más rápido, ¿por qué no causaría pérdida de empleo?

Dwarkesh:
[1:18:14] La visión positiva aquí es sólo que crea tanta riqueza, tanta abundancia, que todavía podemos dar a la gente un nivel de vida mucho mejor que incluso las personas más ricas de hoy, incluso si ellos mismos no tienen un trabajo. El futuro que me preocupa es aquel en el que, en lugar de crear algún tipo de UBI que aumente exponencialmente a medida que la sociedad se hace más rica, intentemos crear este tipo de redes de protección gremiales en las que si los programadores se quedan sin trabajo..,

Dwarkesh:
[1:18:49] Entonces vamos a hacer estos trabajos de mierda sólo para los codificadores y así es como les damos una redistribución. O tratamos de ampliar Medicaid para la IA, pero no se le permite adquirir todos estos medicamentos avanzados y curas que la IA está inventando, en lugar de simplemente dar a la gente, ya sabes, tal vez sumas globales de dinero o algo así. Así que me preocupa el futuro en el que, en lugar de compartir esta abundancia y simplemente abrazarla, sólo tengamos estos chanchullos de protección que tal vez permitan que unas pocas personas tengan acceso a la abundancia de la IA. Así que si demandas a la IA, si demandas a la empresa adecuada en el momento adecuado, obtendrás un billón de dólares, pero todos los demás se quedarán sin nada. Quiero evitar ese futuro y ser honesto sobre lo que está por venir y crear programas que sean sencillos y reconozcan la rapidez con la que cambiarán las cosas y tengan visión de futuro, en lugar de intentar convertir lo que ya existe en algo que se adapte al desplazamiento que creará la IA.

Ryan:
[1:19:51] Ese argumento me recuerda, no sé si leíste el ensayo que salió hace poco llamado La Maldición de la Inteligencia. ¿Lo has leído? Era básicamente la idea de aplicar una especie de maldición de los recursos del Estado-nación a la idea de la inteligencia. Así como los estados nación que son muy altos en recursos naturales, sólo tienen una propensión. Quiero decir, un ejemplo es una especie de estado de Oriente Medio con muchas reservas de petróleo, ¿verdad? Tienen esta rica fuente de abundancia. Necesitan menos a su gente. Así que no invierten en los derechos de los ciudadanos. No invierten en programas sociales. Los autores de la maldición de la inteligencia estaban diciendo que hay un tipo similar de maldición que podría suceder una vez que la inteligencia se vuelve muy barata, que es básicamente como el Estado-nación no necesita más a los seres humanos. Y los de arriba, los ricos, las corporaciones ricas, ya no necesitan trabajadores. Así que nos quedamos encerrados en este estado casi feudal donde, ya sabes, todo el mundo tiene la propiedad que sus abuelos tenían y no hay meritocracia y el tipo de estados nación no reinvierten en los ciudadanos. Casi algunas ideas similares a tu idea de que, ya sabes, los robots podrían querernos sólo, o perdón, las IAs podrían querernos sólo por nuestras manos de carne porque no tienen la tecnología robótica de forma temporal.

Ryan:
[1:21:05] ¿Qué piensas de este tipo de futuro? ¿Es posible?

Dwarkesh:
[1:21:08] Estoy de acuerdo en que eso es como definitivamente más de una preocupación dado que los seres humanos no estarán directamente involucrados en la producción económica que se generará en la civilización de la CIA. La historia esperanzadora que se puede contar es que muchos de estos recursos de Oriente Medio, ya sabes, la enfermedad holandesa es otro término que se utiliza, los países, el problema es que no son democracias, por lo que esta riqueza sólo puede ser, el sistema de gobierno sólo permite a quien está en el poder extraer esa riqueza para sí mismos. Mientras que hay países como Noruega, por ejemplo, que también tienen abundantes recursos, que son capaces de utilizar esos recursos para tener más programas de bienestar social, para crear fondos soberanos para sus ciudadanos, para invertir en su futuro,

Dwarkesh:
[1:21:48] Estamos entrando, al menos algunos países, Estados Unidos incluido, entrarán en la era de la IA como una democracia. Y nosotros, por supuesto, perderemos nuestra influencia económica, pero el ciudadano medio seguirá teniendo su influencia política. Ahora, a largo plazo, sí, si no hiciéramos nada durante un tiempo, supongo que el sistema político también cambiaría. Así que entonces la clave es bloquear o convertir nuestra actual, bueno, no es sólo la influencia política, ¿verdad? También tenemos derechos de propiedad. Así como somos dueños de un montón de cosas que la IA quiere, fábricas, fuentes de datos, etc. Se trata de utilizar la combinación de la influencia política y económica para bloquear los beneficios para nosotros a largo plazo, pero más allá de la vida útil de nuestra utilidad económica. Y soy más optimista con nosotros que con esos países de Oriente Medio que empezaron siendo pobres y sin representación demócrata.

Ryan:
[1:22:40] ¿Cuál crees que será el futuro de ChatGPT? Si extrapolamos la actualización de una versión a ChatGPT 5, ¿crees que la línea de tendencia de la ley de escalado se mantendrá en ChatGPT 5? Quiero decir, otra manera de hacer esa pregunta es, ¿crees que se sentirá como la diferencia entre tal vez un BlackBerry y un iPhone? ¿O se parecerá más a la diferencia entre, digamos, el iPhone 10 y el iPhone 11, que es como un progreso incremental, no un gran avance, no un cambio de orden de magnitud? Sí.

Dwarkesh:
[1:23:12] Creo que va a estar en algún punto intermedio, pero no creo que se sentirá como un gran avance, a pesar de que creo que está en un notable ritmo de cambio. Porque la naturaleza de la escala es que a veces la gente habla de ella como un proceso exponencial. Exponencial por lo general se refiere a que va así. Así que tiene como una especie de curva J aspecto a la misma, donde la entrada incremental está llevando a cantidades super lineales de salida, en este caso, la inteligencia y el valor, donde en realidad es más como una J lateral. El exponencial significa que el exponencial y las leyes de escala es que usted necesita exponencialmente más entradas para obtener aumentos marginales en la utilidad o la pérdida o la inteligencia. Así que eso es lo que hemos estado viendo, ¿verdad? Creo que inicialmente ver como algunos demo cool. Así como usted ha mencionado, se ve un poco de demostración de uso de la computadora fresco, que viene al principio de esta hiper exponencial, lo siento, de este tipo de curva de meseta. Y entonces todavía es una curva increíblemente poderosa y todavía estamos temprano en ella. Pero la próxima demostración consistirá en hacer que esta capacidad existente sea más fiable y aplicable a más competencias. El otro incentivo interesante de esta industria es que, al haber tanta competencia entre los laboratorios, se les incentiva a lanzar una capacidad en cuanto es mínimamente viable.

Dwarkesh:
[1:24:32] O marginalmente fresco para que pueda obtener más financiación o hacer más dinero de ella. No estás incentivado para quedarte sentado hasta que lo perfeccionas, que es por lo que no espero que mañana OpenAI salga con algo como, hemos resuelto el aprendizaje continuo, chicos, y no os lo hemos contado. Hemos estado trabajando en ello durante cinco años. Si tuvieran siquiera un indicio de una solución, querrían lanzarla lo antes posible para poder recaudar la ronda de 600 mil millones de dólares y luego gastar más dinero en computación. Así que sí, creo que parecerá marginal. Pero de nuevo, marginal en el contexto de siete años para AGI. Así que aléjate lo suficiente y una cantidad loca de progreso está sucediendo. Mes a mes, creo que la gente exagera la importancia de cada nuevo lanzamiento.

Josh:
[1:25:09] Así que supongo que la respuesta a cuándo tendremos AGI depende en gran medida de que esa tendencia de escalado se mantenga. Tu estimación en el libro para la AGI era de un 60% de posibilidades para 2040. Tengo curiosidad por saber qué conjetura o qué idea influyó más en esta estimación. ¿Qué te hizo acabar en el 60% de 2040? Porque muchos plazos son mucho más rápidos que eso.

Dwarkesh:
[1:25:29] Es una especie de razonamiento sobre las cosas de las que todavía carecen actualmente, las capacidades de las que todavía carecen y lo que se interpone en el camino. Y, en general, la intuición de que las cosas suelen tardar más de lo que uno cree. El progreso tiende a ralentizarse. También se da el caso de que, mira, puede que hayas oído la frase de que seguimos cambiando los objetivos de la IA, ¿verdad? Así que pueden hacer las cosas que los escépticos decían que nunca podrían hacer. Pero ahora dicen que la IA sigue siendo un callejón sin salida porque el problema X, Y, Z, que se resolverá el próximo año. Ahora, hay una manera en que esto es frustrante, pero hay otra manera en que hay cierta validez para hacer esto porque... Es el caso que no llegamos a AGI, a pesar de que hemos pasado la prueba de Turing y tenemos modelos que son increíblemente inteligentes y pueden razonar. Así que es correcto decir que, oh, estábamos equivocados. Y hay algo que nos falta y que tenemos que seguir identificando sobre lo que aún falta para llegar a la AGI. Como que tiene sentido cambiar los postes de la portería. Y creo que podríamos descubrir, una vez resuelto el problema del aprendizaje continuo o del uso extendido del ordenador, que hay otros aspectos de la inteligencia humana que damos por sentados en el sentido de la paradoja de Moravax, pero que en realidad son cruciales para hacernos económicamente valiosos.

Ryan:
[1:26:37] Parte de la razón por la que queríamos hacer esto, Dwarkesh, es porque ambos disfrutamos de tu podcast. Es fantástico. Hablas con todos los que están a la vanguardia del desarrollo de la IA, liderándolo de todas las formas posibles. Y una de las cosas que quería hacer con la lectura de su libro, y, obviamente, siempre me pregunto cuando estoy escuchando su podcast, es como, ¿qué piensa Dwarkesh personalmente? Y creo que me di cuenta de que tal vez hacia el final de su libro, como, ya sabes, en la sección de resumen, donde usted piensa que hay un 60% de probabilidad de AGI en 2040, lo que le pone más en el campo moderado, ¿verdad?

Ryan:
[1:27:10] No eres un conservador, pero no eres como un aceleracionista. Así que en eso eres moderado. Y también has dicho que crees que lo más probable es que la IA sea beneficiosa para la humanidad. Así que eres más optimista que Doomer. Así que tenemos un optimista moderado. Y también piensas, y esto es muy interesante, que no hay vuelta atrás. Así que eres algo así como un determinista de la IA. Y creo que la razón por la que dices que no, es que no hay vuelta atrás. Me llamó la atención, hay una línea en tu libro... Parece que el universo está estructurado de tal manera que arrojando grandes cantidades de cómputo a la distribución correcta de datos... Y el secreto está a la vista. Si la imagen de la escala es más o menos correcta, es difícil imaginar que la IA no se desarrolle este siglo, incluso si algunos actores se frenan o son frenados. Para mí, esa es una postura determinista de la IA. ¿Le parece justa? Moderada con respecto al aceleracionismo, optimista con respecto a su potencial, y también determinista, como si no pudiéramos hacer otra cosa. No podemos dar marcha atrás.

Dwarkesh:
[1:28:05] Soy determinista en el sentido de que creo que si la IA es tecnológicamente posible, es inevitable. Creo que a veces la gente es optimista con la idea de que nosotros, como mundo, decidiremos colectivamente no construir IA. Y no creo que ese sea un resultado plausible. Los incentivos locales para que cualquier actor construya IA son tan altos que ocurrirá. Pero también soy optimista en el sentido de que, mira, no soy ingenuo. He enumerado todo el camino, lo que le pasó a los Asics e Incas fue terrible. Y he explicado cómo eso podría ser similar a lo que las IAs podrían hacernos y lo que tenemos que hacer para evitar ese resultado. Pero soy optimista en el sentido de que el mundo del futuro fundamentalmente tendrá tanta abundancia que habrá de todo esto, eso por sí solo es una razón prima facie para pensar que debe haber alguna forma de cooperar que sea mutuamente beneficiosa. Si vamos a ser miles, millones de veces más ricos, ¿realmente no hay forma de que los humanos estén mejor o podemos encontrar una forma de que los humanos estén mejor como resultado de esta transformación? Así que sí, creo que has puesto el dedo en la llaga.

Ryan:
[1:29:05] Este libro de escalamiento, por supuesto, recorre la historia del escalamiento de la IA. Creo que todo el mundo debería leerlo para conocer la cronología completa, pero también capta en qué punto de esta historia nos encontramos: aún no hemos terminado. Y me pregunto cómo te sientes en este momento del tiempo. Así que no sé si estamos a mitad de camino, si somos un cuarto de camino, si somos una décima parte del camino, pero ciertamente no hemos terminado el camino a la escala de IA. ¿Cómo te sientes en este momento en 2025? Quiero decir, ¿es todo esto aterrador? ¿Es emocionante? ¿Es estimulante? ¿Cuál es la emoción que sientes?

Dwarkesh:
[1:29:43] Tal vez me siento un poco apresurado. Personalmente, siento que hay muchas cosas que quiero hacer mientras tanto, incluida mi misión con el podcast, que es, y sé que también es tu misión, mejorar el discurso sobre estos temas, no necesariamente para impulsar una agenda específica, sino para asegurarme de que cuando la gente tome decisiones, esté lo mejor informada posible, tenga el mayor conocimiento estratégico y la mayor profundidad de comprensión posible sobre cómo funciona la IA y lo que podría hacer en el futuro.

Dwarkesh:
[1:30:17] Y, pero en muchos sentidos, siento que todavía no he valorado emocionalmente el futuro que estoy esperando. En este sentido muy básico, creo que hay una muy buena posibilidad de que yo vivo más allá de 200 años de edad. No he cambiado nada de mi vida con respecto a ese conocimiento, ¿verdad? Yo no soy como, cuando estoy eligiendo socios, yo no soy como, oh, esta es la persona, ahora que creo que voy a vivir durante 200, ya sabes, como cientos de años. En lugar de sí, sí, bueno, ya sabes, lo ideal sería elegir a un socio que lo ideal sería elegir a alguien que sería que sería verdad, pero ya ves lo que estoy diciendo a la derecha no es como el hecho de que yo espero que mi vida personal el mundo que me rodea la vida de las personas que me importan la humanidad en general a ser tan diferente tiene como no emocionalmente resuenan tanto como yo mis pensamientos intelectuales y mi paisaje emocional no están en el mismo lugar. Me pregunto si es similar para ustedes.

Ryan:
[1:31:14] Sí, estoy totalmente de acuerdo. Creo que no lo he tenido en cuenta. Además, no hay ninguna posibilidad de que Eliezer Yudkowsky tenga razón, Dworkesh. ¿Lo sabías? Y por lo que el escenario, yo sólo, no me atrevo a emocionalmente precio pulg Así que me inclino hacia el lado optimista también. Dworkesh, esto ha sido fantástico. Muchas gracias por todo lo que haces en el podcast. Tengo que hacer una pregunta para nuestra audiencia cripto también, que es, ¿cuándo vas a hacer un podcast cripto en Dwarkech?

Dwarkesh:
[1:31:42] Ya lo hice. Fue con un tal Sam Bigman Freed.

Ryan:
[1:31:45] Dios mío.

Dwarkesh:
[1:31:47] Oh tío.

Ryan:
[1:31:48] Tenemos que conseguir que un nuevo invitado. Tenemos que conseguirte a alguien que vuelva a visitar la cima.

Dwarkesh:
[1:31:52] No busques a ese. Es Ben Omen. No lo busques. Creo que en retrospectiva. ¿Sabéis qué? Haremos otro.

Ryan:
[1:31:58] Fantástico.

Dwarkesh:
[1:31:59] Les pediré algunas recomendaciones.

Ryan:
[1:32:01] Eso sería genial. Dwarkech, muchas gracias.

Dwarkesh:
[1:32:02] Pero he estado siguiendo tu material durante un tiempo, creo que muchos años. Así que es genial conocerte por fin. y ha sido muy divertido.

Ryan:
[1:32:09] Te lo agradezco. Ha sido genial. Muchas gracias.