LIMITLESS - DEBATE SOBRE IA: ¿Superinteligencia desbocada o tecnología normal? | Daniel Kokotajlo contra Arvind Narayanan

Transcripción del episodio:

Ryan:
[0:03] Hola a todos, soy Ryan. Creo que ustedes van a disfrutar de este debate porque ciertamente lo hice. El debate que están a punto de escuchar fue grabado por David y yo para nuestro nuevo podcast Limitless, donde ocasionalmente soy anfitrión invitado junto con David y nuestro nuevo co-anfitrión Josh. Así que este es un debate que ha estado sonando en mi cabeza, tal vez yo diría que me mantiene despierto por la noche desde nuestro episodio de hace dos años con Elie Zerudkowski. La pregunta, ¿es la IA una tecnología normal? ¿Es una herramienta que podemos controlar, como Internet o la electricidad? ¿O es más bien una nueva especie de superinteligencia? ¿Es algo destinado a reestructurar nuestro orden político mundial, nuestra economía, quizá en cuestión de años? Y si todo esto puede ocurrir a finales de esta década, ¿hay alguna pregunta más importante o más apremiante que merezca la pena responder? Lo que están a punto de escuchar es un increíble debate con dos expertos en este tema, un profesor y rompedor de hype frente a un antiguo investigador de IA abierta y el autor de AI 2027. Ahora, en adelante, tengo que decirte que episodios como este sólo estarán disponibles en el feed del podcast Limitless, así que no los verás aquí. Así que si no estás suscrito a ese podcast, deja de hacer lo que estés haciendo. Búscalo en Spotify, Apple, YouTube, dondequiera que escuches.

Ryan:
[1:17] Hay un enlace en las notas del programa. Disfruta del episodio.

David:
[1:19] En el salvaje oeste de DeFi, la estabilidad y la innovación lo son todo, por eso deberías echar un vistazo a Frax Finance, el protocolo que revoluciona las stablecoins, DeFi y Rolex. El núcleo de Frax Finance es Frax USD, que está respaldado por el fondo biddle institucional de BlackRock. Frax diseñó Frax USD para obtener los mejores rendimientos de su clase en DeFi, T-bills y carry trade, todo en uno. Sólo tiene que visitar Frax.com y apostar por él para obtener algunos de los mejores rendimientos en DeFi. ¿Quiere aún más? Traslade su Frax USD a la capa Fraxtel para obtener el mismo rendimiento más puntos Fraxtel y explore el variado ecosistema de segunda capa de Fractal con protocolos como Curve, Convex y muchos más, que recompensan a los primeros en adoptarlos. Frax no es sólo un protocolo, es una nación digital impulsada por el token FXS y gobernada por su comunidad global. Adquiera FXS a través de frax.com o su DEX de confianza, póngalo en juego y ayude a dar forma al futuro de Frax Nation. ¿Listo para unirte a la vanguardia de DeFi? Visite frax.com ahora para empezar a ganar con Frax USD y Frax USD apostados. Y para los oyentes sin cuenta bancaria, pueden utilizar frax.com slash r slash sin cuenta bancaria al pasar a Fraxel para obtener ventajas exclusivas de Fraxel y recompensas potenciadas.

David:
[2:21] Uniswap es su puerta de entrada a una experiencia DeFi más eficiente. Con Uniswap intercambiando y puenteando a través de 13 cadenas, es simple, rápido y rentable, ayudándote a mover valor donde sea y cuando sea. Gracias a la gran liquidez del protocolo Uniswap, disfrutará de un impacto mínimo en el precio de cada operación. Y ahora Uniswap V4 va aún más lejos. Los swappers se benefician de un ahorro de gas en los swaps multisalto y en los pares de intercambio de ETH, mientras que los proveedores de liquidez pueden crear nuevos pools con un 99% menos de costes. Lo mejor de todo es que no tienes que hacer nada extra. Cada operación se enruta automáticamente a través de Uniswap X, V2, V3 y V4, por lo que obtendrá el intercambio más eficiente sin ni siquiera pensar en ello. Tanto si estás intercambiando, enviando, haciendo on-ramping, off-ramping o puenteando, la aplicación web y el monedero de Uniswap te dan las herramientas para liberar todo el potencial de DeFi en Ethereum, base, Arbitrum, Unichain y más. Utiliza la aplicación web y el monedero de Uniswap para una forma más eficiente de utilizar DeFi.

Ryan:
[3:09] Muy bien, todo el mundo, he estado esperando esta conversación durante todo el mes, tal vez durante muchos meses, tengo que decir. Así que la pregunta central del episodio de hoy

Ryan:
[3:16] es, ¿es la IA una tecnología normal? Tal vez es algo así como la revolución industrial que hemos pasado por eso antes o es muy muy anormal ¿hay una variación increíble es algo entre la utopía y la aniquilación podría ir en cualquier dirección es como nada que hayamos tratado en el pasado tenemos dos invitados hoy que van a discutir o yo podría usar la palabra debate este tema tenemos arvind narayanan él es un profesor de ciencias de la computación de princeton él es el cazador de bombo profesional incluyendo algunos bombo cazando que ha hecho en cripto en el pasado él es el escritor de AI Snake Oil, y cree que la IA es una tecnología normal, como la electricidad o Internet.

Arvind:
[3:55] Arvind, bienvenido al podcast.

Daniel:
[3:57] Gracias. Estoy muy emocionado. Gracias por recibirme.

Ryan:
[3:59] También tenemos a Daniel Cocitello. Es un ex investigador de IA abierta. Es el autor de un informe increíble llamado AI 2027, que es como una previsión mes a mes del progreso de la IA hasta llegar a la AGI, que apuesto a que puedes adivinar el año en el que predice que llegará. Cree que la IA no es normal y que podría llegar a ser superinteligente para cuando actualices tu próximo iPhone. Así que muy pronto. Daniel, bienvenido al podcast.

Arvind:
[4:26] Gracias por recibirme. Emocionado de discutir.

Ryan:
[4:27] Muy bien, chicos, esto va a ser muy divertido. Tenemos siete temas para ir a través y vamos a ver si llegamos a los siete. Vamos a hacer esto de una manera de comparar y contrastar. Voy a ver la conversación. David va a ayudar y luego sólo te disparan a la derecha en los temas. ¿Estáis listos?

Daniel:
[4:40] Vamos allá.

Ryan:
[4:42] Vale, el primer tema del orden del día, la pregunta, ¿es la IA una tecnología normal o no es nada normal como no hemos visto antes? ¿Es una especie de herramienta que podemos controlar o es una nueva especie destinada a su propia autonomía? Arvind, tengo una cita tuya para que nos des tu punto de vista. Dijiste que la IA es igual que la electricidad e Internet. Es transformadora, pero sí, sigue siendo una herramienta. Daniel, en el otro lado, dijiste esto: "Esta no es otra tecnología de propósito general, hablando de IA. Es una nueva especie a punto de superarnos. Arvind, voy a empezar contigo en el tema, IA, tecnología normal. Has publicado un informe titulado así.

Daniel:
[5:25] Desglosamos la forma en que la IA o cualquier tecnología va a impactar en la sociedad en una especie de proceso de cuatro pasos. El primer paso son las mejoras en las capacidades. Aparecen nuevos modelos, la IA es capaz de hacer cosas nuevas, pero no hay una línea directa desde ahí hasta los impactos que realmente nos importan. El siguiente paso después del primer paso de la invención, como nosotros lo llamamos, es la innovación, convertir eso en desarrollo de productos. Y de ahí a que los usuarios aprendan a utilizar estas nuevas capacidades de forma que tengan sentido para sus flujos de trabajo, lo que quieren hacer y sus trabajos. Y el último paso, el más lento, es la adaptación. Hablamos de muchas razones por las que los modelos de negocio tienen que cambiar, las leyes y las normas tienen que cambiar para que el impacto de la IA en el mundo se sienta realmente. Y ya podemos ver cómo se desarrolla este proceso en los últimos dos años, cuando hemos dado este gran salto en capacidades con ChatGPT y otros lanzamientos en ese periodo de tiempo. Pero si observamos hasta qué punto esto ha transformado los flujos de trabajo de la gente, creo que estamos empezando a ver que esto va mucho, mucho más despacio de lo que la gente predijo inicialmente. Y tenemos algunos números en el documento para respaldar esto. Y predecimos que esta tendencia en general continuará.

Ryan:
[6:41] Daniel Arvin piensa que va lento. ¿Cuál es tu opinión?

Arvind:
[6:44] Quiero decir, yo también creo que va lento ahora mismo. Por ejemplo, dijiste que la gente, se ha vuelto más lenta de lo que la gente predijo. No ha ido más lento de lo que yo predije. De hecho, ha ido más o menos a la misma velocidad que yo predije. Sé que estás moderando este debate, así que estás en...

Daniel:
[6:57] Cargo pero yo...

Arvind:
[6:58] Me preguntaba si también podría hacer algunas preguntas para ayudar a preparar el escenario así que Arvind es Si has leído AI 2027, me encantaría si pudieras dar tu propio tipo de historia alternativa, básicamente. Supón que alguien te diera un año más de vida y te dijera que tienes que pasarlo escribiendo tu propio escenario alternativo a AI 2027. ¿Cuál sería? ¿Qué representarías? Y tal vez una forma de decirlo es, como, ¿en qué punto empezaría a divergir de lo que predecimos en AI 2027? Y luego, como, que poco a poco divergen más y más a medida que pasa el tiempo. Y por favor, pinta esa imagen para mí, porque creo que es una forma útil de preparar el escenario para todo lo demás de lo que vamos a hablar.

Daniel:
[7:40] Claro. Sí. Así que, quiero decir, nuestro punto fundamental es que en 2027, el mundo se va a parecer más o menos al mundo en 2025. Y como has dicho, sí, creemos que gradualmente las cosas van a ser diferentes. Y esa divergencia, decimos, es aproximadamente en la escala de tiempo de décadas. Pero desde el punto de vista cualitativo, en lo que respecta a las desviaciones para nosotros, quizás haya un mayor papel de la acción humana y de las políticas, entre otras cosas, a la hora de determinar el tipo de futuro en el que acabaremos, en contraposición a las predicciones que se derivan directamente de las capacidades de la tecnología. Por eso, elegir un escenario sería como tomar una muestra de una amplia gama de futuros posibles. Así que es un poco difícil para mí describir un escenario. Pero a grandes rasgos, puedo decir que durante, digamos, el próximo par de décadas, aproximadamente, esperamos ver sólo para concretar tomar una industria como la ingeniería de software. Ya sabes, la gente va a averiguar lo que incluso significa ser una empresa de software o un ingeniero de software.

Daniel:
[8:44] En un momento en que la IA es mucho más capaz de lo que es hoy en escribir código. Hoy podemos vibrar código, crear apps sencillas. ¿Y si en el futuro pudiéramos crear aplicaciones a escala empresarial con IA y una participación humana mínima? En ese caso, sería absurdo crear un software una sola vez y esperar que lo utilicen cientos de empresas diferentes, porque obligaríamos a todo el mundo a encajonarse en las abstracciones incorporadas al software. En su lugar, el software empresarial significará crear software para una empresa o un equipo o incluso un usuario individual, y el papel del ingeniero de software de la empresa de software será principalmente hablar con ese cliente, entender las especificaciones. Así que la creación de software será principalmente, ya sabes, ese papel de comunicación en lugar de escribir código en un teclado. Así que ese es un escenario de cómo una industria podría cambiar. Una vez más, es difícil dar un escenario general de cómo el mundo en general podría cambiar en el próximo par de décadas.

Arvind:
[9:44] Gracias. Estoy de acuerdo en que el futuro es incierto, con muchas posibilidades de ramificación. Así que hay un montón de incertidumbre que tenemos que colapsar, como la función de onda, colapsar en un camino particular para propósitos de discusión. Y así lo entiendo totalmente, ya sabes, nos ocupamos de eso mucho cuando lo estábamos haciendo en 227. Es como, no estamos seguros de que este camino en particular es lo que va a suceder. Pero sonaba como si estuvieras diciendo que, sí, las IAs van a mejorar mucho en la codificación. Podrían ser mejores en la codificación autónoma para que puedan básicamente, como, hacer el proceso de desarrollo de pila completa sin intervención humana. Pero entonces los humanos podrían pasar a desempeñar otras funciones, como interactuar con el cliente para entender sus requisitos y demás. Y crees que eso podría ocurrir en los próximos años, pero que se tardará décadas en transformar gradualmente la industria para cambiar

Arvind:
[10:31] la forma en que se están haciendo las cosas ahora. Definitivamente, no estamos de acuerdo porque creo que, para resumirlo un poco, la historia de la IA de 2027 es que primero se automatiza la codificación, luego se acelera la investigación y se crean nuevas IA que pueden automatizar todo el proceso de investigación. A continuación, la investigación se acelera aún más para llegar a lo que podríamos llamar superinteligencia, lo que significa que es cognitivamente superior a los humanos en todos los aspectos relevantes. Todavía tiene que aprender de los datos del mundo real. Todavía tiene que, ya sabes, hacer frente a los cuellos de botella físicos. Pero necesita menos datos que los humanos, y puede trabajar a través de los cuellos de botella más rápido que los humanos, y hay un millón de ellos, y piensa 50 veces más rápido.

Arvind:
[11:13] Y entonces representamos ese tipo de proceso sucediendo en 2027. Y luego, en 2028, lo representamos como explotando en la economía y transformando realmente las cosas. Así que fue interesante. Usted dijo antes, como, lo primero que dijo en respuesta a mi pregunta fue, creo que 2027 se parecerá mucho a 2025. Y yo quería decir, también creo que 2027 se parecerá mucho a 2025. AI 2027 representa, ya sabes, la economía básicamente igual en 2027 como lo hace hoy.

Arvind:
[11:41] Porque mucho de lo que está pasando es que las capacidades están avanzando rápidamente dentro de las empresas, pero no son como transformar el mundo todavía. Y entonces, en 2028, es cuando se produce la transformación mundial. Es entonces cuando las nuevas fábricas comienzan a levantarse, etcétera. Así que usted habla mucho de los cuellos de botella y las fricciones y así sucesivamente. Y creo que me gustaría decir algo así como: sí, esas cosas existen y son extremadamente importantes. Y eso es parte de por qué hay tanta brecha entre lo que los sistemas de IA son actualmente capaces de hacer y las transformaciones reales de las industrias irrelevantes. Simplemente hay un desfase temporal para construir nuevas empresas basadas en la nueva tecnología e integrarla en todo. Por eso creo que las cosas no serán tan diferentes hasta el momento en que se alcance la superinteligencia. Y después de la superinteligencia, también habrá cuellos de botella y retrasos. Sin embargo, creo que no tardaremos décadas en superarlos. Creo que cuando se tiene el ejército de la superinteligencia estamos buscando algo más como un año para llegar a una economía totalmente automatizada en lugar de algo así como 20 años.

Arvind:
[12:43] Así que después de haber, ya sabes, recapitulado mi posición, me gustaría preguntarte, ¿crees que llegaremos a la superinteligencia en cualquier momento de la próxima década?

Daniel:
[12:55] Sí, gracias, Dan. Es de gran ayuda. Sí, déjame señalar exactamente

Daniel:
[12:59] dónde están algunos de mis desacuerdos. En el artículo, la IA es una tecnología normal, discutimos toda la premisa de la superinteligencia. No estamos en desacuerdo con que las capacidades de la IA en muchas dimensiones individuales van a seguir aumentando y, ya sabes, va a haber capacidades de IA sobrehumanas al igual que las hay hoy en día en cosas como el ajedrez. Sin embargo, creemos que la mayoría de las tareas son como escribir y no como el ajedrez. Así que la diferencia clave entre estas tareas es que cuando se trata de ajedrez, el rendimiento humano está limitado por nuestras capacidades computacionales. Así que es muy natural ver cómo la IA puede ser dramáticamente sobrehumana y, ya sabes, lo ha sido durante los últimos 20 años. En una tarea como la escritura, nuestras capacidades no están limitadas computacionalmente. Nuestras habilidades están limitadas por algunas cosas. Uno, es difícil ponerse de acuerdo sobre lo que constituye una buena escritura y lo que no. Está limitado por nuestro conocimiento del mundo. Y hablamos en el artículo de por qué va a haber cuellos de botella para adquirir conocimientos que los humanos no han sido capaces de adquirir porque requiere interacción con el mundo real, requiere experimentar con la gente, etcétera. Y finalmente.

Daniel:
[14:06] Nuestras habilidades de escritura son limitadas porque, digamos, quieres escribir para persuadir a alguien. Creemos que sólo se puede hacer que un texto sea persuasivo hasta cierto punto. Hay límites fundamentales. Así que los límites computacionales sólo son relevantes en un reducido conjunto de tareas. En la mayoría de los casos, son estos límites intrínsecos y los límites del conocimiento. Y creemos que una y otra vez, la IA se va a encontrar con ellos. Así que esta idea de que se puede ejecutar la IA a 50 veces la velocidad y tener un millón de copias de ella que hacen que las cosas vayan un millón de veces más rápido, cuestionamos esa premisa.

Arvind:
[14:40] Bueno, ciertamente no creo que vaya a ir un millón de veces más rápido. Damos nuestras estimaciones cuantitativas de cuánto más rápido irá, y nunca se acerca a un millón. Oh, vale.

Daniel:
[14:47] Perdona si me he acordado mal.

Arvind:
[14:48] Estoy de acuerdo en que el paralelismo, hay enormes rendimientos decrecientes y cosas como las que has dicho. Pero creo que quiero insistir en el tema de la superinteligencia. La forma en que yo la definiría es un agente artificial de IA que es mejor que los mejores humanos en cada tarea cognitiva importante o relevante. Y así está bien. Así que, según esta definición, si hay un techo duro en lo bueno que puedes ser escribiendo que es sólo ligeramente mejor que los mejores escritores que son humanos, todavía es posible que haya superinteligencia. Es sólo que la superinteligencia sería como, ya sabes, corriendo contra ese techo, pero sólo en una escala absoluta todavía sería sólo ligeramente mejor que los mejores seres humanos. Pero si crees que es posible ser ligeramente mejor que los mejores humanos, entonces es posible tener una IA que cumpla esa definición. Y entonces la pregunta es como en todos los dominios relevantes. Obviamente en ajedrez ya son sobrehumanos, pero enumera todos tus dominios favoritos, todos los dominios que consideres importantes. ¿Habrá sistemas de IA que sean mejores que los humanos en todos ellos? Y no tiene que ser masivamente mejor, sólo algo mejor que el mejor, es básicamente lo que estoy preguntando.

Daniel:
[15:53] Así que si son sólo un poco mejor que los humanos, ¿qué lleva a esta aceleración dramática? Es decir, si los humanos fueran un poco mejores en algo, no pensaríamos que eso llevaría a, ya sabes, multiplicar por 10 el PIB o lo que sea.

Arvind:
[16:06] Bueno, hablemos de los diferentes tipos de aceleración. En primer lugar, la aceleración de la investigación es en la que más hemos pensado. Así que en el sitio web, tenemos este apéndice donde se puede ir a leer como la forma en que hicimos nuestro como poco apresurado de vuelta del sobre de cálculo para tratar de obtener los números que utilizamos en este escenario. Y estimamos algo así como 25 veces la velocidad para la investigación de IA cuando alcanzas el hito de investigador de IA sobrehumano, que es relevante para esta discusión porque básicamente es ligeramente mejor que los mejores investigadores humanos. Y la forma en que obtenemos ese 25x, hicimos un par de métodos diferentes y luego los agregamos. Y luego lo sombreamos hacia abajo sólo para ser conservadores. Así que, bueno, supongo que no voy a entrar en eso aquí, pero voy a tratar de resumir brevemente. Una forma de verlo es que encuestamos a los investigadores de las empresas para saber cuánto más lenta iría su investigación si tuvieran menos computación.

Arvind:
[17:00] Y luego le dimos la vuelta y pensamos, bueno, si estás ejecutando estas IAs a 50 veces la velocidad humana, o digamos 30 veces la velocidad humana, creo, que es el número que utilizamos en realidad, es como tener una empresa que va 30 veces más rápido, pero con 1/30 de la computación. Y así, aplicando los números de la encuesta, obtenemos una especie de factor de ralentización del tipo, bueno, vamos mucho más lento porque tenemos 1/30 de la computación. Pero entonces vamos 30 veces más rápido porque estamos ejecutando las cosas 30 veces más rápido. Ese fue uno de los métodos que utilizamos. También usamos un método más granular de pensar a través del proceso de investigación y buscar maneras de ser más eficientes aquí y allá y sumar todos los multiplicadores. De todos modos, así es como llegamos a la cifra de 25x para la velocidad global de la investigación. No hemos hecho un análisis similar para todos los demás campos de la actividad humana, como, ya sabes, la cohetería o la fontanería. Sólo lo hemos hecho para la investigación en IA.

Arvind:
[17:53] Cuando se trata de esas otras cosas como la cohetería y la fontanería, creo que diría que la heurística general que utilizaría es algo así como, pensar en la brecha entre las personas que son los mejores del mundo en ello y las personas que son simplemente buenos profesionales. Y luego observa la forma de la distribución. A menudo vemos una especie de distribución de cola pesada donde como la mayoría de la gente está alrededor del nivel de un profesional, pero luego como algunas personas realmente buenas son como capaces de hacer las cosas en la mitad del tiempo. Y luego algunas personas muy, muy, muy buenas, los mejores del mundo son capaces de hacer las cosas en una cuarta parte del tiempo que le toma a un profesional típico o algo así. Así que puedes trazar esta distribución y luego tratar de especular acerca de dónde están los límites. Ya sabes, donde esta el limite fundamental de lo rapido que puedes construir nuevos cohetes, por ejemplo.

Arvind:
[18:42] Y la idea en la que nos basamos es basicamente que si tienes esta distribucion que parece de cola pesada, entonces deberias esperar que el limite fundamental no este, como, justo encima del punto de datos mas alto que has observado. Al igual que, probablemente se mantiene por un poco antes de que estemos golpeando límites. De lo contrario, sería esta extraña coincidencia que, como, el límite fundamental es, como, justo por encima de lo que acabamos de pasar a haber observado. Sería diferente si la distribución se viera diferente. Por ejemplo, si la distribución fuera una especie de aglomeración, entonces eso sería evidencia de que estamos como en asíntota hacia algún tipo de límite. De todos modos, todo esto para decir, la forma en que obtuvimos nuestra cifra principal para 2028 en el escenario fue mirando ejemplos históricos de las transformaciones de las economías, como lo que sucedió en tiempos de guerra, cuando como los EE.UU. reutilizó todas sus fábricas para construir aviones en lugar de automóviles. Y así estamos imaginando algo similar donde estamos imaginando un concepto político. Otro posible desacuerdo que tenemos contigo es que

Arvind:
[19:34] Hablas mucho de los cuellos de botella, las fricciones, las regulaciones, la cautela del mercado a la hora de adoptar nuevas tecnologías, etcétera. Imaginamos que mucho de eso sigue ocurriendo, pero en mucha menor medida de lo que usted cree, debido a la dinámica de carrera que estamos proyectando, en la que Estados Unidos teme perder frente a China y China teme perder frente a Estados Unidos. Así que el presidente se está asociando básicamente con las empresas de inteligencia artificial para recortar las normativas lo más rápido posible y suavizar las cosas en las zonas económicas especiales y demás. En ese entorno, estamos pensando que es similar a la Segunda Guerra Mundial, donde también redujeron las regulaciones, redujeron la burocracia, ya sabes, hicieron este tipo de pivote masivo de las cosas. Así que estábamos pensando básicamente como, de nuevo, para utilizar la analogía de distribución, estamos pensando como, ¿qué tan rápido los buenos seres humanos han sido capaces de hacer esto en el pasado? ¿Cuánto más rápido son los mejores humanos capaces de hacerlo en comparación con los humanos profesionales típicos? Parece que hay una brecha decente allí. parece que los Elon Musks del mundo son capaces de como, ya sabes, conseguir SpaceX fuera de la tierra mucho mejor que Boeing y los diversos como las empresas heredadas. Y eso sugiere que si tienes un ejército de superinteligencias que son mejores que los mejores humanos... ¿Y cuánto más rápido? Bueno, tal vez otro factor de tres, tal vez otro factor de cinco, algo así. Y así, en lugar de tomar como la Segunda Guerra Mundial de tiempo para hacer esta transformación, tal vez se tarda como un tercio o un quinto de eso. Eso fue más o menos cómo llegamos a esos números. Pero sí, obviamente, hay mucha incertidumbre. Genial, gracias.

Daniel:
[21:03] Hay muchas cosas ahí, si puedo responder a algunas de ellas. Primero, déjame empezar con las implicaciones políticas. Creo que aquí hay un poco de efecto de profecía autocumplida, ¿verdad? Desde nuestro punto de vista, la IA como tecnología normal no es sólo una predicción, sino una prescripción de cómo debemos abordarla. No debemos abordarla como si estuviéramos en tiempos de guerra, y eso es por todas las razones que describimos. Y mi preocupación es que con AI 2027, está llevando a las mismas recetas que conducirán a la dinámica de la carrera armamentista que tanto te preocupa. Si pensamos que tenemos que hacer esto porque China lo va a hacer, inevitablemente nos lleva a esa espiral. Estoy de acuerdo en que si no se trata sólo de recortar las regulaciones, estamos hablando de las libertades civiles, ¿verdad? Si suspendiéramos las libertades civiles y suspendiéramos la democracia en un sentido muy real y actuáramos como si reorientáramos toda la economía hacia una especie de producción militar, excepto que aquí se trata de mejorar la capacidad industrial de la IA. Las cosas podrían ser cualitativamente muy diferentes. Pero, ¿por qué deberíamos? Creo que la única razón por la que lo haríamos es si asumiéramos que si cada parte asumiera que la otra va a hacer eso. Así que ese es el primer punto.

Daniel:
[22:14] El segundo punto es cuando se trata de la aceleración, esta idea de que los humanos más rápidos son mucho más rápidos que la mediana, y por lo tanto podemos alcanzar esa velocidad hacia arriba. Eso es un poco complicado para mí. Así que cuando nos fijamos en las tecnologías del pasado.

Daniel:
[22:32] Ya sabes, cuando Internet estaba empezando a convertirse en una cosa, la gente pensaba que esto iba a conducir a una mejora de 10x en todo tipo de trabajo de conocimiento, porque en lugar de ir a la biblioteca para buscar un hecho, se puede buscar al instante en Internet. Pero resultó que eso era sólo un paso en un proceso más amplio, ¿verdad? Así que cualquiera que sea el paso de un proceso que estamos viendo, ya sabes, digamos que un cirujano es mucho más rápido que otro cirujano. Pero cuando nos fijamos en todo el contexto de un hospital, que la suficiencia del cirujano es sólo una pequeña parte de ella. Y hay muchos otros cuellos de botella. Lo mismo ocurre con Internet. Cuando eliminamos un cuello de botella, otras partes del proceso se convierten en el cuello de botella. Dentro de cada trabajo, creo que la tarea más lenta se convertirá en el cuello de botella. Y para el conjunto de la economía, el sector más lento, el menos productivo, se convertirá en el cuello de botella. Y tenemos algunas citas de trabajos económicos que hablan de esto. Y el tercer y último punto, yo diría, es que en nuestra conversación anterior, creo que usted reconoció que podría haber límites, la mayoría de las tareas son como la escritura, donde la IA es sólo ligeramente mejor que los mejores seres humanos. Y eso tal vez parece un poco en desacuerdo con la afirmación de que existe esta larga cola, y por lo tanto la IA puede estar muy lejos en los extremos de la distribución, mucho mejor que el mejor humano.

Arvind:
[23:46] Gracias. Supongo que las tomaré en orden inverso. Así que estoy de acuerdo en que depende de la tarea o del campo. La forma en que me gusta pensar en ello es que sigues mejorando la capacidad, pero en algún momento llegas a una especie de asíntota hacia lo que son los límites duros en términos de efectos reales en el mundo. Y eso va a variar de un campo a otro. Así que creo que en muchos campos de la investigación, parece que tenemos pruebas de que se trata de una distribución de cola extremadamente gorda y pesada, y los mejores investigadores son órdenes de magnitud más productivos que los investigadores típicos. En términos de efectos reales, como en términos de cuánto progreso científico real producen. Mientras que en otros campos, como tal vez en la fontanería, el mejor fontanero del mundo sólo es capaz de hacer, ya sabes, dos veces más rápido que un fontanero típico, tal vez. En realidad no sé esa cifra, pero no me sorprendería que algo así fuera el caso, ¿verdad?

Arvind:
[24:34] Creo que para cosas como la transformación de la economía, estamos tomando una perspectiva más amplia, como, sí, eso va a implicar un montón de cosas específicas que se encontrarán con cuellos de botella. Pero también a veces se puede rodear ese cuello de botella encontrando una manera diferente de hacer las cosas. No depende de eso. Ampliar y ser como, ¿qué pasa con este conjunto, pensando en esta tarea de transformación en su conjunto como sí mismo, la cosa que estamos midiendo. Bueno, parece que ha habido humanos tratando de hacer algo como esto en el pasado. Al igual que el ser humano está a cargo de la transformación de la economía durante Roller 2 y cosas por el estilo. Y también, de manera similar, creo que la producción económica, como creo que como lo que Tesla y SpaceX y Boeing y así sucesivamente están haciendo es algo similar, donde usted quiere como producir más coches que son mejores y que son más baratos que sus competidores. Pero tienes que diseñarlos, probarlos y producirlos. Tienes que comprar el equipo pertinente e instalarlo y depurarlo y así sucesivamente. Y hay cuellos de botella en cada paso del camino a través de todo ese proceso. Y hay maneras en que, quiero decir, es por eso que se tarda tanto tiempo es que como su línea de montaje no va a funcionar correctamente en el primer intento. Y vas a tener que como comprar nuevos equipos y como integrarlo y así sucesivamente. Pero se puede hacer una especie de zoom fuera de todo eso y ser como, OK, así que ¿cuánto mejor es SpaceX en hacer ese tipo de cosas en comparación con Boeing?

Arvind:
[25:46] Y la respuesta es como un factor de cinco o algo así como que parecen ser capaces de realmente hacer progresos en conjunto como cinco veces más rápido o algo así. De manera similar, estamos pensando que una vez que tienes las superinteligencias y les has dado la autoridad legal y el dinero y la financiación y el apoyo para estar básicamente a cargo de todas estas fábricas y tomar las decisiones, estamos imaginando una especie de brecha similar entre esa situación y, ya sabes,

Arvind:
[26:11] SpaceX a cargo como vemos entre SpaceX a cargo y Boeing a cargo, ya sabes. Y ahí es donde tenemos la especie de un año de despegue, un año de transformación tipo de cosa. Si también puedo hablar de algunas de las otras cosas que estamos mencionando por lo que la profecía autocumplida cosa es como que me llega al núcleo porque yo no quiero crear este autoprivacidad autocumplida y esta es en realidad mi preocupación número uno acerca de AI 2027 en el sentido de que si resulta que me arrepiento de esto en mi lecho de muerte probablemente será a causa de esto Entiendo que como estas empresas se benefician de bombo sobre sus productos y que como que tienen un incentivo para exagerar todo para que puedan obtener más inversores y para que puedan como conseguir que el gobierno como agitar la burocracia para ellos y cosas por el estilo. Sin embargo, creo que, bueno, esto es lo que creo que va a suceder, y es lo que las empresas están apuntando. Al igual, AI-2027 no es tan nuevo para las personas que han estado en Anthropic y OpenAI y GDM.

Arvind:
[27:09] Es una especie de, como, lo que están apuntando y lo que esperan. Y creo que lo van a conseguir si no levantamos una tormenta al respecto. Creo que podemos, no lo se.

Arvind:
[27:22] Creo que seria diferente si fueramos las unicas personas, creo que basicamente estoy indeciso sobre esto, pero he hecho la apuesta de que como parece que esto es hacia donde nos dirigimos de todos modos, tenemos que hablar de ello y crear conciencia sobre ello y con suerte usarlo como direccion hacia algo mejor en lugar de simplemente esperar que esto no suceda porque esto es lo que las empresas estan tratando de hacer que suceda. Y son muy poderosas y tienen, ya sabes, mucho dinero y grupos de presión y así sucesivamente. Y así, si no le digo al presidente ahora, como, ¿qué pasa con China? Si no planteo estas preocupaciones, las empresas lo harán dentro de un año. Y cuando tengan, cuando hayan automatizado la investigación de la IA, van a estar totalmente diciendo, oh, tienes que reducir la burocracia para nosotros y tienes que, no sé. Así que supongo que estoy haciendo la apuesta de que como AI 2027 tiene un efecto relativamente pequeño en la dirección de la profecía autocumplida y que tiene un mayor efecto positivo en el tipo de hacer que la gente despierte y preste atención y luego, con suerte, dirigir las cosas en una mejor dirección. Pero no estoy totalmente seguro de que eso sea cierto. Y espero que lo sea.

Daniel:
[28:25] Si, definitivamente estoy de acuerdo en que eso es algo que todos debemos esperar. Y sólo para aclarar un poco más en qué estamos de acuerdo y en qué no, y esto se refiere a algunos de los otros puntos del esquema que Ryan y David compartieron.

David:
[28:38] Creo que para nosotros,

Daniel:
[28:41] Si algunas de las cosas que creo que tomas como inevitables suceden, que es que habrá esta mejora de la capacidad y luego tendremos... ...que poner a la IA a cargo de las fábricas, tal vez darle autoridad legal. Y para nosotros, y luego su tipo de línea roja es AI poseer riqueza y así sucesivamente. Si todas esas cosas suceden, para mí, ya hemos perdido. Hemos perdido masivamente desde una perspectiva política. Incluso si algún evento catastrófico o existencial no sucede, todo esto es, ya sabes, no es el tipo de cosa que queremos hacer en una democracia, no es el tipo de cosa que es compatible con las libertades civiles. Así que para nosotros, esos son muchos de los puntos de intervención,

Daniel:
[29:22] a diferencia de, ya sabes, la alineación, los tratados internacionales, y así sucesivamente. Esas preocupaciones sólo surgen en una fase en la que, para nosotros, ya se han dado muchos pasos en falso. Así que ese es quizás un punto de diferencia. Otro es, oh, lo siento, Ryan.

Ryan:
[29:36] Si, de acuerdo. Y me pregunto si podríamos centrarnos en eso un segundo y luego volver a lo segundo. Pero esto es algo que leí mucho en tu trabajo, Arvind, y quería que Daniel respondiera a esto. Así que a lo largo de su trabajo y el tipo de caso para que esta sea la tecnología normal, usted hace esta distinción entre la capacidad y el poder, y que tipo de ver como cosas disociadas, ¿verdad? Dices que la capacidad es intrínseca, el poder son los permisos que concedemos a la IA. Así que podemos mantener el poder alejado de la capacidad de las IAs y hacer cosas como tal vez no darle estatus legal, no darle la capacidad de acumular riqueza, no darle la capacidad de presionar a los gobiernos. E imaginas que podemos controlar el poder y separarlo de la capacidad. En realidad no he oído la opinión de Daniel sobre la disociación de la capacidad y el poder. Me gustaría oírla. Pero me pregunto si Daniel piensa que realmente no se pueden disociar estas cosas. La capacidad lleva al poder. Y así, Arvind, tal vez podríamos conseguir Daniel para responder allí en su primer punto. Entonces, Daniel, esta idea de que la capacidad y el poder estan separados, ¿que piensas al respecto?

Arvind:
[30:45] Estoy de acuerdo en que son separables en principio. Como hay cosas diferentes por las razones que ha dicho Arvind. Creo que en la práctica, van a tender a unirse por las razones ilustradas en 2027. Quiero decir, creo que sólo en concreto, si dejas que las empresas automatizar su investigación y obtener súper inteligencias, eso es, quiero decir, como Arvin dijo, eso es, usted no quiere estar en esa situación en la primera, como si se llega a esa posición, tal vez usted ya ha metido la pata porque ahora están sentados en esta increíblemente capaz, increíblemente valioso cosa. Y van a ser capaces de presionar de manera creíble al gobierno y decir cosas como China está construyendo su propia versión y China va a dejarlo salir a la economía y hacer que transforme las cosas y aumente rápidamente las capacidades militares y así sucesivamente. Así que si no quieres perder contra China, entonces tienes que dejarnos hacerlo aquí en nuestro lado del Pacífico. No se trata de una predicción sobre la tecnología, sino sobre la dinámica social. Estamos prediciendo políticamente que eso es lo que las empresas van a decir y eso es lo que el gobierno va a aceptar, al menos por defecto. Y eso significa que acabarán teniendo el poder poco después de tener las capacidades, si eso tiene sentido. Y a lo que Arvind estaba diciendo antes, creo que sí, como en un sentido estoy de acuerdo contigo en que si estás confiando en la alineación

Arvind:
[31:57] Ya has metido la pata como civilización, si estás llegando al punto en el que dices "sí, vamos a tener un ejército de superinteligencias y va a estar haciendo todas estas cosas en la economía de forma autónoma y el gobierno va a estar apoyándolo en lugar de tratar de combatirlo y por eso tenemos que asegurarnos de que tiene los valores correctos, porque de lo contrario podría ir muy mal para nosotros", como en cierto sentido, ya has tomado una tonelada de riesgo en el momento en que te pones en ese punto. Y usted tiene como, usted tiene una especie de juego como el juego de mesa en una posición muy difícil de ganar. Creo que estoy de acuerdo contigo en eso. Y aquí está tal vez la cosa que decir es como, AI-2027 es una predicción, no es una recomendación. Como que esto no es lo que pensamos que debería pasar.

David:
[32:37] Si.

Arvind:
[32:37] Si.

Daniel:
[32:38] Estoy totalmente de acuerdo en que las compañías de IA van a estar presionando para todo tipo de cosas que, de nuevo, quiero seguir usando este lenguaje, son incompatibles con una democracia. Y por eso creo que eso es lo que deberíamos intentar detener y no deberíamos de ninguna manera darlo por sentado. Y no creo que las empresas de IA sean tan poderosas como las pintamos. Si nos fijamos en las cifras, sobre todo en EE.UU., la gente se muestra más aprensiva que entusiasmada con la inteligencia artificial. Creo que está muy claro que si las empresas apuestan por este tipo de asociación autoritaria entre las grandes tecnológicas y el gobierno, seremos capaces de movilizar la suficiente reacción pública en contra. Y debemos construir la infraestructura para hacerlo potencialmente ahora. Estas son algunas de las cosas en las que deberíamos centrarnos. Y para mí, esta diferencia entre capacidad y poder, ni siquiera es principalmente

Daniel:
[33:32] una cuestión de las propias empresas de IA. Hacemos una gran distinción entre el desarrollo y el despliegue de la IA. Así que las entidades que van a estar a cargo de esos límites de poder van a ser las organizaciones cotidianas, las escuelas y las instituciones educativas, las agencias gubernamentales, los bancos, los hospitales.

Daniel:
[33:53] Los bufetes de abogados, todas las demás empresas de la economía que van a estar utilizando la IA en sus diversos sectores de maneras que, o bien son con supervisión y compatibles con los principios que queremos, o van a estar entregando cantidades locas de poder a los sistemas de IA en la búsqueda de, pensamos, pequeños aumentos en la eficiencia. Y una vez más, no importa si las propias empresas de IA están exagerando las cosas y están hambrientas de poder. Podemos asegurarnos de que la amplia base de organizaciones e instituciones de nuestra sociedad no caigan en esta exageración y se atengan a los principios que consideramos importantes.

Arvind:
[34:34] Me gustaría

David:
[34:35] Intentar definir realmente la línea que os separa a los dos, porque hay mucho acuerdo sobre muchísimas cosas. Y no puedo poner un alfiler exactamente donde siento que hay desacuerdo. En el lado de Daniel de las cosas, se siente como si hubiera este demonio en una caja de Pandora que tenemos que no permitir salir de la caja. Y es esta verdad, este objeto que está allí que necesitamos cerciorarnos de que está contenido. Y creo que en el lado de Arvin de las cosas, sólo hay una declinación de la existencia del demonio en el primer lugar. Y esa es una buena manera de articular donde esta la linea. Pero la premisa fundamental de Arvin, creo, es que esto no es un demonio dentro de una caja de Pandora. Esta es una compañía normal de tecnología Web2. Esta es la próxima iteración de Facebook, Meta, Twitter, Instagram, justo ahora en la era de la IA. Y van a tener poder y control e influencia como hemos visto en toda la cohorte actual de empresas de IA. Pero no es fundamentalmente diferente de cualquiera de los poderes que hemos visto, como Mark Zuckerberg, un equipo. Y entonces Daniel es como, no, esto es un organismo que existe. Tendrá vida. Tendrá una mente propia. Se escapará. Y eso cambiará la faz de la Tierra para siempre. Y estos son nuestros dos extremos. Y es fácil para mí identificar cuando son polos opuestos. Pero todavía estoy luchando para encontrar esta línea donde ustedes realmente no pueden cruzar el uno al otro a través del territorio de otros.

Arvind:
[36:04] Bueno, suena como, Arvind, tal vez simplemente no crees que va a haber superinteligencia tan pronto. Y también piensas por separado que incluso si la hubiera, no transformaría la economía tan rápido. ¿Es eso cierto?

Daniel:
[36:16] Si, estoy de acuerdo.

Arvind:
[36:17] Allá vamos. Esa es la respuesta.

Daniel:
[36:18] De nuevo, quiero decir, soy escéptico de que la superinteligencia llegue a existir para algunas definiciones de superinteligencia. Y la razón por la que la IA está superando ligeramente a los humanos en la mayoría de las tareas para mí no es superinteligencia es que hay una especie de inversión de causa y efecto aquí en el sentido de que creo que si nos aseguramos de que nuestras políticas y prácticas son tales que los humanos permanecen en control y utilizan la IA como herramientas, entonces esos aumentos en las capacidades van a estar aumentando efectivamente lo que Zayesh y yo pensamos que es la inteligencia humana, a diferencia de un humano biológico tecnológicamente sin ayuda frente a la IA, que pensamos que es la comparación equivocada en primer lugar.

Ryan:
[37:00] Daniel, ¿en qué se equivoca Arvind aquí?

Arvind:
[37:03] La definición de superinteligencia que estaba describiendo en esta conversación no es ligeramente mejor que los humanos en la mayoría de las tareas, sino ligeramente mejor que los mejores humanos en todas las tareas relevantes. Y creo que si logras ese hito, entonces las cosas van a ser bastante transformadoras. Creo que, en particular, una de las tareas relevantes es operar de forma autónoma como un agente en el mundo, ya sabes, haciendo lo que sea necesario para dirigirte hacia tus objetivos. Y ahí es donde está la analogía. Quiero decir, creo que son tus palabras, no las mias, decir que es como un demonio alienigena o lo que sea.

David:
[37:34] Esas son mis palabras.

Arvind:
[37:35] Pero, como, por eso esa analogia es relevante, es que, como, algo que cumple la definicion de superinteligencia como la he descrito es un agente. No es sólo una herramienta. Es algo que puede operar de forma totalmente autónoma en el mundo y como, ya sabes, aprender sobre la marcha y perseguir sus objetivos y así sucesivamente. Y de hecho, es mejor en hacer eso que los mejores seres humanos en esa habilidad, ya sabes. Así que es un agente comparable a los humanos en ese sentido. Y de hecho, es superior a los humanos en ese sentido. Y creo que incluso si lo mantenemos ligeramente mejor que los mejores humanos en todo, ya sería suficiente para que este tipo de analogía fuera correcta.

Daniel:
[38:12] ¿Por qué, por qué, por qué, por qué?

Arvind:
[38:14] Bueno, una forma de pensar en ello es, pensar en el, sería una especie de aterrizaje alienígena que fuera como, básicamente como los humanos, excepto que un poco mejor. Y no sólo mejor que el humano promedio, sino mejor que los mejores humanos, ¿sabes? Si esta especie alienígena aterrizó en la Tierra, incluso si no eran como, dramáticamente mejor en nada, pero si son sólo un poco mejor que los mejores seres humanos en todo, y hay un millón de ellos, ya que sería como, guau, como que van a crear como una colonia en alguna parte. Va a ser como una colonia muy productiva económicamente. Va a ser probablemente militarmente poderosa, también. Y entonces te das cuenta como, oh, wow, como su población se duplica cada seis meses. ¿Qué? Como, whoa, vamos a jugar que hacia adelante un poco. Y en unos pocos años, tendrán más población que la humanidad. Santo cielo. Ya sabes, como que eso es lo que obtienes. Ese es el tipo de cosas que te imaginas.

Arvind:
[39:02] Básicamente, como si fueran literalmente extraterrestres con, ya sabes, tentáculos aterrizando en la Tierra y tuvieran ese nivel de capacidad y ese tiempo de duplicación de la población. Sería como, wow, como en un par de años, van a ser una especie competitiva para la humanidad. Y luego, cuando se añade el factor de que, en realidad, creo que van a ser no sólo un poco mejor que los mejores seres humanos en todo, pero como que como un piso, pero también mucho mejor que los seres humanos en muchas cosas, ya sabes, entonces eso como que sólo lo fortalece. Y luego creo que una cosa adicional también es que, como, todo esto, como, ángulo político, también, es que, como, creo que si los extraterrestres aterrizaron en la Tierra, creo que habría una coalición natural de, como, los seres humanos en contra de los extraterrestres, ya sabes, y la gente sería una especie de vacilación natural de, como, poner a los extraterrestres a cargo de los EE.UU. Militar de manera efectiva y, como, ya sabes, básicamente tenerlos a cargo de todo tipo de empresas y cosas por el estilo. aunque en realidad ahora que digo que históricamente en el colonialismo cosas análogas sucedieron todo el tiempo así que lo que sea pero como con las IAs es como Bueno, creo que las empresas van a decirle a todo el mundo y decirse a sí mismos que, como, en realidad están bajo control y que, como, las IAs sólo están haciendo lo que ellos quieren, lo que los seres humanos quieren que hagan.

Ryan:
[40:11] Esto es tan diferente. La representación de alienígenas aterrizando en la Tierra siendo super inteligentes, haciendo lo que quieren es tan diferente, Arvin, a la tecnología normal. Ayúdanos a cuadrar esto. Claro.

Daniel:
[40:24] Quiero decir, eso es muy útil para mí. Me ayuda a señalar exactamente donde no estoy de acuerdo. Creo que esta analogía extraterrestre, la duplicación de la población, etcétera, todo eso es una elección. Y creo que es una elección que no haremos. No tenemos que hacer, por lo menos.

Ryan:
[40:37] Espera, Arvind, así que reconoces que es posible. Concedes que es posible, pero crees que los humanos pueden optar esencialmente por no dejar que suceda.

Daniel:
[40:46] Es exactamente la capacidad no es igual a PowerPoint. Así que estamos hablando de capacidades, de nuevo, que creo que van a ser ligeramente mejores que los humanos sin ayuda e iguales a los humanos operando con la ayuda de la IA. Y en ese escenario, es totalmente una opción decir que vamos a tratar esto como una colonia alienígena. Y lo que eso significa es que no sólo dejar que un sistema de IA opere en el mundo sin supervisión, sino dejar que colaboraciones enteras de sistemas de IA operen sin supervisión. Ya sabes, darles este poder, darles el control sobre los recursos. Y más que eso, el marco de los humanos contra la IA para mí, creo, es profundamente peligroso. Peligroso en el sentido de que provocará muchos de los problemas de seguridad que nos preocupan. Y la razón es que cuando se habla de humanos contra IA, se está asumiendo que todos estos sistemas de IA van a actuar hacia el mismo objetivo en connivencia unos con otros. Pero, de hecho, deberíamos diseñar todos nuestros sistemas de IA de modo que la mejor defensa contra un sistema de IA que funcione mal sea otro sistema de IA. Así que nunca deberíamos llegar a un punto en el que se enfrenten los humanos contra la IA.

David:
[41:54] Imagina que tu cuenta corriente y tu monedero DeFi hablaran por fin el mismo idioma. Eso es Mantle Banking, una cuenta fiat y cripto todo en uno. Te permite ahorrar, gastar e invertir desde un único panel de control. Pásate por un café, apuesta por el rendimiento de ME3, o incluso utiliza tarjetas virtuales para pagos a través de Apple Pay. Así que parece Web2 simple, pero sigue siendo Web3 soberano. Para los asignadores, conozca Mantle Index 4, el S&P 500 de las criptomonedas. Un fondo tokenizado de grado institucional, sembrado con 400 millones de dólares de la tesorería de Mantle y equilibrado entre Bitcoin, Ether, Sol y establos de rendimiento mejorado. Un activo, amplia exposición, pura componibilidad DeFi. El impulso es real. Fallos ME, puentes FBTC y una tesorería comunitaria de 2.400 millones de dólares están impulsando la siguiente fase de las finanzas en la cadena. Mantle aporta acceso al mundo real, rendimiento y utilidad a los activos digitales. Listo para la próxima era de las finanzas en la cadena que realmente pertenece a 2025, explora Mantle en mantle.xyz o sigue a mantle underscore official. Mantle, bridging TradFi and DeFi so you don't have to.

David:
[42:47] Imagina verificarte a ti mismo sin entregar datos personales.

David:
[42:50] Sin bases de datos hackeadas, sin exposición personal innecesaria para airdrops, y sin bots de IA arruinando el gobierno de la comunidad. Conoce SELF, el protocolo de verificación de identidad en cadena construido para la privacidad y el control. El protocolo SELF utiliza pruebas de conocimiento cero para confirmar tu identidad de forma segura. Los usuarios demuestran detalles clave como la edad o la ciudadanía sin revelar información personal sensible. SELF nunca almacena tus datos, sólo genera pruebas criptográficas. Funciona en tres pasos. Primero, regístrate y verifica. Utilice la aplicación Self para escanear el chip RFID de su pasaporte biométrico. Self verifica la autenticidad con pruebas de conocimiento cero. Cada pasaporte crea una identidad única. En segundo lugar, puedes compartir las pruebas de forma privada. Las aplicaciones de terceros solicitan pruebas de identidad, como confirmar que eres mayor de 18 años. También puedes vincular las pruebas de forma segura a monederos públicos para envíos aéreos o participación en gobernanza. Y por último, la verificación segura. Las aplicaciones validan tus pruebas instantáneamente en la cadena, como en Celo, o fuera de ella. Auditada por ZK Security, la aplicación Self ya está disponible en iOS y Play Store. Visita self.xyz y sigue el Protocolo Self en X. Arvind, con mi metáfora de que hay un demonio en la caja de Pandora, este demonio es una IA súper sensible que es muy poderosa, y si se escapa, entonces se acabó el juego.

David:
[43:59] Creo que lo que rebates es esta noción de que esta caja de Pandora es confusa e incontrolable para los humanos. Y creo que tú dirías: "En realidad, no, es una caja totalmente razonable sobre la que podemos pensar, discutir y razonar. Y tenemos control sobre eso. Y creo que Daniel diría que en realidad tenemos menos control sobre la naturaleza de la caja que limita la IA de lo que pensamos. ¿Estarías de acuerdo con esa caracterización?

David:
[44:28] Sí.

Daniel:
[44:28] Así que, lo siento, déjame intentar entender lo que esta analogía significa realmente en términos de los detalles técnicos en los que estoy más acostumbrado a pensar. Así que, sí, quiero decir, hay un sentido en el que la IA es inexplicable e ininterpretable. Y siento llevar esto a una discusión más técnica, pero me ayuda a asegurarme de que no estoy malinterpretando la analogía y tergiversando mis propios puntos de vista por ello. Y hay preocupaciones como la alineación engañosa. La IA puede fingir estar alineada cuando la estamos probando, pero luego, cuando se despliega, puede actuar de forma muy diferente. Pero lo que estamos viendo es que, sí, esas preocupaciones ya están surgiendo incluso con los actuales sistemas de IA muy por debajo de la superinteligencia. Ni siquiera tenemos que esperar al futuro. Pero en realidad, nuestras mejores defensas contra eso son otras herramientas de IA con el fin de desentrañar este tipo de comportamiento. Y así, aunque no seamos nosotros los que construyamos el demonio, si se quiere, neurona a neurona, está emergiendo del proceso de entrenamiento. Estamos en control de la caja y estamos en control de la caja a través de la ayuda de otros sistemas de IA. Y podemos asegurarnos de que el equilibrio de poder se mantenga así. Y podemos asegurarnos de que, a medida que mejoran las capacidades de la IA, no solo se hace más poderoso al demonio, sino también a la propia caja. Así que esa es una forma de volver a tu analogía.

David:
[45:46] Daniel, ¿qué piensas cuando oyes eso?

Arvind:
[45:49] Un par de cosas. En primer lugar, AI 22.7, esto vuelve a algo que dijiste antes. La IA 22.7 en realidad no muestra a la IA escapando. Así que, quiero decir, creo que podría suceder. La IA podría escapar, pero en realidad no es lo que estaba prediciendo. Quiero distinguir entre dos riesgos, que sólo quiero poner sobre la mesa para que en futuras partes de esta discusión, uno es la pérdida de control, que es como, ¿qué pasa si la IA está mal alineada? ¿Y si finge estar alineada? Ese tipo de cosas. Pero luego, totalmente separado de eso, incluso si no estás preocupado por eso en absoluto, está la concentración de poder, como quién está a cargo de todas las IAs, ya sabes, y quién les dice qué hacer y quién les da valores, ya sabes. Y, bueno, habiendo puesto eso sobre la mesa, ahora para responder a tu pregunta, creo que la investigación de control es genial. Y parece que eso es de lo que habla Arvind, donde básicamente deberías construir tu sistema asumiendo que un sistema de IA individual podría no ser de fiar. Y deberías, de hecho, asumir que no es de fiar y que está, ya sabes, intentando matarte si puede. Y entonces deberías construir un sistema de controles y equilibrios y permisos de seguridad y demás para que no pueda hacerlo.

Arvind:
[46:56] Sabes, parece una forma razonable de diseñar las cosas. Y hay toda una sub-literatura, que surgió de la literatura de la alineación, llamada control de la IA, en la que la gente trabaja en ese aspecto de las cosas. Y creo que es genial. Creo que es importante. Y ahí me gustaría ser como, bueno, las empresas no van a hacer esto y no van a hacerlo lo suficientemente bien y van a perder el control, es mi predicción. Y creo que como en la práctica, como creo que es posible, en principio, tener todo este sistema establecido, pero no es sólo como las empresas no están realmente invirtiendo tan duro para asegurarse de que todo este sistema de controles y equilibrios está listo y ha sido depurado y ha sido como robustified a super inteligencia o a cualquier cosa cerca de ese nivel de inteligencia por el momento tenemos esas cosas. Y en cambio, creo que. Bueno, es una especie de paralelismo con todo el tema de la alineación. Como con la alineación, hay todo tipo de técnicas que se pueden utilizar que tal vez dará lugar a IAs más alineados, cosas como la supervisión escalable y como interpretabilidad y así sucesivamente. Pero lo importante es preguntarse qué técnicas vamos a usar en la práctica y hasta qué punto estamos seguros de que van a funcionar en la práctica. Y de manera similar con el control, yo diría, sí, imposible. Usted puede tener todo este sistema de controles y equilibrios. Pero en la práctica, durante la explosión de la inteligencia, cuando las empresas están automatizando toda su investigación y así sucesivamente, no espero que inviertan tanto en esto en comparación con lo que tendrían que hacer

Daniel:
[48:15] Así que puedo decir una cosa a esto antes de pasar al siguiente punto, esto en realidad pone de relieve otra gran diferencia de visión del mundo entre nosotros, porque para nosotros el papel de lo que ustedes llaman empresas de inteligencia artificial, nosotros llamamos desarrolladores de modelos, es mucho, mucho menos de lo que es para ustedes. No nos importa lo que las empresas de IA hagan o dejen de hacer. Mucha de esta investigación está ocurriendo de todos modos. Está sucediendo en el mundo académico. De hecho, estamos recopilando una gran lista de los muchos y variados tipos de métodos de control de IA. Así que eso es una cosa. Las empresas no son tan poderosas. Y en segundo lugar, para nosotros, estos métodos de control tienen que ocurrir más cerca del punto de despliegue. Así que van a ser los bufetes de abogados y los hospitales los que encuentren estas formas de control de la IA que tengan sentido para sus propias industrias y sus propios escenarios de despliegue. Esa es otra razón por la que no importa tanto lo que OpenAI haga o deje de hacer. Y para dar sólo un ejemplo práctico de ello, incluso en el caso más simple de despliegue de un tipo de bot relativamente inocuo en comparación con el tipo de cosas de las que estamos hablando, vemos muchos casos en el mundo real de lo difícil que es para los desarrolladores desplegar sistemas de IA sin supervisión si no están innovando en este tipo de métodos de control. Un gran ejemplo es, creo, del año pasado, Air Canada desplegó un chatbot de servicio al cliente. De nuevo, algo muy, muy inocuo. No tenía capacidad para reservar vuelos ni nada parecido, solo para responder preguntas.

Daniel:
[49:44] Pero este bot no era muy preciso, como cabría esperar, y daba a la gente información incorrecta sobre programas de fidelización o algo así.

Daniel:
[49:53] Y el cliente perdió dinero por ello. De hecho, demandaron a la aerolínea y los tribunales de Canadá concluyeron que la aerolínea es realmente responsable de compensar las pérdidas monetarias que sufrió el cliente. Así que este tipo de cosas no es un ejemplo aislado, ha sido un problema de responsabilidad tan grave para las empresas que incluso el despliegue, de nuevo, la cosa más simple, más tonta como un chatbot ha ido tan lentamente, ¿verdad? Y por lo tanto, nuestra predicción, y esto es coherente con la observación hasta el momento, es que los implementadores, si empiezan a hacer algo significativo con estos sistemas, se van a enfrentar a riesgos de responsabilidad tan graves, incluso en virtud de la legislación vigente, que creo que debe ser reforzada por la futura regulación de la IA, que se van a ver obligados a innovar en los métodos de control antes de llegar a ninguna parte con, ya sabes, despliegues serios. Y un ejemplo de tal innovación, parte de ella es innovación técnica, pero gran parte de ella va a tener que ser no técnica. Hay una startup que ofrece seguros para este tipo de errores que podrían cometer los chatbots de IA. Para nosotros, el seguro es una innovación interesante en el control de la IA. Este es el tipo de cosas que se van a necesitar y que ya están ocurriendo a gran escala. La gente no parece darse cuenta necesariamente de cuánto porque, como dijo Daniel, el control comenzó originalmente como un subcampo de la alineación de la IA, pero ya no lo es. Si nos fijamos en todo el material de control que está sucediendo en diversas disciplinas como la interacción humano-ordenador, la seguridad informática, y en la industria, en realidad es mayor que la alineación. Y creo que esa historia merece ser contada. Y esperamos hacerlo en un seguimiento de nuestro documento.

Ryan:
[51:23] Daniel, Air Canada chatbot, como, ya sabes, parece que Arvind está diciendo que cada vez que algo va mal con la IA, básicamente, nuestras instituciones existentes se mantendrán, se abofetea de nuevo en su lugar. Mantendremos la especie alienígena en el zoo, si queremos usar analogías y metáforas y que viva allí. ¿Por qué está tan mal? Quiero decir, eso es lo que hemos visto en el pasado. Sé que antes en la conversación, estabas diciendo, bueno, por supuesto, las cosas se van a parecer a 2025 todo el camino hasta 2027 y luego algo sucede y entonces tenemos este momento agi que es tal vez otro tema de discusión si queremos entrar en ella parece mucho como Arvind no cree que el hito agi importe en absoluto sí Arvind has dicho que este agi no es un hito no hay un umbral de capacidad agudo que produzca un impacto instantáneo mientras que Daniel eso parece ser parte de la premisa de AI 2027, ¿verdad? La línea AGI, marzo de 2027, la alcanzamos, la cruzamos, y ponemos en marcha el reloj de la explosión de la inteligencia.

Arvind:
[52:25] Quiero decir, me olvido si realmente usamos el término AGI en alguna parte del texto de AI 2027, pero básicamente no lo hacemos. Creo que lo dividimos en diferentes hitos y decimos que es un progreso continuo que vamos a resumir en una serie de hitos. El primer hito es el codificador automatizado, el segundo hito es el investigador automatizado de IA, finalmente se llega a la superinteligencia, pero estamos de acuerdo en que es un progreso continuo, no habrá ninguna línea clara en particular. Y representamos ese progreso en el transcurso de 2027 en el escenario. En primer lugar, quiero centrarme en la comprensión, Arvind, su posición. Parece como si dijeras que las empresas van a ser muy cautelosas a la hora de integrar la IA en sus cosas. Y algunas de ellas serán incautas, como O Canada, y luego pagarán por ello. Y entonces la industria aprenderá de sus errores. Y esto va a dar lugar, A, a la presión del mercado sobre los desarrolladores de IA para hacer IAs más alineadas y más controladas. Pero entonces B, por separado, incluso si no están alineadas y controladas por el desarrollador, la industria las controlará y sólo las desplegará de manera que no puedan causar tanto daño.

Arvind:
[53:34] Definitivamente, hay un gran desacuerdo conmigo. Así que hemos identificado un quid. Creo que esto es cierto en este momento. Estoy de acuerdo en que ahora mismo, la gente es muy cautelosa sobre la integración de la IA en todo. Y esto está creando este tipo de fuerza de mercado.

Arvind:
[53:53] Sin embargo, como tú mismo has dicho, hay un montón de empresas que no son cautelosas y que están integrando cosas de todos modos. Veremos cómo evoluciona. Sin embargo, lo principal que quiero decir, que tal vez sea un desacuerdo, es que creo que una vez que tengas el ejército de superinteligencias, como estoy imaginando, supongamos que las cosas van exactamente como predice AI 2027, que por supuesto no va a suceder. Pero supongamos que es exactamente así. Entonces, en 2028, el profesor Arvind estará escribiendo artículos de opinión sobre cómo no deberíamos confiar a estas superinteligencias todo este poder y responsabilidad y cómo no deberían estar integradas en la economía. Y no deberíamos dejar que dirijan fábricas de forma autónoma y diseñen nuevos tipos de robots y demás.

Arvind:
[54:30] Pero entonces serás reprendido por el presidente y todas estas otras personas poderosas que dirán que tenemos que vencer a China. Y, ya sabes, si no lo hacemos, mira lo que está pasando en China. En China, están desplegando sus IAs en todas partes. Y se siente como una lucha política que vas a perder. Y no estoy diciendo que debas perder la pelea. Como, estoy de acuerdo, ya sabes, como, es peligroso desplegar superinteligencia en todas partes. Pero sólo estoy diciendo, como, políticamente hablando, creo que el punto de intervenir es antes de tener el ejército de superinteligencias, no después de que ya se ha construido y las empresas ya están, como, usándolo para presionar al gobierno y así sucesivamente. Como, personalmente, probablemente me retiraré en ese momento. Y yo probablemente, como, probablemente sólo, como, oficialmente renunciar y sólo, como, ir a pasar algún tiempo con mi familia o algo así. Porque creo que es básicamente sin esperanza una vez que has llegado a, como, ya sabes, a mediados de, una vez que estás en, como, marzo de 2028 en nuestro escenario, como, me siento como que es básicamente sin esperanza en ese punto. Mientras que suena como que en su lugar tienen un montón de esperanza y creo que, al igual que, incluso si deja que las cosas se que, bueno, está bien, pero ahora esto contradice lo que estás diciendo antes. Sí. Dime lo que piensas. Estoy confundido sobre cuál es tu posición al respecto.

Daniel:
[55:39] Lo siento, no sé qué contradicción has identificado, pero creo que un punto crucial de desacuerdo que puedo señalar es que para nosotros, el despliegue de la IA con la supervisión adecuada no es esta propuesta de negocio perdedora. Creo que estamos innovando para poder garantizar el control de la IA de forma que no sea simplemente un humano en un bucle, sellando o adivinando cada decisión. Mucha gente piensa intuitivamente que el control de la IA es así. Y si lo hace, parece claro que lo más eficiente es desplegar la IA de forma autónoma. Pero para nosotros, esa no es la única opción. Y en segundo lugar, de nuevo, todo este ejército de superinteligencia está enmarcado. Una vez más, sigo volviendo a que la mayoría de las tareas son como escribir. Y fuera de ciertas áreas como la investigación de la IA en sí, que es un problema puramente computacional, y luego tal vez las tareas puramente robóticas, la mayoría de los sectores de la economía, de nuevo, si usted toma la ley y la medicina y cosas por el estilo, hay tales limitaciones inherentes al rendimiento que cualquier ejército que usted construye sólo le va a dar una ligera mejora de la eficiencia. Y creo que será una idea perdedora para la mayoría de las empresas cambiar enormes riesgos de seguridad por esas ligeras mejoras de eficiencia.

Arvind:
[56:55] Bueno, definitivamente también estoy en desacuerdo sobre la ligereza. Creo que difiere de un campo a otro y tal vez en algunos campos será leve, pero creo que en muchos campos será masivo y que causará estos enormes beneficios para las empresas de IA y como que será esta cosa loca. No en todas partes. Estoy de acuerdo en que en algunos campos será sólo una ligera ventaja. Pero sí, creo que tratando de volver a lo principal que estabas diciendo. Oh, sí, eras más optimista sobre las cosas de control a nivel técnico. Usted es básicamente como que no es sólo va a ser como tratar de poner a los seres humanos en el bucle. Suena como si estuvieras diciendo que, para cuando tengamos, ya sabes, para cuando llegue el 2027, tendremos técnicas de control que nos permitirán obtener los beneficios de estas superinteligencias realmente inteligentes sin los riesgos, siempre y cuando se apliquen correctamente, básicamente, siempre y cuando, ¿es eso lo que estás diciendo?

Daniel:
[57:41] Sí, quiero decir, nuestros plazos son más largos, ¿verdad? No creemos que sea para 2027. Pero tampoco creemos que vayamos a tener el potencial para, ya sabes, una IA superinteligente sin supervisión que nos proporcione eficiencias económicas masivas para 2027.

Arvind:
[57:56] Pero hipotéticamente, si los plazos fueran más cortos de lo que crees, y consiguiéramos estas IAs tan potentes para finales de 2027, serías más optimista que yo en cuanto a que podríamos desplegarlas de una forma lo suficientemente controlada, que no necesiten estar alineadas para que sea seguro.

Daniel:
[58:10] Bueno, quiero decir, si es en 2027, entonces estamos muy equivocados en los plazos, ¿verdad? Entonces también tendríamos que estar muy equivocados en la línea de tiempo de la investigación de control. Mucha de esa investigación de control está ocurriendo. Vemos que se acelera en el transcurso de la próxima década más o menos. Si la capacidad se acelera masivamente, pero la investigación de control no se acelera, entonces sí, entonces estamos en un mal lugar.

Arvind:
[58:30] De acuerdo. En ese caso, ese es otro buen punto de acuerdo es que como, también creo que si tuviéramos otros, ya sabes, 15 años antes de llegar a la superinteligencia según la definición que he descrito, me sentiría mucho más optimista en general porque creo que cosas como la investigación de control y la investigación de alineación habrían tenido en general mucho más tiempo para cocinarse. Y en muchos sentidos, creo que el mundo habría empezado mejor si las cosas hubieran sucedido en 2037 en lugar de, ya sabes, en 2027 o lo que sea.

Daniel:
[58:58] Sí.

Arvind:
[58:59] Sí. Así que en eso estamos de acuerdo.

Ryan:
[59:00] A lo largo de esta discusión, hemos tratado varios puntos en los que los dos estáis en desacuerdo y algunos en los que estáis de acuerdo. Me pregunto si podrías, ya sabes, empezar a resumir esto para nuestra

Ryan:
[59:12] audiencia a medida que nos acercamos al final. Y una forma de hacerlo es ilustrar, voy a movernos más allá del 2027, vamos a movernos a otra fecha más interesante que es como el 2030, digamos dentro de cinco años, y voy a haceros a ambos esta pregunta a través de vuestra lente de predicción en términos de cómo veis la Inteligencia Artificial y el mundo y cómo se desarrolla todo esto, pero básicamente, ¿cómo será la Inteligencia Artificial en el 2030 y cómo será el mundo, Arvind, el primero en el 2030?
[59:42] Claro.

Daniel:
[59:42] Empecemos por la economía. Creo que es probable que algunos puestos de trabajo se transformen radicalmente, tal vez se enfrenten a un desplazamiento masivo de empleo. Pero creo que para la mayoría de los trabajos, vamos a tener una automatización gradual tarea por tarea, junto con un montón de innovaciones en la forma de desplegar estos sistemas de IA de forma segura. Es probable que aumente la competencia geopolítica. Pero preveo y también espero que no vamos a comprar al por mayor a la dinámica de la carrera armamentista. Porque mira, si puedo hacer una pequeña digresión aquí, esa dinámica de carrera armamentística está presente incluso sin IA. Y esa es la razón por la que la guerra siempre ha sucedido, donde cada lado tiene miedo del otro lado.

Daniel:
[1:00:32] Y, ya sabes, si ese es el enfoque que vamos a tomar para la geopolítica, es un enfoque muy arriesgado. incluso si sacas a la IA del cuadro, ¿verdad? Así que cualesquiera que sean los métodos diplomáticos que hemos estado utilizando a lo largo de la historia de, ya sabes, la guerra y la geopolítica para ser capaces de amortiguar esas tensiones y darse cuenta de que la escalada no es en el mejor interés de nadie, tenemos que aplicar todo eso al momento actual también, tal vez incluso con más habilidad. Y de nuevo, soy cautelosamente optimista de que eso es algo que seremos capaces de gestionar. Y, por último, las predicciones en términos de otros aspectos de la interrupción relacionada con la IA, creo que los desafíos al sistema educativo, los desafíos a la noción de identidad de las personas, los desafíos a lo que significa el arte, muchas de estas cosas que no son realmente sobre el mercado de trabajo, tal vez van a suceder en una escala de tiempo más corta. Y en este momento, han estado sucediendo en mayor medida que los trastornos económicos. Así que yo tal vez le daría la vuelta. No sé si Daniel está de acuerdo con esta perspectiva o no.

Daniel:
[1:01:41] Pero las disrupciones que vamos a ver más rápido no están realmente relacionadas con eficiencias económicas, sino más bien con personas que adoptan la IA en su vida personal de varias maneras, ya sea como compañeros con los que forman relaciones sociales, o en el sistema educativo, y entonces tienes una crisis de ¿qué demonios significa la universidad? ¿Estamos enseñando a nuestros hijos cosas significativas?

Daniel:
[1:02:05] Del mismo modo, ¿qué significa el arte? Incluso en 2023, creo que Hollywood tuvo que lidiar con, ¿qué significa esto para las películas y para el arte? Y luego hubo un movimiento de oposición al uso de la IA y el arte. Así que esos cambios se producen muy rápidamente, y quizá se aceleren de aquí a 2030. Pero yo no preveía una sustitución de puestos de trabajo a gran escala, por ejemplo, para 2030.

Ryan:
[1:02:27] Daniel, ¿y tú? ¿Qué aspecto tiene la IA? ¿Cómo será el mundo en 2030?

Arvind:
[1:02:31] Bueno, si vas a ai-2027.com, que describe con cientos de páginas de detalle este tipo de cosas. Y para que quede claro, creo que me he ido actualizando hacia líneas temporales ligeramente más largas desde finales del año pasado, cuando estábamos escribiendo la historia principal que se convirtió en AI-2027. Así que ahora apuntaría más hacia 2028 en lugar de 2027, pero es básicamente lo mismo. Así que la respuesta corta a tu pregunta es que espero que el mundo se haya transformado radicalmente para 2030, probablemente. No estoy seguro. Puedes preguntarme cómo sería, cómo creo que sería si eso no fuera cierto, ¿sabes? Y entonces tal vez estaría de acuerdo con Arvind que como, como, creo, creo que el, podría imaginar que las cosas están tomando más tiempo de lo que espero. Podría imaginar que la ola actual se desvanece y da lugar a muchas aplicaciones que utilizan grandes modelos lingüísticos, pero el núcleo de la investigación automatizada en IA nunca llega a materializarse. Puedo imaginar que eso suceda. Pero no apuesto por ello.

Ryan:
[1:03:31] ¿Qué aspecto tiene? Puedes dar para las personas que no han leído 2027, sé que hay mucho más detalle allí y hay como múltiples caminos que podríamos tomar, pero como para las personas que no han entrado en ese detalle todavía, lo que hace 2030, cuando dices radicalmente diferente en 2030, quiero decir, algunas personas están imaginando, sí, Daniel, quiero decir, es radicalmente diferente después de Internet. Y entonces tenemos teléfonos, smartphones, todo es radicalmente diferente.

Arvind:
[1:03:52] Esto se remonta al comienzo de todo esto, como la tecnología normal frente a la que no lo es. Sí. Que, por cierto, una pequeña tangente, creo que va a ser normal en algunos aspectos y no normal en otros. Ya sabes, como, matices. Quizás estés de acuerdo con eso. Pero de todos modos, si las cosas van como AI 2027 predice, que creo que probablemente lo harán a finales de esta década, si no literalmente en 2027, tal vez después, tal vez antes, lo que sea. Si las cosas van más o menos así, entonces básicamente es como primero tienes los codificadores automatizados, luego tienes los investigadores automatizados de IA, luego tienes las superinteligencias, por la definición que se acaba de describir, entonces tienes IAs aún más poderosas que no son sólo un poco mejores que los mejores humanos, sino como, tal vez sólo un poco mejor en algunos dominios, pero como mucho mejor en otros dominios.

Arvind:
[1:04:34] Continúas mejorándolas, haciéndolas más eficientes, más rápidas, etcétera. Tienes millones de ellos funcionando, etcétera. Empiezan a ayudar en la creación de nuevas fábricas para producir más chips para que puedas tener... Y en ese punto, empieza a parecerse al tipo de extraterrestres, la analogia se vuelve relevante, porque es como si tuvieras esta nueva especie que es mejor que los humanos en un monton de formas y al menos economicamente esta compitiendo con los humanos, si no militarmente.

Arvind:
[1:04:59] Y tiene una poblacion que crece realmente rapido porque estan produciendo mas chips y mas fabricas y asi sucesivamente. ¿Cuánto tiempo se tarda en llegar al punto en el que el siguiente hito que yo mencionaría sería una especie de economía robótica de IA totalmente autónoma? Y lo que eso significa es que, sí, todavía habrá seres humanos alrededor, pero como la colección de fábricas y minas automatizadas y automatizado esto y automatizado que en su conjunto es autosuficiente. Como que no depende crucialmente de los humanos para ningún componente crucial de tal manera que hipotéticamente si todos los humanos fueran dejados de lado podría seguir creciendo como economía y podría seguir construyendo más fábricas y minando más cosas y haciendo más investigación y así sucesivamente y mi conjetura es que eso suceda como tal vez un poco menos de un año después de que logremos el hito de la súper inteligencia tal vez tomará más tiempo pero probablemente para el 2030 habrá sucedido así que probablemente para el 2030, habrá todas estas zonas económicas especiales llenas a reventar con todas estas minas de nueva construcción y fábricas y fábricas de chips y centros de datos. Y puede que todavía haya humanos trabajando allí, pero los humanos serán gradualmente reemplazados por robots de varios tipos. Y en conjunto, será como si hubiera esta nueva especie que ahora es... Es ahora como superior y una especie de autosuficiencia. Si tenemos suerte, esa nueva especie estará subordinada a los humanos y seguiremos órdenes humanas. Y eso también es posible.

Daniel:
[1:06:28] ¿Puedo decir algo rápido? Lo siento, Daniel, no quería interrumpirte.

Daniel:
[1:06:31] Creía que habías terminado. Quiero decir, una cosa que voy a decir aquí es que creo que para muchos tecnólogos de IA, y no estoy diciendo necesariamente para ti, Daniel, ya sabes, todo esto podría suceder y que podría ir en la dirección de una especie de utopía o distopía, utopía donde estas IAs son seguras y han proporcionado todas nuestras necesidades materiales y podemos pasar todo nuestro tiempo en el ocio y luego la distopía es la catástrofe. Pero eso es sólo en la burbuja de Silicon Valley. Para la gran mayoría de la gente, ambas posibilidades son distópicas. Casi nadie realmente quiere esto. Así que cualesquiera que sean los argumentos económicos, esto sólo va a ser posible si hay un colapso completo de la capacidad democrática de la gente para influir en la dirección de las cosas porque el público simplemente no está dispuesto a aceptar cualquiera de las ramas de este escenario.

Arvind:
[1:07:23] Sí. Permíteme, hablemos de eso. ¿Has oído hablar de la IA de pausa?

Daniel:
[1:07:27] Sí, por supuesto.

Arvind:
[1:07:27] Sí. No sé si están de acuerdo contigo, pero al menos están de acuerdo en eso. Básicamente dicen que no deberíamos hacer esto. ¿Por qué no evitamos que todo esto suceda? Y, y suena como que estás diciendo al menos algo vagamente similar que como la mayoría de la gente en el mundo, si se les planteó en una votación, sería básicamente como, ¿qué tal si simplemente no construir todas estas cosas robot loco. ¿Es eso lo que estás diciendo?

Daniel:
[1:07:49] Bueno, quiero decir, ¿qué tal si no usamos el dinero de los contribuyentes para subvencionar masivamente a las empresas de IA y crear zonas económicas especiales, verdad? Así que hay una gran asimetría aquí entre intervenir en el curso predeterminado de acción y pausar las cosas frente a afirmativamente, ya sabes, hacer que el gobierno trabaje hacia el futuro haciendo todas las cosas facilitadoras que creo que estás de acuerdo en que tienen que suceder antes de que esto se pueda realizar.

Arvind:
[1:08:12] Sí, excelente. Así que ampliando esto un poco, esto vuelve a lo que estaba diciendo antes sobre el como, ¿cuándo me daré por vencido? Y estoy diciendo como, políticamente hablando, podríamos imaginar como una versión alternativa de AI 2027 en el que el gobierno es básicamente inmune a los grupos de presión de las empresas y es como, no, por supuesto, no vamos a hacer zonas económicas especiales para usted. Sí, por supuesto, vamos a regular, bla, bla, bla, bla, bla. Como si pudieras imaginar ese tipo de trayectoria alternativa. Y entonces se necesitaría más de un año para transformar la economía, ya sabes, y sería como, sería, todo ese tipo de cosas se extendería y mucho más gradual. Sin embargo, sólo como una cuestión de política, creo que va a ser muy difícil ganar esa lucha política. Si dejas que llegue al punto en que ya hay esta loca carrera hacia la superinteligencia entre EE.UU. y las empresas chinas, y ya han construido superinteligencia y ya están como en red fuertemente con el gobierno y como el gobierno les ha estado ayudando con la seguridad para vencer a China. En ese momento, creo que es, como, muy probable que el gobierno será como, sí, hacer las zonas económicas especiales. Sí, vamos a reducir la burocracia. Sí, vamos a subvencionar. Ya sabes, como que estoy esperando que el gobierno sea capturado, básicamente, por las empresas en ese momento. Posiblemente literalmente con la ayuda de las IAs. Después de todo, si son súper inteligentes, eso significa que son mejores en el cabildeo que los mejores grupos de presión. Y son mejores en, ya sabes, persuasión. Son mejores, como, eso ciertamente no puede hacer daño,

Ryan:
[1:09:38] ¿Sabes? Siento que cada vez que interactúo con ChatGPT 03, cierto, me está persuadiendo de algo. Tengo un montón de buenas ideas. Quiero decir, podría ser de abajo hacia arriba como eso.

Arvind:
[1:09:46] Bueno, lo que sea. La cuestión es que espero intervenir antes. Espero no dejar que se llegue al punto en el que ya tengan las superinteligencias, y entonces le pedimos al gobierno que haga que esto sea una transición lenta.

Daniel:
[1:09:58] Sí, sí. Estoy totalmente de acuerdo en que incluso antes de la superinteligencia, si llegamos a un punto en el que la política nacional se orienta en torno a la carrera hacia la AGI, entonces sí, me retiraré en ese momento.

Ryan:
[1:10:14] Me alegro de que ambos no estéis jubilados todavía y podáis darnos algunas ideas hoy. Muchas gracias. Creo que la audiencia se beneficiará de esto. Toda la comunidad de la IA también. Tal vez quiero terminar con esta especie de pregunta extra porque esto ha estado en el fondo de mi mente. Realmente no puedo entender esto. Quiero decir, ambos son genuinos, informados, inteligentes, gente seria, ¿verdad? Creo mucho eso de ustedes dos y de muchos en este espacio. Y lo que me deja perplejo, esto es una especie de meta pregunta que va a este debate, es como, ¿cómo es que hay tan amplia variación de opinión aquí? Al igual que entre las personas informadas, inteligentes. En su lado, Arvin, usted es como, hey, esto es tecnología normal. Hemos pasado por esto antes. Lo hemos visto. Por el lado de Daniel, él es como, esta es una nueva especie alienígena que va a ser súper inteligente. Acabamos de liberarla en el mundo. ¿Cómo es que hay tal variación? Creo que nunca he visto un debate como este en nada de lo que he hecho, donde tienes a todas estas personas muy inteligentes e informadas razonando sobre esto y llegando a conclusiones muy diferentes. Los diferentes P-Dooms y P-Utopias van desde, literalmente, Jan LeCun 0,01% todo el camino hasta Elie Zierukowski y más allá. Es como que va a suceder. Es 100%. No entiendo esto. ¿Habéis sido capaces de encontrarle sentido a esto?

David:
[1:11:35] No es tan sorprendente para mí.

Arvind:
[1:11:37] Me formé como filósofo académico, y hay un dicho que dice que, como, para todo P, hay un filósofo que dice P y un filósofo que dice que no P. Así que, como, creo que, al igual que, en realidad es normal para el discurso humano que este sea el caso, que hay, como, inteligente, gente inteligente que no están de acuerdo entre sí.

Ryan:
[1:11:57] Pero, como, cuando lo que está en juego es tan alto, Daniel?

Arvind:
[1:11:59] ¿Por qué lo que está en juego es alto cambiar eso o algo así? Al igual que la razón por la que los filósofos no están de acuerdo no es porque, bueno, ellos tampoco piensan que lo que está en juego es tan alto. Pero no creo que cargarlos con muchas emociones los haga cantar Kumbaya, ¿sabes? Si.

Daniel:
[1:12:17] Si también puedo hacer una puñalada en esto, en realidad tratamos de decir algunas palabras sobre esto en la sección final del documento. Hablamos de lo que es una cosmovisión y de por qué las cosmovisiones no pueden ser tan diferentes entre sí. En primer lugar, creo que las diferentes predicciones sobre el futuro surgen de diferentes interpretaciones del presente. Así que creo que ese es un gran factor.

Daniel:
[1:12:38] Así que preguntas fundamentales como, ¿se está adoptando actualmente la IA con rapidez? Y ¿es más rápida que las olas anteriores de adopción de tecnología, como los PC cuando salieron por primera vez en los años 70 o lo que sea, la gente no está de acuerdo radicalmente en eso, ¿verdad? Así que incluso en las cosas que son en principio, empíricamente comprobables hoy en día, hay un gran desacuerdo. Y eso es al menos desacuerdo que potencialmente puede, ya sabes, minimizar mirando más cuidadosamente los datos, hablando entre sí, y así sucesivamente. Pero cuando se llega a las cosas realmente sobre el futuro, hay supuestos que creo que son esenciales incluso para empezar a pensar en estas cuestiones y esos supuestos son diferentes. Uno de los más importantes es que nuestras herramientas epistémicas son diferentes. ¿Qué importancia debemos dar a cada tipo de analogía histórica? ¿Cuál es el papel de la estimación de probabilidades y de otras herramientas epistémicas?

Daniel:
[1:13:28] Y creo que los valores también entran en juego. Y todos estos factores se refuerzan entre sí. Y la gente está en diferentes comunidades epistémicas. Creo que un par de observadores han hablado de que se trata de puntos de vista de la Costa Oeste frente a la Costa Este. Y para mí, quiero decir, yo estaba en Silicon Valley durante tres años y medio. Yo estaba haciendo nuevas empresas y una razón literal por la que quería tanto física como intelectual distancia de esa comunidad fue porque mis formas de pensar eran diferentes y me sentí más en casa aquí. Y así nos segregamos en comunidades físicas e intelectuales basadas en nuestras suposiciones, valores, herramientas epistémicas, etc.

Daniel:
[1:14:05] Y por eso no es, creo, demasiado sorprendente que haya divergencias como resultado de todo eso.

Ryan:
[1:14:11] Bueno, Arvin, Daniel, muchas gracias por airear estas divergencias públicamente para que todos podamos llegar a nuestras propias conclusiones, pase lo que pase. Va a ser interesante. Solo digamos eso. Os agradecemos que hayáis venido.

Arvind:
[1:14:21] Sí, gracias. Buena suerte, chicos. Muchas gracias.

Ryan:
[1:14:23] Cuidaros.

Música:
[1:14:30] Música