Una conversación exclusiva con Ilya Sutskever sobre sus temores por el futuro de la IA y por qué le han hecho cambiar el enfoque del trabajo de su vida.
Ilya Sutskever, con la cabeza gacha, está sumido en sus pensamientos. Tiene los brazos abiertos y los dedos extendidos sobre la mesa, como un concertista de piano a punto de tocar sus primeras notas. Nos sentamos en silencio.
He venido a reunirme con Sutskever, cofundador y científico jefe de OpenAI, en el edificio de oficinas anónimo de su compañía en una calle común en el Distrito de la Misión de San Francisco para escuchar lo que sigue para la tecnología de punta mundial en la que ha tenido una gran participación. . También quiero saber qué sigue para él; en particular, por qué la construcción de la próxima generación de modelos generativos emblemáticos de su empresa ya no es el centro de su trabajo.
En lugar de construir el próximo GPT o creador de imágenes DALL-E , Sutskever me dice que su nueva prioridad es descubrir cómo evitar que una superinteligencia artificial (una hipotética tecnología futura que él ve venir con la previsión de un verdadero creyente) se vuelva deshonesta.
Sutskever también me cuenta muchas otras cosas. Él cree que ChatGPT podría estar consciente (si entrecierras los ojos). Él cree que el mundo necesita despertar al verdadero poder de la tecnología que su empresa y otras se apresuran a crear. Y cree que algunos humanos algún día optarán por fusionarse con las máquinas.
Mucho de lo que dice Sutskever es descabellado. Pero no es tan salvaje como habría sonado hace apenas uno o dos años. Como él mismo me dice, ChatGPT ya ha reescrito las expectativas de muchas personas sobre lo que está por venir, convirtiendo “nunca sucederá” en “sucederá más rápido de lo que piensas”.
“Es importante hablar de hacia dónde se dirige todo esto”, afirma, antes de predecir el desarrollo de la inteligencia artificial general (con lo que se refiere a máquinas tan inteligentes como los humanos) como si fuera una apuesta tan segura como otro iPhone: “En algún momento realmente tendremos AGI. Quizás OpenAI lo construya. Quizás alguna otra empresa lo construya”.
Desde el lanzamiento de su repentino éxito sorpresa, ChatGPT , en noviembre pasado, el revuelo en torno a OpenAI ha sido asombroso, incluso en una industria conocida por su exageración. Nadie puede tener suficiente de esta startup nerd de 80 mil millones de dólares . Los líderes mundiales buscan (y consiguen) audiencias privadas. Los torpes nombres de sus productos aparecen en una conversación informal.
El director ejecutivo de OpenAI, Sam Altman, pasó buena parte del verano en una gira de divulgación de una semana de duración, agasajando a políticos y hablando ante auditorios abarrotados de todo el mundo. Pero Sutskever es una figura mucho menos pública y no concede muchas entrevistas.
Es deliberado y metódico cuando habla. Hay largas pausas cuando piensa en lo que quiere decir y cómo decirlo, dando vueltas a las preguntas como si fueran acertijos que necesita resolver. No parece interesado en hablar de sí mismo. “Llevo una vida muy sencilla”, dice. “Voy a trabajar; luego voy a casa. No hago mucho más. Hay muchas actividades sociales en las que uno podría participar, muchos eventos a los que podría asistir. Cosa que yo no hago”.
Pero cuando hablamos de IA y de los riesgos y recompensas trascendentales que ve en el futuro, se abren perspectivas: “Va a ser monumental, trascendental. Habrá un antes y un después”.
Mejor y mejor y mejor
En un mundo sin OpenAI, Sutskever aún tendría una entrada en los anales de la historia de la IA. Israelí-canadiense, nació en la Rusia soviética pero se crió en Jerusalén desde los cinco años (todavía habla ruso y hebreo además de inglés). Luego se mudó a Canadá para estudiar en la Universidad de Toronto con Geoffrey Hinton, el pionero de la IA que hizo públicos sus temores sobre la tecnología que ayudó a inventar a principios de este año. (Sutskever no quiso comentar sobre los pronunciamientos de Hinton, pero su nuevo enfoque en la superinteligencia deshonesta sugiere que están en la misma página).
Hinton luego compartiría el Premio Turing con Yann LeCun y Yoshua Bengio por su trabajo en redes neuronales. Pero cuando Sutskever se unió a él a principios de la década de 2000, la mayoría de los investigadores de IA creían que las redes neuronales eran un callejón sin salida. Hinton fue una excepción. Ya estaba entrenando modelos diminutos que podían producir cadenas cortas de texto, un carácter a la vez, dice Sutskever: “Fue allí mismo el comienzo de la IA generativa. Fue realmente genial, simplemente no fue muy bueno”.
Sutskever estaba fascinado con los cerebros: cómo aprendían y cómo ese proceso podía recrearse, o al menos imitarse, en las máquinas. Al igual que Hinton, vio el potencial de las redes neuronales y la técnica de prueba y error que Hinton utilizó para entrenarlas, llamada aprendizaje profundo. “Todo fue mejorando cada vez más”, dice Sutskever.
En 2012, Sutskever, Hinton y otro de los estudiantes graduados de Hinton, Alex Krizhevsky, construyeron una red neuronal llamada AlexNet que entrenaron para identificar objetos en fotografías mucho mejor que cualquier otro software existente en ese momento. Fue el momento del Big Bang del aprendizaje profundo.
Después de muchos años de comienzos en falso, habían demostrado que, después de todo, las redes neuronales eran sorprendentemente efectivas en el reconocimiento de patrones. Sólo se necesitaban más datos de los que la mayoría de los investigadores habían visto antes (en este caso, un millón de imágenes del conjunto de datos ImageNet que el investigador Fei-Fei Li de la Universidad de Princeton había estado construyendo desde 2006) y una enorme cantidad de potencia informática.
El cambio radical en la informática provino de un nuevo tipo de chip llamado unidad de procesamiento de gráficos (GPU), fabricado por Nvidia. Las GPU fueron diseñadas para ser increíblemente rápidas a la hora de mostrar imágenes de videojuegos en rápido movimiento en las pantallas. Pero los cálculos en los que las GPU son buenas (multiplicar cuadrículas masivas de números) se parecían mucho a los cálculos necesarios para entrenar redes neuronales.
Nvidia es ahora una empresa de un billón de dólares. En ese momento estaba desesperado por encontrar aplicaciones para su nuevo hardware especializado. “Cuando inventas una nueva tecnología, tienes que ser receptivo a las ideas locas”, dice el director ejecutivo de Nvidia, Jensen Huang. “Mi estado de ánimo siempre fue el de buscar algo peculiar, y la idea de que las redes neuronales transformarían la informática era una idea escandalosamente peculiar”.
Huang dice que Nvidia envió al equipo de Toronto un par de GPU para probar cuando estaban trabajando en AlexNet. Pero querían la versión más nueva, un chip llamado GTX 580 que se estaba agotando rápidamente en las tiendas. Según Huang, Sutskever cruzó la frontera desde Toronto hasta Nueva York para comprar algunos. “La gente hacía cola a la vuelta de la esquina”, dice Huang. “No sé cómo lo hizo; estoy bastante seguro de que solo se les permitió comprar uno a cada uno; Teníamos una política muy estricta de una GPU por jugador, pero aparentemente llenó un baúl con ellas. Ese baúl lleno de GTX 580 cambió el mundo”.
Es una gran historia, pero puede que no sea cierta. Sutskever insiste en que compró esas primeras GPU online. Pero esa creación de mitos es algo común en este bullicioso negocio. El propio Sutskever es más humilde: “Pensé que si pudiera lograr un mínimo avance real, lo consideraría un éxito”, dice. “El impacto en el mundo real se sintió muy lejano porque las computadoras eran muy débiles en aquel entonces”.
Tras el éxito de AlexNet, Google llamó a la puerta. Adquirió la empresa derivada de Hinton, DNNresearch, y contrató a Sutskever. En Google, Sutskever demostró que los poderes de reconocimiento de patrones del aprendizaje profundo se podían aplicar a secuencias de datos , como palabras y oraciones, así como a imágenes. “Ilya siempre ha estado interesado en el lenguaje”, dice el ex colega de Sutskever, Jeff Dean, que ahora es el científico jefe de Google: “Hemos tenido grandes discusiones a lo largo de los años. Ilya tiene un fuerte sentido intuitivo sobre hacia dónde podrían ir las cosas”.
Pero Sutskever no permaneció en Google por mucho tiempo. En 2014, fue contratado para convertirse en cofundador de OpenAI. Respaldada por mil millones de dólares (de Altman, Elon Musk, Peter Thiel, Microsoft, Y Combinator y otros) más una enorme dosis de arrogancia de Silicon Valley, la nueva empresa puso su mirada desde el principio en el desarrollo de AGI, una perspectiva que pocos tomaron en serio. En el momento.
Con Sutskever a bordo, el cerebro detrás de los dólares, la arrogancia era comprensible. Hasta entonces, había estado en racha, sacando cada vez más provecho de las redes neuronales. Su reputación lo precedió, lo que lo convirtió en un candidato importante, dice Dalton Caldwell, director gerente de inversiones de Y Combinator.
“Recuerdo que Sam [Altman] se refirió a Ilya como uno de los investigadores más respetados del mundo”, dice Caldwell. “Pensó que Ilya podría atraer a muchos de los mejores talentos de IA. Incluso mencionó que Yoshua Bengio, uno de los principales expertos en IA del mundo, creía que sería poco probable encontrar un mejor candidato que Ilya para ser el científico principal de OpenAI”.
Y, sin embargo, al principio OpenAI fracasó. “Hubo un período en el que estábamos iniciando OpenAI en el que no estaba exactamente seguro de cómo continuaría el progreso”, dice Sutskever. “Pero tenía una creencia muy explícita: no se apuesta contra el aprendizaje profundo. De alguna manera, cada vez que te topas con un obstáculo, en seis meses o un año los investigadores encuentran una manera de sortearlo”.
Su fe dio sus frutos. El primero de los modelos de lenguaje grande GPT de OpenAI (el nombre significa “transformador generativo preentrenado”) apareció en 2016. Luego vinieron GPT-2 y GPT-3 . Luego DALL-E , el sorprendente modelo de conversión de texto a imagen. Nadie estaba construyendo nada tan bueno. Con cada lanzamiento, OpenAI elevó el listón de lo que se creía posible.
Gestionar las expectativas
En noviembre pasado, OpenAI lanzó un chatbot de uso gratuito que reformuló parte de su tecnología existente. Restableció la agenda de toda la industria.
En ese momento, OpenAI no tenía idea de lo que estaba publicando. Las expectativas dentro de la empresa no podrían haber sido menores, dice Sutskever: “Lo admito, para mi ligera vergüenza, no sé si debería, pero qué diablos, es cierto, cuando creamos ChatGPT, no lo hice”. No sé si fue bueno. Cuando le hizo una pregunta objetiva, le dio una respuesta incorrecta. Pensé que iba a ser tan poco impresionante que la gente diría: ‘¿Por qué haces esto? ¡Esto es tan aburrido!'”
El atractivo fue la comodidad, afirma Sutskever. El modelo de lenguaje grande bajo el capó de ChatGPT existía desde hacía meses. Pero envolverlo en una interfaz accesible y regalarlo de forma gratuita hizo que miles de millones de personas se dieran cuenta por primera vez de lo que OpenAI y otros estaban construyendo.
“Esa primera experiencia es lo que enganchó a la gente”, dice Sutskever. “La primera vez que lo usas, creo que es casi una experiencia espiritual. Dices: ‘Dios mío, esta computadora parece entender’”.
OpenAI acumuló 100 millones de usuarios en menos de dos meses, muchos de ellos deslumbrados por este nuevo e impresionante juguete. Aaron Levie, director ejecutivo de la empresa de almacenamiento Box, resumió el ambiente de la semana posterior al lanzamiento cuando tuiteó: “ChatGPT es uno de esos raros momentos en la tecnología en los que se ve un destello de cómo todo será diferente en el futuro”.
Esa maravilla se derrumba tan pronto como ChatGPT dice algo estúpido. Pero para entonces ya no importa. Esa visión de lo que era posible es suficiente, dice Sutskever. ChatGPT cambió los horizontes de las personas.
“AGI dejó de ser una mala palabra en el campo del aprendizaje automático”, afirma. “Ese fue un gran cambio. La actitud que la gente ha adoptado históricamente ha sido: la IA no funciona, cada paso es muy difícil, hay que luchar por cada gramo de progreso. Y cuando la gente venía con grandes proclamas sobre AGI, los investigadores decían: ‘¿De qué estás hablando? Esto no funciona, aquello no funciona. Hay tantos problemas.’ Pero con ChatGPT empezó a sentirse diferente”.
¿Y ese cambio empezó a ocurrir hace sólo un año? “Sucedió gracias a ChatGPT”, dice. “ChatGPT ha permitido soñar a los investigadores del aprendizaje automático”.
Evangelistas desde el principio, los científicos de OpenAI han estado avivando esos sueños con publicaciones en blogs y giras de conferencias. Y está funcionando: “Ahora hay gente que habla de hasta dónde llegará la IA, gente que habla de AGI o superinteligencia”. Y no se trata sólo de los investigadores. “Los gobiernos están hablando de ello”, afirma Sutskever. “Es una locura.”
