Cicero duplicó el puntaje promedio de los jugadores humanos en 40 juegos en línea y se ubicó en el 10% superior de los jugadores que jugaron más de un juego.
por Mack de Geurin
Desde que el sistema de inteligencia artificial Deep Blue de IBM derrotó al campeón mundial de ajedrez Garry Kasparov en su propio juego en 1997, la humanidad ha visto, desventurada, año tras año, cómo nuestros subalternos basados en código nos derrotan en juegos cada vez más complicados . Sin embargo, hay una trampa. Si bien los bots de IA se destacan cada vez más en vencer a los humanos en juegos de tablero y videojuegos, los sistemas generalmente obtienen resultados mucho peores cuando se les indica que cooperen con otros humanos para realizar una tarea compartida. Los investigadores de Meta creen que su nueva IA “Cicero” puede tener algo que decir al respecto.
Por primera vez, según un nuevo estudio compartido con Gizmodo por el Equipo de Diplomacia de Investigación de IA Fundamental de Meta, los investigadores entrenaron una IA para lograr un “rendimiento de nivel humano” en el juego de mesa de estrategia de guerra Diplomacia . El nuevo agente de IA, que lleva el nombre del estadista y erudito clásico que presenció la caída de la República romana, pudo comunicarse y crear estrategias de manera efectiva con otros jugadores humanos, planificar los mejores métodos para la victoria y, en algunos casos, incluso hacerse pasar por humano. Ahora, los investigadores dicen que Cicero, que logró sus tareas al combinar modelos de diálogo y razonamiento estratégico, se erige como un “punto de referencia” para el aprendizaje de múltiples agentes de IA.
Durante los últimos veinte años, una variedad cada vez más impresionante de sistemas de IA de una variedad de compañías ha derrotado a los jugadores humanos en todo, desde Chess and Go hasta juegos más modernos como Starcraft . Si bien son diferentes en contenido, todos esos juegos comparten una similitud fundamental: todos son una competencia de suma cero, el ganador se lleva toda la competencia.
La diplomacia es diferente. En Diplomacia , siete jugadores compiten por controlar la mayoría de los centros de suministro. Los jugadores interactúan constantemente entre sí y cada ronda comienza con una serie de negociaciones previas a la ronda. Fundamentalmente, los jugadores de Diplomacia pueden intentar engañar a otros y también pueden pensar que la IA está mintiendo. Los investigadores dijeron que Diplomacia es particularmente desafiante porque requiere generar confianza con los demás, “en un entorno que alienta a los jugadores a no confiar en nadie”. En otras palabras, para que una IA “gane” en Diplomacianecesita comprender las reglas del juego de manera eficiente, pero también comprender fundamentalmente las interacciones humanas, los engaños y la cooperación, y saber cómo unir oraciones sin sonar como un lavavajillas que funciona mal.
Cicerón más o menos hizo eso. Meta dice que Cicero duplicó con creces el puntaje promedio de los jugadores humanos en 40 juegos de Diplomacia en línea anónimos y se ubicó en el 10% superior de los jugadores que jugaron más de un juego. Cicerón incluso quedó en primer lugar en un torneo de ocho juegos en el que participaron 21 participantes. En cada etapa del juego, Cicero modelaba cómo era probable que otros jugadores competidores actuaran en función de su desempeño en el juego y las conversaciones de texto.
Los investigadores realizaron su experimento de estudio el 19 de agosto y el 13 de octubre de 2022 en 40 juegos en línea anónimos de weDiplomacy.net con un total de 72 horas de juego. Los investigadores dicen que no vieron mensajes en el juego que sugirieran que los jugadores humanos creían que estaban jugando contra una IA. Cicero aparentemente “pasó por un jugador humano” en 40 juegos de Diplomacia con 82 jugadores únicos. En un caso destacado en el estudio, Cicero pudo cambiar con éxito la mente de un jugador humano al proponer un movimiento de beneficio mutuo.
Cicero fue entrenado en una gran cantidad de datos anteriores de Diplomacia para prepararlo para comunicarse adecuadamente con otros jugadores. Los investigadores dicen que la IA fue entrenada en un conjunto de datos de 125,261 juegos de Diplomacia anónimos , de los cuales alrededor de 40,000 contenían diálogo. En total, ese conjunto de datos contenía más de 12 millones de mensajes intercambiados entre jugadores humanos.
Sin embargo, Cicerón no era perfecto. El diálogo de la IA se limitaba principalmente a acciones en su turno actual y Cicero no era muy bueno para modelar cómo su diálogo con un jugador podría afectar las relaciones con los demás a largo plazo. También enviaba ocasionalmente mensajes que contenían “errores de conexión a tierra” u otros que contradecían sus propios planes. ( Vale la pena señalar que los humanos a menudo cometen esos mismos errores). Aún así, a pesar de esas advertencias, los investigadores dijeron que Cicer o debería ocupar su lugar entre el salón de la fama de los juegos de mesa de IA debido a su capacidad única para cooperar con los humanos.
Si bien este es solo un estudio de un juego de mesa, los nuevos hallazgos de Meta señalan una lente potencialmente novedosa y menos apocalíptica con la que ver los éxitos incrementales de la IA. En lugar de sentirse asustado por los sistemas de IA que gradualmente vencen a los humanos en los juegos que alguna vez apreciamos, Cicero insinúa un futuro en el que los humanos y las IA pueden trabajar codo con codo como socios, o al menos, conocidos mutuos, para resolver problemas.
Fuente: https://gizmodo.com/meta-ai-cicero-diplomacy-gaming-1849811840
