por Shelly Fan
El aprendizaje por refuerzo profundo está teniendo un momento de superestrella.
Impulsando robots más inteligentes. Simulando redes neuronales humanas. Derrotando a los médicos en los diagnósticos y aplastando a los mejores jugadores de la humanidad en Go y Atari. Si bien está lejos de lograr el pensamiento flexible y rápido que es natural para los humanos, esta poderosa idea de aprendizaje automático parece imparable como presagio de mejores máquinas pensantes.
Excepto que hay un obstáculo enorme: tardan una eternidad en ejecutarse. Debido a que el concepto detrás de estos algoritmos se basa en prueba y error, un “agente” de inteligencia artificial de aprendizaje por refuerzo solo aprende después de ser recompensado por sus decisiones correctas. Para problemas complejos, el tiempo que le toma a un agente de inteligencia artificial intentar y no aprender una solución puede volverse rápidamente insostenible.
Pero, ¿y si pudiera probar varias soluciones a la vez?
Esta semana, una colaboración internacional liderada por el Dr. Philip Walther en la Universidad de Viena tomó el concepto “clásico” de aprendizaje reforzado y le dio un giro cuántico. Ellos diseñaron un híbrido de AI que se basa tanto en cuántica y run-of-the-mill clásico de la computación, y demostró que, gracias a la rareza cuántica-simultáneamente podría detectar un puñado de diferentes maneras de resolver un problema.
El resultado es una IA de aprendizaje por refuerzo que aprendió más de un 60 por ciento más rápido que sus pares sin capacidad cuántica. Esta es una de las primeras pruebas que muestra que agregar computación cuántica puede acelerar el proceso de aprendizaje real de un agente de inteligencia artificial, explicaron los autores.
Aunque solo se enfrentó a un “problema de juguete” en el estudio, la IA híbrida, una vez escalada, podría afectar los problemas del mundo real, como la construcción de una Internet cuántica eficiente. La configuración “podría integrarse fácilmente en futuras redes de comunicación cuántica a gran escala”, escribieron los autores.
El cuello de botella
Aprender de prueba y error llega intuitivamente a nuestro cerebro.
Supongamos que está tratando de navegar por un nuevo campamento complicado sin un mapa. El objetivo es regresar del baño común a su campamento. Abundan los callejones sin salida y los bucles confusos. Abordamos el problema decidiendo girar a la izquierda o a la derecha en cada rama de la carretera. Uno nos acercará a la meta; el otro conduce a media hora de caminata en círculos. Con el tiempo, nuestra química cerebral recompensa las decisiones correctas, por lo que aprendemos gradualmente la ruta correcta. (Si se está preguntando … sí, historia real).
Los agentes de inteligencia artificial de aprendizaje por refuerzo operan de una manera similar de prueba y error. A medida que un problema se vuelve más complejo, el número (y el tiempo) de cada prueba también se dispara.
“Incluso en un entorno moderadamente realista, simplemente puede llevar demasiado tiempo responder racionalmente a una situación determinada”, explicó el autor del estudio, el Dr. Hans Briegel, de la Universität Innsbruck en Austria, quien anteriormente dirigió los esfuerzos para acelerar la toma de decisiones de IA utilizando la tecnología cuántica. mecánica. Si hay presión que permite “sólo un cierto tiempo para una respuesta, un agente puede ser incapaz de hacer frente a la situación y aprender”, escribió.
Muchos intentos han intentado acelerar el aprendizaje por refuerzo. Darle al agente de IA una “memoria” a corto plazo. Aprovechando la computación neuromórfica, que se parece mejor al cerebro. En 2014, Briegel y sus colegas demostraron que una especie de “cerebro cuántico” puede ayudar a impulsar el proceso de toma de decisiones de un agente de inteligencia artificial después del aprendizaje. Pero acelerar el proceso de aprendizaje en sí ha eludido nuestros mejores intentos.
La IA híbrida
El nuevo estudio fue directo a esa yugular previamente insostenible.
La idea clave del equipo fue aprovechar lo mejor de ambos mundos: la computación cuántica y clásica . En lugar de construir un sistema completo de aprendizaje por refuerzo utilizando la mecánica cuántica, recurrieron a un enfoque híbrido que podría resultar más práctico. Aquí, el agente de inteligencia artificial utiliza rarezas cuánticas mientras prueba nuevos enfoques: la “prueba” de prueba y error. Luego, el sistema pasa el testigo a una computadora clásica para darle a la IA su recompensa, o no, en función de su desempeño.
En el corazón del proceso de “ensayo” cuántico hay una peculiaridad llamada superposición. Quédate conmigo. Nuestras computadoras funcionan con electrones, que pueden representar solo dos estados: 0 o 1. La mecánica cuántica es mucho más extraña, ya que los fotones (partículas de luz) pueden ser simultáneamente 0 y 1, con una probabilidad ligeramente diferente de “inclinarse hacia” uno o el otro.
Esta rareza evasiva es parte de lo que hace que la computación cuántica sea tan poderosa. Tome nuestro ejemplo de aprendizaje por refuerzo de navegar por un nuevo campamento. En nuestro mundo clásico, nosotros, y nuestra IA, debemos decidir entre girar a la izquierda o a la derecha en una intersección. Sin embargo, en una configuración cuántica, la IA puede (en cierto sentido) girar a la izquierda y a la derecha al mismo tiempo . Entonces, cuando se busca el camino correcto de regreso a la base de operaciones, el sistema cuántico tiene una ventaja en el sentido de que puede explorar simultáneamente múltiples rutas, lo que lo hace mucho más rápido que el camino y el error convencionales y consecutivos.
“Como consecuencia, un agente que puede explorar su entorno en superposición aprenderá significativamente más rápido que su contraparte clásica”, dijo Briegel.
No todo es teoría. Para probar su idea, el equipo recurrió a un chip programable llamado procesador nanofotónico . Piense en ello como un chip de computadora similar a una CPU, pero procesa partículas de luz (fotones) en lugar de electricidad. Estos chips alimentados por luz se han fabricado durante mucho tiempo. En 2017, por ejemplo, un equipo del MIT construyó una red neuronal totalmente óptica en un chip óptico para reforzar el aprendizaje profundo.
Las patatas fritas no son tan exóticas. Los procesadores nanofotónicos actúan como nuestros anteojos, que pueden realizar cálculos complejos que transforman la luz que pasa a través de ellos. En el estuche de las gafas, permiten que la gente vea mejor. Para un chip de computadora basado en luz, permite la computación. En lugar de utilizar cables eléctricos, los chips utilizan “guías de onda” para transportar fotones y realizar cálculos basados en sus interacciones.
La parte de “error” o “recompensa” del nuevo hardware proviene de una computadora clásica. El procesador nanofotónico está acoplado a una computadora tradicional, donde esta última proporciona retroalimentación al circuito cuántico, es decir, si recompensa una solución o no. Esta configuración, explica el equipo, les permite juzgar de manera más objetiva cualquier aceleración en el aprendizaje en tiempo real.
De esta manera, un agente de aprendizaje por refuerzo híbrido alterna entre la computación cuántica y la clásica, probando ideas en una tierra de “multiverso” tambaleante mientras obtiene retroalimentación en la “normalidad” de la física clásica y fundamentada.
Un impulso cuántico
En simulaciones que utilizaron 10,000 agentes de IA y datos experimentales reales de 165 ensayos, el enfoque híbrido, cuando se enfrentó a un problema más complejo, mostró una ventaja clara.
La palabra clave es “complejo”. El equipo descubrió que si un agente de inteligencia artificial tiene una alta probabilidad de encontrar la solución de todos modos, como para un problema simple, entonces la computación clásica funciona bastante bien. La ventaja cuántica florece cuando la tarea se vuelve más compleja o difícil, lo que permite que la mecánica cuántica flexione completamente sus músculos de superposición. Para estos problemas, la IA híbrida fue un 63 por ciento más rápida en el aprendizaje de una solución en comparación con el aprendizaje por refuerzo tradicional, lo que redujo su esfuerzo de aprendizaje de 270 suposiciones a 100.
Ahora que los científicos han mostrado un impulso cuántico para las velocidades de aprendizaje por refuerzo, la carrera por la computación de próxima generación está aún más iluminada. El hardware fotónico necesario para las comunicaciones basadas en luz de largo alcance se está reduciendo rápidamente, al tiempo que mejora la calidad de la señal. La configuración cuántica parcial podría “ayudar específicamente en problemas en los que se necesita una búsqueda frecuente, por ejemplo, problemas de enrutamiento de la red” que prevalecen para una Internet sin problemas, escribieron los autores. Con un impulso cuántico, el aprendizaje por refuerzo puede abordar problemas mucho más complejos, los del mundo real, de lo que es posible actualmente.
“Estamos apenas comenzando a comprender las posibilidades de la inteligencia artificial cuántica”, dijo el autor principal Walther.
Crédito de la imagen: Oleg Gamulinskiy de Pixabay
