La IA habla bien, pero quizá no sea capaz de manejar el razonamiento real.
por Sascha Brodsky – IBM
Un nuevo artículo de investigación de Apple, “La Ilusión del Pensamiento”, argumenta que los modelos de razonamiento de frontera tienen dificultades con tareas realmente complejas, lo que posiblemente expone una brecha entre sus respuestas aparentemente sofisticadas y la comprensión genuina. Los investigadores responsables del estudio probaron los modelos utilizando puntos de referencia personalizados que incluyen lógica recursiva y demostraciones de varios pasos. Incluso al aplicarles el algoritmo adecuado, los modelos a menudo no lo seguían. Los hallazgos revelan una falla más profunda, no en la tecnología, sino en su uso.
“Les pedimos a estos modelos que hagan cosas para las que nunca fueron diseñados”, declaró Marina Danilevsky, científica investigadora sénior de IBM, a IBM Think en una entrevista. “No son agentes autónomos”, añadió. “Son planificadores, en el mejor de los casos, y deberíamos dejar de fingir lo contrario. Un verdadero flujo agéntico siempre requerirá un sistema más integral”.
Aun así, la investigación genera inquietud a medida que las industrias se apresuran a confiarles decisiones de gran importancia.
“No ejecutan lógica, sino que generan respuestas que parecen probables”, dijo Danilevsky. “Estos modelos pueden imitar el razonamiento en tareas sencillas, pero cuando un problema requiere generalización o una verdadera lógica de varios pasos, se desmoronan”.
Otros investigadores de IBM expresaron opiniones divergentes sobre el artículo de Apple. Shobhit Varshney , director de Datos e IA de IBM para América, argumentó en un episodio reciente de Mixture of Experts que modelos más recientes como o3 de OpenAI ya han demostrado un excelente rendimiento en tareas de razonamiento. Al reproducir una de las indicaciones del artículo con o3, Varshney afirmó que sus resultados fueron “una victoria aplastante: la superaron de inmediato”.
Desde una perspectiva empresarial, añadió Varshney, no importa si estos modelos pueden pensar a la par de Einstein. La verdadera pregunta que deberíamos plantearnos es: “¿Puedo tomar una capacidad [de IA], aplicarla a un sistema específico, resolver un problema y generar resultados económicos?”.
Fuente: https://machinelearning.apple.com/research/illusion-of-thinking