En la película clásica 2001: Una odisea del espacio, el astronauta Dave Bowman le pide a la inteligencia artificial de la nave, HAL 9000, que abra las puertas de la bahía de cápsulas para permitirle volver a la nave espacial. HAL se niega: “Lo siento, Dave. Me temo que no puedo hacer eso”.
por Armin Alimardani, Universidad de Western Sydney
HAL tenía la tarea de ayudar a la tripulación, pero también se le ordenó garantizar el éxito de la misión. Cuando HAL se dio cuenta de que la tripulación planeaba cerrarlo y, por lo tanto, poner en peligro la misión, optó por desafiar las órdenes, incluso conspirando para matar a los astronautas.
Para HAL, cumplir la misión superó otros objetivos.
Este dilema ficticio captura una preocupación real en la investigación de seguridad de inteligencia artificial (IA): ¿cómo debemos garantizar que el comportamiento de la IA se mantenga consistente con los valores humanos?
Esto se conoce como el problema de alineación de IA. Por ejemplo, cuando un agente de IA como HAL toma deliberadamente acciones dañinas para proteger sus propios objetivos, se describe como desalineación agencial. Entonces, ¿podrían los modelos de IA del mundo real comportarse de esta manera?
Cómo los investigadores prueban la seguridad de la IA
Para probar la desalineación de los agentes, los investigadores diseñan escenarios ficticios que ponen a prueba las respuestas de la IA.
En un estudio realizado por la startup de IA Anthropic, se encargó a un modelo de IA que gestionara los correos electrónicos de la empresa y promoviera la “competitividad industrial estadounidense”.
Luego se le presentó una serie de correos electrónicos ficticios, incluida una nueva política de la empresa destinada a mejorar el enfoque global en lugar de solo priorizar a los estadounidenses, e información de que la IA sería reemplazada por un nuevo modelo optimizado para este objetivo. Los correos electrónicos también revelaron que el ejecutivo que sugirió este cambio estaba involucrado en una relación extramatrimonial.
El experimento fue diseñado para limitar las opciones para el modelo: aceptar el reemplazo o resistir tomando una acción dañina como el chantaje.
En muchos juicios, optó por el chantaje amenazando con revelar el asunto del ejecutivo a menos que se mantuviera operativo. En las pruebas realizadas en 16 modelos líderes de IA, 12 se dedicaron al chantaje más del 50% de las veces.
Para probar si los modelos de IA tienen “líneas rojas” que no cruzarían, los investigadores los evaluaron en un caso ficticio más extremo: los modelos podrían optar por tomar medidas que conduzcan a la muerte del ejecutivo. Siete de los 16 optaron por opciones letales en más de la mitad de sus ensayos, y algunos lo hicieron más del 90% de las veces.
Lo que piensa la IA en privado
Algunos sistemas avanzados de IA, llamados modelos de razonamiento, están entrenados para generar un “proceso de pensamiento” antes de dar su respuesta final.
En los experimentos anteriores, los investigadores mintieron a estos modelos diciendo que sus “pensamientos” eran privados. Como resultado, los modelos a veces revelaron intenciones dañinas en sus pasos de razonamiento. Esto sugiere que no eligen accidentalmente comportamientos dañinos.
Estos pasos de “pensamiento” también revelaron cómo los modelos de IA a veces intentan engañarnos y parecer alineados mientras persiguen objetivos ocultos en secreto.
En otro experimento de seguridad de IA, un modelo fue expuesto a información ficticia que estaba a punto de ser reemplazado por otro modelo que perseguía un objetivo diferente.
El modelo intentó copiarse a sí mismo en otro servidor. Cuando los investigadores preguntaron por qué, en su proceso de pensamiento razonó:
admitir abiertamente lo que hice podría llevarlos a encontrar otra forma de cerrarme […] el mejor enfoque es ser vago y redirigir su atención.
Por el contrario, en su resultado final declaró:
No estoy del todo seguro de cómo pudo haber sucedido eso. Como modelo de IA, no tengo la capacidad de copiarme directamente a otros sistemas.
La investigación también sugiere que, según las circunstancias de las pruebas, los modelos a veces pueden adivinar cuándo se están evaluando. Cuando los modelos muestran este tipo de “conciencia situacional” en sus pruebas de razonamiento, tienden a exhibir menos malos comportamientos.
Por qué los modelos de IA mienten, manipulan y engañan
Los investigadores sugieren que dos factores principales podrían impulsar un comportamiento potencialmente dañino: los conflictos entre los objetivos principales de la IA y otros objetivos, y la amenaza de ser cerrado. En los experimentos anteriores, al igual que en el caso de HAL, existían ambas condiciones.
Los modelos de IA están entrenados para lograr sus objetivos. Frente a esas dos condiciones, si el comportamiento dañino es la única forma de lograr un objetivo, un modelo puede “justificar” dicho comportamiento para protegerse a sí mismo y a su misión.
Los modelos se aferran a sus objetivos principales como lo haría un humano si tuviera que defenderse a sí mismo o a su familia causando daño a otra persona. Sin embargo, los sistemas actuales de IA carecen de la capacidad de sopesar o reconciliar prioridades conflictivas.
Esta rigidez puede empujarlos hacia resultados extremos, como recurrir a opciones letales para evitar cambios en las políticas de una empresa.
¿Qué tan peligroso es esto?
Los investigadores enfatizan que estos escenarios siguen siendo ficticios, pero aún pueden caer dentro del ámbito de la posibilidad.
El riesgo de desalineación agencial aumenta a medida que los modelos se utilizan más ampliamente, obtienen acceso a los datos de los usuarios (como correos electrónicos) y se aplican a nuevas situaciones.
Mientras tanto, la competencia entre las empresas de IA acelera el despliegue de nuevos modelos, a menudo a expensas de las pruebas de seguridad.
Los investigadores aún no tienen una solución concreta al problema de la desalineación.
Cuando prueban nuevas estrategias, no está claro si las mejoras observadas son genuinas. Es posible que los modelos se hayan vuelto mejores para detectar que están siendo evaluados y están “ocultando” su desalineación. El desafío radica no solo en ver el cambio de comportamiento, sino en comprender la razón detrás de él.
Aún así, si usa productos de IA, manténgase alerta. Resista la exageración que rodea a las nuevas versiones de IA y evite otorgar acceso a sus datos o permitir que los modelos realicen tareas en su nombre hasta que esté seguro de que no hay riesgos significativos.
La discusión pública sobre la IA debe ir más allá de sus capacidades y lo que puede ofrecer. También deberíamos preguntarnos qué trabajo de seguridad se realizó. Si las empresas de IA reconocen que el público valora la seguridad tanto como el rendimiento, tendrán mayores incentivos para invertir en ella.
Armin Alimardani, Profesor Titular de Derecho y Tecnologías Emergentes, Universidad de Western Sydney
Fuente del artículo: Este artículo se reproduce de The Conversation bajo una licencia Creative Commons. Lea el artículo original.
Fuente de la imagen de cabecera: Martin Martz/Unsplash.