Las alucinaciones de la IA están afectando la credibilidad de las empresas. Descubra las tácticas que utilizan los proveedores y las empresas para mantener la veracidad de los modelos.
por Sharon Fisher
Todos hemos escuchado las historias de terror sobre la IA.
El chatbot de la aerolínea que informó a un cliente sobre una categoría de tarifa por duelo inexistente y que tuvo que respetarla . Un abogado que usó ChatGPT para crear un informe, y el sistema inventó precedentes legales, que el abogado no revisó antes de presentarlos al juez. Y el chatbot Bard de Google, quien anunció durante una demostración que el telescopio James Webb tomó la primera foto de un planeta fuera del sistema solar, con un error de casi dos décadas, un error que provocó una caída de 100 mil millones de dólares en las acciones del gigante tecnológico.
Historias como estas hacen que las empresas se preocupen por la IA.
“Las alucinaciones o invenciones de LLM siguen siendo una preocupación importante en todo tipo de organizaciones”, afirmó Tim Law, director de investigación de inteligencia artificial y automatización de IDC . “En las conversaciones con empresas, siempre se menciona como una preocupación importante en funciones empresariales cruciales, especialmente en ámbitos como la salud, los servicios financieros y otras industrias altamente reguladas. Las alucinaciones siguen siendo un obstáculo para su adopción en muchos casos de uso de producción empresarial”.
Cómo ocurren las alucinaciones de la IA
Como los loros, los sistemas de IA no saben lo que dicen ni lo que dibujan. La IA generativa funciona con un sofisticado sistema de predicción que básicamente adivina lo que suena bien: una versión más compleja del juego de salón de autocompletar de Google. Así, como estudiantes universitarios que se enfrentan a un libro azul para un examen para el que no estudiaron, el sistema de IA hace todo lo posible por producir algo que suene plausible.
Eso es intencional: la creatividad y versatilidad de la IA son lo que la hace útil, dentro de lo razonable. “Creo que estos sistemas, si se entrenan para que nunca alucinen, se preocuparán muchísimo por cometer errores y dirán ‘No conozco el contexto’ a todo”, declaró Jared Kaplan, cofundador y director científico de Anthropic, al Wall Street Journal . “Una piedra no alucina, pero no es muy útil”.
Pero si bien Kaplan tiene razón, las empresas quieren confiar en lo que producen los sistemas de IA. «La creatividad y la versatilidad de la IA generativa (GenAI) son un arma de doble filo», según un informe de Gartner . «Aunque sirven como potentes funciones para generar resultados atractivos en ciertos escenarios, su excesivo interés en el diseño e implementación de GenAI aumenta la probabilidad de riesgos conductuales y resultados no deseados, como alucinaciones».
¿Cómo pueden las empresas prevenir las alucinaciones?
Para prevenir las alucinaciones de la IA se necesita un enfoque multifacético, desde medidas de protección a nivel de proveedor hasta estrategias de estímulo empresarial.
Qué están haciendo los proveedores
Empresas como Anthropic, Google y Microsoft trabajan para evitar que sus sistemas de IA sean demasiado creativos. «Los proveedores están invirtiendo fuertemente en todos los niveles de la pila tecnológica para abordar este problema», afirmó Law. «Se están introduciendo rápidamente nuevas herramientas y técnicas para identificar, filtrar, remediar y, en última instancia, prevenir las alucinaciones. Lo están abordando desde diversas perspectivas, incluyendo datos, recuperación, arquitectura de modelos, técnicas de entrenamiento y postentrenamiento de modelos, razonamiento avanzado y orquestación».
Además, las plataformas de IA están integrando cada vez más la IA en el contexto empresarial, afirmó Darin Stewart, vicepresidente de investigación del área de ingeniería de software y aplicaciones de Gartner . «Los gráficos de conocimiento, tanto los definidos explícitamente como los generados por el LLM, proporcionan información adicional, explícita y estructurada al LLM y permiten validar los resultados generados», explicó. «Además, las puntuaciones de confianza y los enlaces de citas son cada vez más comunes».
Amazon, por ejemplo, utiliza razonamiento automatizado , o pruebas lógicas, para predecir el comportamiento de una computadora. El razonamiento automatizado, que la compañía añadió a Amazon Bedrock Guardrails en diciembre de 2024, utiliza procesos matemáticos de verificación y razonamiento algorítmico basados en la lógica para verificar la información generada por un modelo.
Google está incorporando el ajuste fino (sistemas de IA diseñados específicamente para sectores específicos, como la salud) con productos como MedLM. El ajuste fino implica entrenar un modelo de IA preexistente utilizando los datos propios de la empresa para que sus respuestas sean más precisas y relevantes, lo que permite que los resultados del modelo se basen en información fiable y específica del dominio.
Qué deben hacer las empresas
Según Gartner, las empresas primero deben decidir cuán creativas desean que sea su IA. En ocasiones, las alucinaciones son aceptables e incluso deseables. Por ejemplo, el ganador del Premio Nobel David Baker utilizó alucinaciones de IA para crear nuevos tipos de proteínas.
| Categoría de IA | Casos de uso |
|---|---|
| Creativo y versátil | Chatbots de propósito general, agentes autónomos |
| Creativo y especializado | Escritura creativa, arte |
| Versátil y menos creativo | Chatbots de soporte técnico, información de conocimiento empresarial |
| Especializados y menos creativos | Correctores gramaticales, traductores |
Gartner clasifica las tareas de IA en cuatro tipos:
- Tanto creativos como versátiles , como chatbots de propósito general y agentes autónomos.
- Creativo y especializado , como la escritura creativa o el arte.
- Versátiles pero menos creativos , como los chatbots de soporte técnico y los conocimientos empresariales.
- Especializados y menos creativos , como los correctores gramaticales y los traductores.
Las empresas también pueden considerar sistemas como la generación aumentada por recuperación (RAG) , que, al igual que el ajuste fino, proporciona a los sistemas de IA acceso a información más fiable. Otras empresas, como Microsoft, también buscan mejorar la RAG con gráficos de conocimiento, denominados GraphRAG .
Y, de la misma manera que las empresas añaden barreras de protección a las entradas del sistema de IA para evitar, por ejemplo, consultas racistas y violentas, tanto IDC como Gartner recomiendan que las empresas también añadan barreras de protección a las salidas del sistema de IA.
“Los equipos de riesgo y cumplimiento, en colaboración con desarrolladores de IA y científicos de datos, deben garantizar que estos riesgos se comprendan bien y se gestionen en un marco de gobernanza empresarial”, afirmó Law, y añadió que las medidas de seguridad técnicas y políticas ayudan a evitar que las alucinaciones expongan a las empresas a posibles responsabilidades. “También deben colaborar con proveedores comprometidos con una IA fiable e invirtiendo en técnicas para reducir estos riesgos”.
Proveedores externos como Aporia, Arize, AWS Bedrock Guardrails, Databricks, Guardrails AI, IBM, Microsoft Guidance, Nvidia Nemo y Whylabs ofrecen productos de protección, según Gartner. Sin embargo, advirtió: «Los productos de protección no son la solución milagrosa para garantizar el comportamiento y la precisión de su solución GenAI. Es posible que no detecten todas las entradas o salidas posibles e imprevistas». De hecho, algunos productos de protección utilizan IA.
Por último, las empresas deberían examinar sus incentivos , dijo Stewart, añadiendo que cada incentivo debe exhibir tres cualidades básicas:
- Claridad
- Contexto
- Restricciones
“La solicitud debe expresarse de forma clara y concisa, sin palabras superfluas”, explicó. Se debe proporcionar información contextual, como la que se proporciona a través de RAG, para fundamentar la solicitud. “Y cualquier restricción o limitación necesaria también debe ser explícita”. Otras técnicas como los personajes, los términos semilla y el estilo de razonamiento también son útiles, añadió.
“Interactuar con un LLM es un proceso iterativo”, dijo Stewart. “No dude en proporcionar información, instrucciones u orientación adicional al LLM y solicitarle que revise o refine su respuesta. Además, cuestione su razonamiento o afirmaciones si no le parecen correctas. Pídale que describa el razonamiento y los recursos que utilizó para elaborar su respuesta”. Esta última técnica también se conoce como incitación por cadena de pensamiento .
Otras técnicas antialucinaciones
- Cadena de verificación , donde el modelo redacta una respuesta, planifica preguntas de verificación para verificar los hechos, responde esas preguntas de forma independiente para que las respuestas no estén sesgadas por otras respuestas y genera su respuesta final verificada.
- Según las indicaciones , se requiere que el sistema de IA proporcione una fuente para su información.
- Indicaciones iterativas , o hacer una serie de preguntas pequeñas y directas en lugar de una sola pregunta abierta.
Los investigadores han descubierto que el uso de estas técnicas reduce las alucinaciones. Y es evidente que los humanos deben verificar las referencias y la precisión de todo lo que el sistema de IA genera.
Si llevas a la IA por mal camino, te seguirá
En resumen, no hagas preguntas de una manera que incentive a la IA a alucinar.
Por ejemplo, se aconseja a los padres no preguntar a los niños pequeños culpables “¿Quién se comió las galletas?”, ya que eso los anima a inventarse una historia en lugar de decir la verdad. De igual manera, si le preguntas a un sistema de IA sobre un mundo donde coexisten humanos y dinosaurios, este te lo contará todo con seguridad, aunque con errores, porque calcula que eso es lo que quieres oír.
“Las alucinaciones son prácticamente inevitables con el estado actual de la tecnología, pero pueden minimizarse con intervenciones tanto técnicas como manuales”, afirmó Stewart. “Si bien los métodos de mitigación de alucinaciones están mejorando, nunca eliminarán por completo la posibilidad de confabulación”.
Acerca del autor
Sharon Fisher ha escrito para revistas, periódicos y sitios web de la industria informática y empresarial durante más de 40 años y es autora de “Riding the Internet Highway”, así como de capítulos en varios otros libros. Es licenciada en informática por el Instituto Politécnico Rensselaer y tiene una maestría en administración pública por la Universidad Estatal de Boise. Es nómada digital desde 2020 y ha vivido en 18 países.