AWS ha puesto a disposición del público la característica de comprobación de razonamiento automatizado en Amazon Bedrock Guardrails, apostando por la exposición de más empresas a la validación basada en la lógica y las matemáticas para brindar más confianza a los ecosistemas basados en agentes y hacer crecer la IA neurosimbólica. A medida que las empresas buscan incorporar la auditabilidad y la evaluación en sus marcos de orquestación, métodos como el razonamiento automatizado pueden agilizar el proceso de verificación de que los modelos no estén alucinando.
por VentureBeat
Para las industrias reguladas, la IA neurosimbólica de AWS promete una automatización de agentes segura y explicable
AWS confía en el hecho de que al llevar su característica de comprobaciones de razonamiento automatizadas en Bedrock a disponibilidad general, brindará a más empresas e industrias reguladas la confianza para usar e implementar más aplicaciones y agentes de IA.
También espera que la introducción de métodos como el razonamiento automatizado, que utiliza la validación basada en matemáticas para determinar la verdad fundamental, facilite a las empresas el mundo de la IA neurosimbólica, un paso que la compañía cree que será el próximo gran avance, y su mayor diferenciación, en el mundo de la IA.
Las comprobaciones de razonamiento automatizadas permiten a los usuarios empresariales verificar la precisión de las respuestas y detectar alucinaciones de modelos. AWS dio a conocer Automated Reasoning Checks on Bedrock durante su conferencia anual re: Invent en diciembre, afirmando que puede detectar casi el 100% de todas las alucinaciones. Un número limitado de usuarios podría acceder a la característica a través de Amazon Bedrock Guardrails, donde las organizaciones pueden establecer políticas de IA responsables.
Byron Cook, científico distinguido y vicepresidente del Grupo de Razonamiento Automatizado de AWS, dijo a VentureBeat en una entrevista que la implementación de la vista previa demostró que sistemas como este funcionan en un entorno empresarial y ayuda a las organizaciones a comprender el valor de la IA que puede mezclar el pensamiento simbólico o estructurado con la naturaleza de red neuronal de la IA generativa.
“Existe esta noción de IA neurosimbólica, ese es el tipo de apodo bajo el cual se podría llamar razonamiento automatizado”, dijo Cook. “El aumento del interés en la IA neurosimbólica hizo que las personas, mientras usaban la herramienta, se dieran cuenta de lo importante que era este trabajo”.
Cook dijo que algunos clientes permitieron que AWS revisara sus datos y los documentos utilizados para anotar las respuestas como correctas o incorrectas, y descubrió que el trabajo generado por la herramienta se desempeñaba de manera similar a los humanos con una copia del libro de reglas frente a ellos. Agregó que el concepto de verdad o correcto a menudo puede estar sujeto a interpretación. El razonamiento automatizado no tiene el mismo problema.
“¡Fue realmente increíble! Fue increíble tener personas con antecedentes en lógica que estaban en un canal de comunicación interna discutiendo sobre lo que es cierto o no, y en cinco o seis mensajes señalan la herramienta y se dan cuenta Oh, es correcto”, dijo.
AWS agregó nuevas características a las comprobaciones de razonamiento automatizadas para su lanzamiento general. Estos incluyen:
- Soporte para agregar documentos grandes de hasta 80k tokens o hasta 100 páginas
- Validación de políticas más sencilla al guardar las pruebas de validación para ejecuciones repetidas
- Generación automatizada de escenarios a partir de definiciones guardadas previamente
- Sugerencias de lenguaje natural para comentarios sobre políticas
- Configuración de validación personalizable
Cook dijo que las verificaciones de razonamiento automatizado validan la verdad o la corrección en un sistema de IA al demostrar que un modelo no alucinó una solución o respuesta. Esto significa que podría ofrecer más confianza a los reguladores y empresas reguladas preocupadas de que la naturaleza no determinista de la IA generativa pueda devolver respuestas incorrectas.
IA neurosimbólica y probar la verdad
Cook planteó la idea de que las comprobaciones de razonamiento automatizadas ayudan a probar muchos de los conceptos de la IA neurosimbólica.
La IA neurosimbólica se refiere a la combinación de redes neuronales utilizadas por los modelos de lenguaje, con el pensamiento estructurado y la lógica de la IA simbólica. Mientras que las redes neuronales reconocen patrones a partir de datos, la IA simbólica utiliza reglas explícitas y problemas lógicos. Los modelos de base a menudo se basan en redes neuronales o aprendizaje profundo, pero debido a que los modelos basan sus respuestas en patrones, son propensos a alucinaciones, una preocupación que sigue preocupando a las empresas. Pero la IA simbólica no es muy flexible sin instrucciones manuales.
Voces prominentes en IA, como Gary Marcus, han dicho que la IA neurosimbólica es fundamental para la inteligencia artificial general.
Cook y AWS han estado entusiasmados de traer ideas de IA neurosimbólica a la empresa. Matt Marshall de VentureBeat habló sobre el enfoque de AWS en métodos como las verificaciones de razonamiento automatizado y la combinación de matemáticas y lógica con IA generativa para reducir las alucinaciones en un podcast.
Actualmente, pocas empresas ofrecen IA neurosimbólica producida. Estos incluyen Kognitos, Franz Inc. y UMNAI.
Llevar las matemáticas a la validación
El razonamiento automatizado funciona aplicando pruebas matemáticas a los modelos en respuesta a una consulta.
Emplea un método llamado teorías del módulo de satisfacción, donde los símbolos tienen significados predefinidos, y resuelve problemas que involucran tanto la lógica (si, entonces, y, o) como las matemáticas. El razonamiento automatizado toma ese método y lo aplica a las respuestas de un modelo y lo compara con un conjunto de datos de políticas o verdades fundamentales sin la necesidad de probar la respuesta varias veces.
Por ejemplo, en un entorno empresarial, quieren demostrar que una auditoría financiera es correcta. El modelo responde que un informe contiene pagos no aprobados. Las comprobaciones de razonamiento automatizadas desglosan esto en una cadena lógica:
(forall ((r Informe))
(=> (containsUnapprovedVendorPayments r)
(deberíaEscalar r)))
Luego entra en las definiciones, variables y tipos establecidos por el usuario en Bedrock Guardrails y resuelve la ecuación para demostrar que el modelo respondió correctamente y se basa en la verdad.
Hacer que los agentes sean demostrablemente correctos
Cook dijo que los casos de uso de agentes podrían beneficiarse de las verificaciones de razonamiento automatizadas, y otorgar más acceso a la función a través de Bedrock puede demostrar su utilidad. Pero advirtió que el razonamiento automatizado y otras técnicas de IA neurosimbólica aún se encuentran en sus primeras etapas.
“Creo que tendrá un impacto en la IA agencial, aunque, por supuesto, el trabajo agencial es muy especulativo en este momento”, dijo Cook. “Hay varias técnicas como esta para descubrir la ambigüedad en la declaración y luego encontrar el tipo de deltas clave entre las posibles traducciones, y luego volver a ti y refinar eso, lo que creo que será clave en términos del viaje emocional por el que vi pasar a los clientes que comenzaron a jugar con la IA generativa hace un par de años”.