Decidirse por los modelos de IA es tanto una decisión técnica como estratégica. Pero elegir modelos abiertos, cerrados o híbridos tiene sus desventajas.
por VentureBeat
Durante su intervención en el VB Transform de este año, los expertos en arquitectura de modelos de General Motors, Zoom e IBM debatieron sobre cómo sus empresas y clientes consideran la selección de modelos de IA.
Barak Turovsky, quien en marzo se convirtió en el primer director de inteligencia artificial de GM, dijo que hay mucho ruido con cada lanzamiento de un nuevo modelo y cada vez que cambia la tabla de clasificación. Mucho antes de que las tablas de clasificación fueran un debate principal, Turovsky ayudó a lanzar el primer modelo de lenguaje grande (LLM) y recordó las formas en que los pesos de los modelos de IA de código abierto y los datos de entrenamiento condujeron a grandes avances.
“Francamente, ese fue probablemente uno de los mayores avances que ayudó a OpenAI y a otros a comenzar a lanzarse”, dijo Turovsky. “Así que en realidad es una anécdota graciosa: el código abierto en realidad ayudó a crear algo que se cerró y ahora tal vez vuelva a ser abierto”.
Los factores para tomar decisiones varían e incluyen el costo, el rendimiento, la confianza y la seguridad. Turovsky dijo que las empresas a veces prefieren una estrategia mixta: usar un modelo abierto para uso interno y un modelo cerrado para la producción y la cara al cliente o viceversa.
La estrategia de IA de IBM
Armand Ruiz, vicepresidente de plataforma de IA de IBM, dijo que IBM inicialmente comenzó su plataforma con sus propios LLM, pero luego se dio cuenta de que eso no sería suficiente, especialmente a medida que llegaban al mercado modelos más potentes. Luego, la compañía se expandió para ofrecer integraciones con plataformas como Hugging Face para que los clientes pudieran elegir cualquier modelo de código abierto. (La compañía debutó recientemente con un nuevo modelo de puerta de enlace que brinda a las empresas una API para cambiar entre LLM).
Cada vez son más las empresas que optan por comprar más modelos de varios proveedores. Cuando Andreessen Horowitz encuestó a 100 CIOs, el 37% de los encuestados dijo que estaba usando 5 o más modelos. El año pasado, solo el 29% usaba la misma cantidad.
La elección es clave, pero a veces demasiadas opciones crean confusión, dijo Ruiz. Para ayudar a los clientes con su enfoque, IBM no se preocupa demasiado por el LLM que están utilizando durante la prueba de concepto o la fase piloto; El objetivo principal es la viabilidad. Solo más tarde comienzan a analizar si destilar un modelo o personalizar uno en función de las necesidades del cliente.
“Primero tratamos de simplificar toda esa parálisis de análisis con todas esas opciones y nos enfocamos en el caso de uso”, dijo Ruiz. “Luego averiguamos cuál es el mejor camino para la producción”.
Cómo Zoom aborda la IA
Los clientes de Zoom pueden elegir entre dos configuraciones para su AI Companion, dijo el CTO de Zoom, Xuedong Huang. Una de ellas consiste en federar el propio LLM de la empresa con otros modelos de fundación más grandes. Otra configuración permite a los clientes preocupados por usar demasiados modelos para usar solo el modelo de Zoom. (La compañía también se asoció recientemente con Google Cloud para adoptar un protocolo de agente a agente para AI Companion para los flujos de trabajo empresariales).
La compañía creó su propio modelo de lenguaje pequeño (SLM, por sus siglas en inglés) sin usar datos de clientes, dijo Huang. Con 2 mil millones de parámetros, el LLM es en realidad muy pequeño, pero aún puede superar a otros modelos específicos de la industria. El SLM funciona mejor en tareas complejas cuando se trabaja junto a un modelo más grande.
“Este es realmente el poder de un enfoque híbrido”, dijo Huang. “Nuestra filosofía es muy sencilla. Nuestra compañía está liderando el camino de manera muy parecida a Mickey Mouse y el elefante bailando juntos. El modelo pequeño realizará una tarea muy específica. No estamos diciendo que un modelo pequeño sea lo suficientemente bueno… El Mickey Mouse y el elefante trabajarán juntos como un solo equipo”.