El equipo de investigación de IA DeepMind de Google ha presentado hoy un nuevo modelo de IA de código abierto, Gemma 3 270M.
por VentureBeat
- Altas puntuaciones en los puntos de referencia por su tamaño y alta eficiencia
- Una versión pequeña y afinada de Gemma 3 270M puede realizar muchas funciones de LLM más grandes
- La aplicación Generador de cuentos para dormir muestra el potencial de Gemma 3 270M
- Código abierto bajo una licencia personalizada de Gemma
Como su nombre lo sugiere, este es un modelo de 270 millones de parámetros, mucho más pequeño que los 70 mil millones o más de parámetros de muchos LLM fronterizos (los parámetros son el número de configuraciones internas que rigen el comportamiento del modelo).
Si bien más parámetros generalmente se traducen en un modelo más grande y potente, el enfoque de Google con esto es casi lo contrario: alta eficiencia, brindando a los desarrolladores un modelo lo suficientemente pequeño como para ejecutarse directamente en teléfonos inteligentes y localmente, sin conexión a Internet, como se muestra en las pruebas internas en un SoC Pixel 9 Pro.
Sin embargo, el modelo aún es capaz de manejar tareas complejas y específicas del dominio y se puede ajustar rápidamente en cuestión de minutos para adaptarse a las necesidades de una empresa o desarrollador independiente.
En la red social X, el ingeniero de relaciones con desarrolladores de IA del personal de Google DeepMind, Omar Sanseviero, agregó que Gemma 3 270M también puede ejecutarse directamente en el navegador web de un usuario, en una Raspberry Pi y “en su tostadora”, lo que subraya su capacidad para operar en hardware muy liviano.
Gemma 3 270M combina 170 millones de parámetros de incrustación, gracias a un gran vocabulario de 256k capaz de manejar tokens raros y específicos, con 100 millones de parámetros de bloques de transformadores.
Según Google, la arquitectura admite un fuerte rendimiento en tareas de seguimiento de instrucciones desde el primer momento, mientras que se mantiene lo suficientemente pequeña como para un ajuste e implementación rápidos en dispositivos con recursos limitados, incluido el hardware móvil.
Gemma 3 270M hereda la arquitectura y el preentrenamiento de los modelos Gemma 3 más grandes, lo que garantiza la compatibilidad en todo el ecosistema Gemma. Con documentación, recetas de ajuste y guías de implementación disponibles para herramientas como Hugging Face, UnSloth y JAX, los desarrolladores pueden pasar de la experimentación a la implementación rápidamente.
Altas puntuaciones en los puntos de referencia por su tamaño y alta eficiencia
En el punto de referencia IFEval, que mide la capacidad de un modelo para seguir instrucciones, el Gemma 3 270M con instrucciones ajustadas obtuvo un 51,2%.
La puntuación lo coloca muy por encima de modelos igualmente pequeños como SmolLM2 135M Instruct y Qwen 2.5 0.5B Instruct, y más cerca del rango de rendimiento de algunos modelos de miles de millones de parámetros, según la comparación publicada por Google.
Sin embargo, como señalaron los investigadores y líderes de la startup rival de IA Liquid AI en las respuestas en X, Google dejó fuera el propio modelo LFM2-350M de Liquid lanzado en julio de este año, que obtuvo un enorme 65,12% con solo unos pocos parámetros más (sin embargo, un modelo de lenguaje de tamaño similar).
Una de las fortalezas que definen el modelo es su eficiencia energética. En pruebas internas utilizando el modelo cuantificado INT4 en un SoC Pixel 9 Pro, 25 conversaciones consumieron solo el 0.75% de la batería del dispositivo.
Esto hace que Gemma 3 270M sea una opción práctica para la IA en el dispositivo, especialmente en los casos en que la privacidad y la funcionalidad fuera de línea son importantes.
La versión incluye un modelo preentrenado y un modelo ajustado a las instrucciones, lo que brinda a los desarrolladores una utilidad inmediata para las tareas generales de seguimiento de instrucciones.
También están disponibles puntos de control entrenados con reconocimiento de cuantificación (QAT), lo que permite la precisión INT4 con una pérdida de rendimiento mínima y hace que el modelo esté listo para la producción para entornos con recursos limitados.
Una versión pequeña y afinada de Gemma 3 270M puede realizar muchas funciones de LLM más grandes
Google enmarca Gemma 3 270M como parte de una filosofía más amplia de elegir la herramienta adecuada para el trabajo en lugar de depender del tamaño del modelo en bruto.
Para funciones como el análisis de sentimientos, la extracción de entidades, el enrutamiento de consultas, la generación de texto estructurado, las verificaciones de cumplimiento y la escritura creativa, la compañía dice que un modelo pequeño ajustado puede ofrecer resultados más rápidos y rentables que uno grande de propósito general.
Los beneficios de la especialización son evidentes en trabajos anteriores, como la colaboración de Adaptive ML con SK Telecom.
Al ajustar un modelo Gemma 3 4B para la moderación de contenido multilingüe, el equipo superó a sistemas propietarios mucho más grandes.
Gemma 3 270M está diseñado para permitir un éxito similar a una escala aún más pequeña, apoyando flotas de modelos especializados adaptados a tareas individuales.
La aplicación Generador de cuentos para dormir muestra el potencial de Gemma 3 270M
Más allá del uso empresarial, el modelo también se adapta a escenarios creativos. En un video de demostración publicado en YouTube, Google muestra una aplicación Bedtime Story Generator construida con Gemma 3 270M y Transformers.js que se ejecuta completamente sin conexión en un navegador web, lo que muestra la versatilidad del modelo en aplicaciones livianas y accesibles.
El video destaca la capacidad del modelo para sintetizar múltiples entradas al permitir selecciones para un personaje principal (por ejemplo, “un gato mágico”), un escenario (“en un bosque encantado”), un giro de la trama (“descubre una puerta secreta”), un tema (“Aventurero”) y una duración deseada (“Corto”).
Una vez establecidos los parámetros, el modelo Gemma 3 270M genera una historia coherente e imaginativa. La aplicación procede a tejer una historia corta y aventurera basada en las elecciones del usuario, demostrando la capacidad del modelo para la generación de texto creativo y sensible al contexto.
Este video sirve como un poderoso ejemplo de cómo el Gemma 3 270M, liviano pero capaz, puede impulsar aplicaciones rápidas, atractivas e interactivas sin depender de la nube, lo que abre nuevas posibilidades para las experiencias de IA en el dispositivo.
Código abierto bajo una licencia personalizada de Gemma
Gemma 3 270M se lanza bajo los Términos de uso de Gemma, que permiten el uso, reproducción, modificación y distribución del modelo y derivados, siempre que se cumplan ciertas condiciones.
Estos incluyen transferir las restricciones de uso descritas en la Política de Uso Prohibido de Google, proporcionar las Condiciones de Uso a los destinatarios intermedios e indicar claramente cualquier modificación realizada. La distribución puede ser directa o a través de servicios alojados como API o aplicaciones web.
Para los equipos empresariales y los desarrolladores comerciales, esto significa que el modelo puede integrarse en productos, implementarse como parte de servicios en la nube o ajustarse en derivados especializados, siempre que se respeten los términos de la licencia. Google no reclama los resultados generados por el modelo, lo que otorga a las empresas plenos derechos sobre el contenido que crean.
Sin embargo, los desarrolladores son responsables de garantizar el cumplimiento de las leyes aplicables y de evitar usos prohibidos, como generar contenido dañino o violar las reglas de privacidad.
La licencia no es de código abierto en el sentido tradicional, pero permite un amplio uso comercial sin una licencia paga por separado.
Para las empresas que crean aplicaciones comerciales de IA, las principales consideraciones operativas son garantizar que los usuarios finales estén sujetos a restricciones equivalentes, documentar las modificaciones del modelo e implementar medidas de seguridad alineadas con la política de usos prohibidos.
Con Gemmaverse superando los 200 millones de descargas y la línea Gemma que abarca variantes optimizadas para la nube, computadoras de escritorio y dispositivos móviles, los desarrolladores de IA de Google están posicionando a Gemma 3 270M como una base para crear soluciones de IA rápidas, rentables y centradas en la privacidad, y ya parece haber tenido un gran comienzo.