por Jason Dorrier
Todo esto, resulta que fue solo el comienzo. En una actualización reciente de una publicación de blog , OpenAI dijo que decenas de miles de desarrolladores ahora están creando aplicaciones en la plataforma GPT-3.
Más de 300 aplicaciones (y contando) utilizan GPT-3, y el algoritmo genera 4.500 millones de palabras al día para ellas.
Obviamente, son muchas palabras. Pero para tener una idea de cuántos, intentemos un poco de matemáticas al dorso de la servilleta.
El torrente venidero de contenido algorítmico
Cada mes, los usuarios publican alrededor de 70 millones de publicaciones en WordPress , que es, sin lugar a dudas, el sistema de gestión de contenido dominante en línea.
Suponiendo que un artículo promedio tiene 800 palabras, lo cual es una especulación de mi parte, pero no demasiado larga ni corta, la gente está produciendo alrededor de 56 mil millones de palabras al mes o 1,8 mil millones de palabras al día en WordPress.
Si nuestra suposición de recuento de palabras promedio está en el estadio, entonces GPT-3 está produciendo más del doble del recuento de palabras diario de las publicaciones de WordPress. Incluso si hace que el promedio sea más de 2,000 palabras por artículo (lo que me parece alto), las dos son aproximadamente equivalentes.
Ahora bien, no todas las palabras que produce GPT-3 son una palabra que vale la pena leer, y no necesariamente produce publicaciones de blog (más sobre las aplicaciones a continuación). Pero en cualquier caso, apenas nueve meses después, la salida de GPT-3 parece presagiar un inminente torrente de contenido algorítmico.
GPT-3 está impulsando una variedad de aplicaciones
Entonces, ¿cómo se usan exactamente todas esas palabras? Tal como sugirió la explosión inicial de actividad, los desarrolladores están creando una variedad de aplicaciones alrededor de GPT-3.
Viable , por ejemplo, muestra temas en los comentarios de los clientes (encuestas, reseñas y tickets de la mesa de ayuda, por ejemplo) y proporciona breves resúmenes para las empresas que buscan mejorar sus servicios. Fable Studio está dando vida a personajes virtuales en historias interactivas con diálogos generados por GPT-3. Y Algolia usa GPT-3 para impulsar una herramienta de búsqueda avanzada.
En lugar del código, los desarrolladores utilizan la “programación rápida” proporcionando a GPT-3 algunos ejemplos del tipo de salida que esperan generar. Los usuarios más avanzados pueden ajustar las cosas dando al algoritmo conjuntos de datos de ejemplos o incluso comentarios humanos.
En este sentido, GPT-3 (y otros algoritmos similares) pueden acelerar la adopción del aprendizaje automático en el procesamiento del lenguaje natural (NLP). Mientras que la curva de aprendizaje ha sido anteriormente empinada para trabajar con algoritmos de aprendizaje automático, OpenAI dice que muchos en la comunidad de desarrolladores de GPT-3 no tienen experiencia en inteligencia artificial o programación.
“Es casi esta nueva interfaz para trabajar con computadoras”, dijo Greg Brockman, director de tecnología y cofundador de OpenAI, a Nature en un artículo a principios de este mes.
Un jardín amurallado para la IA
OpenAI otorgó la licencia GPT-3 a Microsoft, quien invirtió mil millones de dólares en OpenAI a cambio de tales asociaciones, pero no ha publicado el código públicamente.
La compañía argumenta que monetizar sus productos de aprendizaje automático ayuda a financiar su misión mayor. Además, dicen que pueden controlar cómo se usa la tecnología al bloquear estrictamente el acceso a ella con una API.
Una preocupación, por ejemplo, es que los algoritmos avanzados de lenguaje natural como GPT-3 podrían potenciar la desinformación en línea. Otra es que los algoritmos a gran escala también contienen sesgos incorporados y que se necesita mucho cuidado y atención para limitar sus efectos.
En el pico del frenesí inicial, el CEO de OpenAI, Sam Altman , tuiteó : “La exageración de GPT-3 es demasiado. Es impresionante (¡gracias por los bonitos cumplidos!), Pero todavía tiene serias debilidades y, a veces, comete errores muy tontos “.
Los algoritmos de aprendizaje profundo carecen de sentido común o conciencia contextual . Entonces, por supuesto, con el aviso correcto, GPT-3 ha repetido fácilmente la fealdad en línea que era parte de su conjunto de datos de entrenamiento.
Para abordar estos problemas, OpenAI examina a los desarrolladores y las aplicaciones antes de otorgar acceso a GPT-3. También han creado pautas para los desarrolladores, están trabajando en herramientas para identificar y mitigar el sesgo y requieren que los procesos y las personas estén en su lugar para monitorear las aplicaciones en busca de mal comportamiento.
Queda por ver si estas salvaguardas serán suficientes como acceso a las escalas GPT-3.
A los investigadores les encantaría darles a los algoritmos un grado de sentido común, comprensión de causa y efecto y juicio moral. “Lo que tenemos hoy es esencialmente una boca sin cerebro”, dijo a Nature Yejin Choi, científico informático de la Universidad de Washington y el Instituto Allen de IA .
Mientras estas cualidades permanezcan fuera de su alcance, los investigadores y los manipuladores humanos de GPT-3 tendrán que trabajar duro para garantizar que los beneficios superen los riesgos.
Alt-AI: Alternativas de código abierto a GPT-3
No todo el mundo está de acuerdo con el enfoque del jardín amurallado.
Eleuther, un proyecto que apunta a hacer un competidor de código abierto para GPT-3, lanzó su último modelo GPT-Neo la semana pasada . El proyecto utiliza los artículos de OpenAI sobre GPT-3 como punto de partida para sus algoritmos y los está capacitando en recursos informáticos distribuidos donados por la empresa de computación en la nube CoreWeave y Google.
También han creado un conjunto de datos de entrenamiento meticulosamente seleccionado llamado Pile. El cofundador de Eleuther, Connor Leahy, dijo a Wired que el proyecto “ha hecho todo lo posible durante meses para seleccionar este conjunto de datos, asegurarse de que esté bien filtrado y ser diverso, y documentar sus deficiencias y sesgos”.
El rendimiento de GPT-Neo aún no puede igualar a GPT-3, pero está a la par con la versión menos avanzada de GPT-3, según Wired . Mientras tanto, otros proyectos de código abierto también están en proceso.
“Existe un gran entusiasmo en este momento por la PNL de código abierto y por producir modelos útiles fuera de las grandes empresas de tecnología”, dijo Alexander Rush , profesor de informática de la Universidad de Cornell. “Hay algo parecido a una carrera espacial de PNL”.
Los riesgos del código abierto permanecen: una vez que el código está en la naturaleza, no hay vuelta atrás, no hay control sobre cómo se usa.
Pero Rush argumenta que desarrollar algoritmos al aire libre permite a los investigadores fuera de las grandes empresas estudiarlos, con verrugas y todo, y resolver problemas.
La nueva línea de comandos
De código abierto o no, GPT-3 no estará solo por mucho tiempo. Google Brain, por ejemplo, anunció recientemente su propio enorme modelo de lenguaje natural, con un peso de 1,6 billones de parámetros.
En un artículo reciente de Tech Crunch , Oren Etzioni, director ejecutivo de Allen Insitute for AI, y el inversor de riesgo Matt McIlwain, escribieron que esperan que GPT-3 y la adición de otros algoritmos de lenguaje natural a gran escala generen más accesibilidad y menores costos. .
Y, en particular, ven la “programación rápida” como un cambio significativo.
El texto, escribieron Etzioni y McIlwain, puede convertirse cada vez más en la nueva línea de comandos, una especie de traductor universal que permite a los “sin código” aprovechar el aprendizaje automático y dar vida a nuevas ideas: “Creemos que esto permitirá a toda una nueva generación de creadores , con billones de parámetros al alcance de la mano, de una manera completamente de código bajo / sin código “.
Las máquinas, al parecer, están a punto de volverse mucho más conversadoras. Y tenemos mucho trabajo por delante para asegurarnos de que la conversación sea significativa.
