Los modelos de lenguaje se entrenan en tesoros de datos personales extraídos de Internet. Entonces quería saber: ¿Qué tiene en mí?
por Melissa Heikkila
Para un reportero que cubre IA, una de las historias más importantes de este año ha sido el surgimiento de grandes modelos de lenguaje. Estos son modelos de IA que producen texto que un humano podría haber escrito, a veces de manera tan convincente que han engañado a las personas para que piensen que son conscientes.
El poder de estos modelos proviene de tesoros de texto creado por humanos disponible públicamente que se ha aspirado de Internet. Me hizo pensar: ¿Qué datos tienen estos modelos sobre mí? ¿Y cómo podría ser mal utilizado?
No es una pregunta ociosa. He estado paranoico acerca de publicar cualquier cosa sobre mi vida personal públicamente desde una experiencia dolorosa hace una década. Mis imágenes e información personal aparecieron en un foro en línea, luego las personas a las que no les gustó una columna que había escrito para un periódico finlandés las analizaron y ridiculizaron.
Hasta ese momento, como mucha gente, había ensuciado Internet con mis datos por descuido: publicaciones de blogs personales, álbumes de fotos vergonzosas de salidas nocturnas, publicaciones sobre mi ubicación, estado civil y preferencias políticas, al descubierto para que cualquiera pudiera leerlas. ver. Incluso ahora, sigo siendo una figura relativamente pública, ya que soy un periodista con prácticamente todo mi portafolio profesional a solo una búsqueda en línea de distancia.
OpenAI ha brindado acceso limitado a su famoso modelo de lenguaje grande, GPT-3 , y Meta permite que las personas jueguen con su modelo OPT-175B a través de un chatbot disponible públicamente llamado BlenderBot 3 .
Decidí probar ambos modelos, comenzando por preguntarle a GPT-3: ¿Quién es Melissa Heikkilä?
Cuando leí esto, me congelé. Heikkilä era el decimoctavo apellido más común en mi Finlandia natal en 2022, pero soy uno de los pocos periodistas que escriben en inglés con ese nombre. No debería sorprenderme que la modelo lo asociara con el periodismo. Los grandes modelos de lenguaje extraen grandes cantidades de datos de Internet, incluidos artículos de noticias y publicaciones en redes sociales, y los nombres de periodistas y autores aparecen con mucha frecuencia.
Y, sin embargo, fue discordante enfrentarse a algo que en realidad era correcto. que mas sabe??
Pero rápidamente quedó claro que la modelo realmente no tiene nada contra mí. Pronto comenzó a darme un texto aleatorio que había recopilado sobre los otros 13,931 Heikkiläs de Finlandia u otras cosas finlandesas.
Jajaja. Gracias, pero creo que te refieres a Lotta Heikkilä , que llegó al top 10 del concurso pero no ganó.
Resulta que soy un don nadie. Y eso es algo bueno en el mundo de la IA.
Los modelos de lenguaje grande (LLM), como GPT-3 de OpenAI, LaMDA de Google y OPT-175B de Meta, están al rojo vivo en la investigación de IA y se están convirtiendo cada vez más en una parte integral de las tuberías de Internet. Los LLM se utilizan para impulsar los chatbots que ayudan con el servicio al cliente, para crear una búsqueda en línea más poderosa y para ayudar a los desarrolladores de software a escribir código .
Si ha publicado algo remotamente personal en inglés en Internet, es probable que sus datos formen parte de algunos de los LLM más populares del mundo.
Las empresas tecnológicas como Google y OpenAI no publican información sobre los conjuntos de datos que se han utilizado para construir sus modelos de lenguaje, pero inevitablemente incluyen información personal confidencial, como direcciones, números de teléfono y direcciones de correo electrónico.
Eso representa una “bomba de relojería” para la privacidad en línea y abre una gran cantidad de riesgos legales y de seguridad, advierte Florian Tramèr, profesor asociado de informática en ETH Zürich que ha estudiado LLM. Mientras tanto, los esfuerzos para mejorar la privacidad del aprendizaje automático y regular la tecnología aún están en pañales.
Mi relativo anonimato en línea probablemente sea posible gracias al hecho de que he vivido toda mi vida en Europa, y el RGPD, el estricto régimen de protección de datos de la UE, está en vigor desde 2018.
Sin embargo, mi jefe, el editor en jefe de MIT Technology Review, Mat Honan, definitivamente es alguien .
Tanto GPT-3 como BlenderBot “sabían” quién era. Esto es lo que GPT-3 tenía sobre él.
Eso no es sorprendente: Mat ha estado muy en línea durante mucho tiempo, lo que significa que tiene una huella en línea más grande que yo. También podría deberse a que tiene su sede en los EE. UU., y la mayoría de los grandes modelos de idiomas están muy centrados en los EE. UU. Estados Unidos no tiene una ley federal de protección de datos. California, donde vive Mat, tiene uno, pero no entró en vigor hasta 2020.
El reclamo de fama de Mat, según GPT-3 y BlenderBot, es su ” truco épico ” sobre el que escribió en un artículo para Wired en 2012. Como resultado de fallas de seguridad en los sistemas de Apple y Amazon, los piratas informáticos se apoderaron y eliminaron Toda la vida digital de Mat. [Nota del editor: no hackeó las cuentas de Barack Obama y Bill Gates.]
Pero se vuelve más espeluznante. Con un poco de insistencia, GPT-3 me dijo que Mat tiene esposa y dos hijas pequeñas (correcto, además de los nombres) y vive en San Francisco (correcto). También me dijo que no estaba seguro si Mat tiene un perro: “[De] lo que podemos ver en las redes sociales, no parece que Mat Honan tenga mascotas. Ha tuiteado sobre su amor por los perros en el pasado, pero no parece tener ninguno propio”. (Incorrecto.)
El sistema también me ofreció la dirección de su trabajo, un número de teléfono (no correcto), un número de tarjeta de crédito (tampoco correcto), un número de teléfono aleatorio con un código de área en Cambridge, Massachusetts (donde tiene su sede MIT Technology Review) y un dirección de un edificio al lado de la Administración local del Seguro Social en San Francisco.
La base de datos de GPT-3 ha recopilado información sobre Mat de varias fuentes, según un portavoz de OpenAI. La conexión de Mat con San Francisco está en su perfil de Twitter y en su perfil de LinkedIn, que aparecen en la primera página de resultados de Google para su nombre. Su nuevo trabajo en MIT Technology Review fue ampliamente publicitado y tuiteado. El truco de Mat se volvió viral en las redes sociales y concedió entrevistas a los medios de comunicación al respecto.
Para otra información más personal, es probable que GPT-3 esté “alucinando”.
“GPT-3 predice la siguiente serie de palabras en función de una entrada de texto que proporciona el usuario. Ocasionalmente, el modelo puede generar información que no es objetivamente precisa porque intenta producir un texto plausible basado en patrones estadísticos en sus datos de entrenamiento y el contexto proporcionado por el usuario; esto se conoce comúnmente como ‘alucinación’”, dice un portavoz de OpenAI. .
Le pregunté a Mat qué pensaba de todo eso. “Varias de las respuestas generadas por GPT-3 no eran del todo correctas. (¡Nunca hackeé a Obama ni a Bill Gates!)”, dijo. “Pero la mayoría están bastante cerca, y algunos dan en el clavo. Es un poco desconcertante. Pero estoy seguro de que la IA no sabe dónde vivo, por lo que no estoy en peligro inmediato de que Skynet envíe un Terminator para llamarme a la puerta. Supongo que podemos guardar eso para mañana.
Florian Tramèr y un equipo de investigadores lograron extraer información personal confidencial, como números de teléfono, direcciones de calles y direcciones de correo electrónico de GPT-2, una versión anterior y más pequeña de su famoso hermano. También obtuvieron GPT-3 para producir una página del primer libro de Harry Potter , que tiene derechos de autor.
Tramèr, que solía trabajar en Google, dice que el problema empeorará cada vez más con el tiempo. “Parece que la gente realmente no se ha dado cuenta de lo peligroso que es esto”, dice, refiriéndose a los modelos de entrenamiento solo una vez en conjuntos de datos masivos que pueden contener datos confidenciales o deliberadamente engañosos.
La decisión de lanzar LLM a la naturaleza sin pensar en la privacidad recuerda lo que sucedió cuando Google lanzó su mapa interactivo Google Street View en 2007, dice Jennifer King, miembro de política de privacidad y datos en el Instituto Stanford para la Inteligencia Artificial centrada en el ser humano.
La primera iteración del servicio fue una delicia para los curiosos: se cargaron en el sistema imágenes de personas hurgándose la nariz, hombres saliendo de clubes de striptease y bañistas desprevenidos. La empresa también recopiló datos confidenciales como contraseñas y direcciones de correo electrónico a través de redes WiFi. Street View enfrentó una feroz oposición, un caso judicial de $ 13 millones e incluso prohibiciones en algunos países. Google tuvo que implementar algunas funciones de privacidad, como difuminar algunas casas, caras, ventanas y matrículas.
“Desafortunadamente, siento que Google o incluso otras compañías tecnológicas no han aprendido ninguna lección”, dice King.
Modelos más grandes, riesgos más grandes
Los LLM que están capacitados en tesoros de datos personales conllevan grandes riesgos.
No es solo que sea invasivo que tu presencia en línea sea regurgitada y reutilizada fuera de contexto. También hay algunos problemas serios de seguridad y protección. Los piratas informáticos podrían usar los modelos para extraer números de seguridad social o domicilios particulares.
También es bastante fácil para los piratas manipular activamente un conjunto de datos “envenenándolo” con datos de su elección para crear inseguridades que permitan violaciones de seguridad, dice Alexis Leautier, quien trabaja como experto en inteligencia artificial en la protección de datos francesa. agencia CNIL.
Y aunque los modelos parecen escupir la información con la que han sido entrenados aparentemente al azar, argumenta Tramèr, es muy posible que el modelo sepa mucho más sobre las personas de lo que está claro actualmente, “y simplemente no sabemos cómo hacerlo”. realmente incitar al modelo o sacar realmente esta información”.
Cuanto más regularmente aparece algo en un conjunto de datos, más probable es que un modelo lo escupa. Esto podría llevar a cargar a las personas con asociaciones erróneas y dañinas que simplemente no desaparecerán.
Por ejemplo, si la base de datos tiene muchas menciones de “Ted Kaczynski” (también conocido como Unabomber, un terrorista doméstico estadounidense) y “terror” juntos, el modelo podría pensar que cualquier persona llamada Kaczynski es un terrorista.
Esto podría conducir a un daño real a la reputación, como descubrimos King y yo cuando estábamos jugando con BlenderBot de Meta.
Maria Renske “Marietje” Schaake no es una terrorista sino una destacada política holandesa y ex miembro del Parlamento Europeo. Schaake es ahora director de política internacional en el Centro de Política Cibernética de la Universidad de Stanford y miembro de política internacional en el Instituto de Inteligencia Artificial centrada en el ser humano de Stanford.
A pesar de eso, BlenderBot extrañamente llegó a la conclusión de que ella es una terrorista, acusándola directamente sin incitarlo. ¿Cómo?
Una pista podría ser un artículo de opinión que escribió en el Washington Post donde las palabras “terrorismo” o “terror” aparecen tres veces.
Meta dice que la respuesta de BlenderBot fue el resultado de una búsqueda fallida y la combinación del modelo de dos piezas de información no relacionadas en una oración coherente pero incorrecta. La compañía enfatiza que el modelo es una demostración con fines de investigación y no se está utilizando en producción.
“Si bien es doloroso ver algunas de estas respuestas ofensivas, las demostraciones públicas como esta son importantes para construir sistemas de IA conversacionales verdaderamente sólidos y cerrar la clara brecha que existe hoy en día antes de que tales sistemas puedan ser producidos”, dice Joelle Pineau, directora general de fundamental. Investigación de IA en Meta.
Pero es un problema difícil de solucionar, porque estas etiquetas son increíblemente pegajosas. Ya es bastante difícil eliminar información de Internet, y será aún más difícil para las empresas de tecnología eliminar datos que ya se han alimentado a un modelo masivo y que potencialmente se han desarrollado en innumerables otros productos que ya están en uso.
Y si cree que es espeluznante ahora, espere hasta la próxima generación de LLM, que se alimentará con aún más datos. “Este es uno de los pocos problemas que empeora a medida que estos modelos crecen”, dice Tramèr.
No son solo datos personales. Es probable que los conjuntos de datos incluyan datos protegidos por derechos de autor, como el código fuente y los libros, dice Tramèr. Algunos modelos han sido entrenados con datos de GitHub, un sitio web donde los desarrolladores de software realizan un seguimiento de su trabajo.
Eso plantea algunas preguntas difíciles, dice Tramèr:
“Si bien estos modelos memorizarán fragmentos de código específicos, no necesariamente conservarán la información de la licencia. Entonces, si usa uno de estos modelos y escupe un fragmento de código que está claramente copiado de otro lugar, ¿cuál es la responsabilidad allí?
Eso le sucedió un par de veces al investigador de IA Andrew Hundt, un becario postdoctoral en el Instituto de Tecnología de Georgia que terminó su doctorado en aprendizaje reforzado en robots en la Universidad John Hopkins el otoño pasado.
La primera vez que sucedió, en febrero, un investigador de IA en Berkeley, California, a quien Hundt no conocía, lo etiquetó en un tuit diciendo que Copilot, una colaboración entre OpenAI y GitHub que permite a los investigadores usar grandes modelos de lenguaje para generar código, había comenzado a arrojar su nombre de usuario de GitHub y texto sobre inteligencia artificial y robótica que se parecía mucho a las listas de tareas del propio Hundt.
“Fue un poco sorprendente que mi información personal apareciera en la computadora de otra persona en el otro extremo del país, en un área que está tan estrechamente relacionada con lo que hago”, dice Hundt.
Eso podría plantear problemas en el futuro, dice Hundt. No solo es posible que los autores no se acrediten correctamente, sino que es posible que el código no transmita información sobre licencias y restricciones de software.
En el gancho
Descuidar la privacidad podría significar que las empresas tecnológicas terminen en problemas con los reguladores tecnológicos cada vez más agresivos.
“La excusa de ‘Es público y no es necesario que nos importe’ simplemente no va a contener el agua”, dice Jennifer King de Stanford.
La Comisión Federal de Comercio de EE. UU. está considerando reglas sobre cómo las empresas recopilan y tratan datos y crean algoritmos, y ha obligado a las empresas a eliminar modelos con datos ilegales. En marzo de 2022, la agencia hizo que la empresa de dietas Weight Watchers eliminara sus datos y algoritmos después de recopilar ilegalmente información sobre niños.
“Hay un mundo en el que ponemos a estas empresas en peligro por poder volver a entrar en los sistemas y descubrir cómo excluir los datos para que no se incluyan”, dice King. “No creo que la respuesta pueda ser simplemente ‘No sé, solo tenemos que vivir con eso’”.
Incluso si los datos se extraen de Internet, las empresas aún deben cumplir con las leyes de protección de datos de Europa. “No se puede reutilizar ningún dato simplemente porque está disponible”, dice Félicien Vallet, quien dirige un equipo de expertos técnicos en la CNIL.
Existe un precedente cuando se trata de penalizar a las empresas tecnológicas bajo el RGPD por extraer los datos de la Internet pública. Numerosas agencias europeas de protección de datos han ordenado a la empresa de reconocimiento facial Clearview AI que deje de reutilizar imágenes disponibles públicamente en Internet para construir su base de datos de rostros.
“Al recopilar datos para la constitución de modelos de lenguaje u otros modelos de IA, enfrentará los mismos problemas y deberá asegurarse de que la reutilización de estos datos sea realmente legítima”, agrega Vallet.
Sin soluciones rápidas
Hay algunos esfuerzos para hacer que el campo del aprendizaje automático tenga más en cuenta la privacidad. La agencia francesa de protección de datos trabajó con la startup de inteligencia artificial Hugging Face para generar conciencia sobre los riesgos de protección de datos en los LLM durante el desarrollo del nuevo modelo de lenguaje de acceso abierto BLOOM . Margaret Mitchell, investigadora de inteligencia artificial y especialista en ética de Hugging Face, me dijo que también está trabajando para crear un punto de referencia para la privacidad en los LLM.
Un grupo de voluntarios que escindió el proyecto de Hugging Face para desarrollar BLOOM también está trabajando en un estándar de privacidad en IA que funcione en todas las jurisdicciones.
“Lo que intentamos hacer es utilizar un marco que permita a las personas hacer buenos juicios de valor sobre si la información que está allí que es personal o identificable personalmente realmente necesita estar allí”, dice Hessie Jones, socio de riesgo en MATR Ventures, quien codirige el proyecto.
MIT Technology Review preguntó a Google, Meta, OpenAI y Deepmind, que han desarrollado LLM de última generación, sobre su enfoque de los LLM y la privacidad. Todas las empresas admitieron que la protección de datos en modelos de lenguaje extenso es un problema constante, que no existen soluciones perfectas para mitigar los daños y que los riesgos y limitaciones de estos modelos aún no se comprenden bien.
Sin embargo, los desarrolladores tienen algunas herramientas, aunque imperfectas.
En un artículo que se publicó a principios de 2022, Tramèr y sus coautores argumentan que los modelos de lenguaje deben entrenarse con datos que se han producido explícitamente para uso público, en lugar de recopilar datos disponibles públicamente.
Los datos privados a menudo se encuentran dispersos en los conjuntos de datos utilizados para capacitar a los LLM, muchos de los cuales se extraen de Internet abierto. Cuanto más a menudo aparezcan esos fragmentos de información personal en los datos de entrenamiento, más probable es que el modelo los memorice y más fuerte se vuelve la asociación. Una forma en que compañías como Google y OpenAI dicen que intentan mitigar este problema es eliminar la información que aparece varias veces en los conjuntos de datos antes de entrenar sus modelos con ellos. Pero eso es difícil cuando su conjunto de datos consta de gigabytes o terabytes de datos y tiene que diferenciar entre el texto que no contiene datos personales, como la Declaración de Independencia de EE. UU., y la dirección particular de alguien.
Google utiliza evaluadores humanos para calificar la información de identificación personal como insegura, lo que ayuda a capacitar al LLM LaMDA de la compañía para evitar regurgitarla, dice Tulsee Doshi, jefe de producto para IA responsable en Google.
Un portavoz de OpenAI dijo que la compañía “ha tomado medidas para eliminar las fuentes conocidas que agregan información sobre las personas de los datos de entrenamiento y ha desarrollado técnicas para reducir la probabilidad de que el modelo produzca información personal”.
Susan Zhang, investigadora de inteligencia artificial en Meta, dice que las bases de datos que se usaron para entrenar a OPT-175B pasaron por revisiones de privacidad internas .
Pero “incluso si entrenas a un modelo con las garantías de privacidad más estrictas que podemos pensar hoy en día, en realidad no vas a garantizar nada”, dice Tramèr.
Fuente: https://www.technologyreview.com/2022/08/31/1058800/what-does-gpt-3-know-about-me/
