La IA se enfrenta al estado de vigilancia en la nueva distopía educativa de Estados Unidos.
por Lucas Ropek
Durante la última década, a medida que los tiroteos masivos se han vuelto deprimentemente comunes, los distritos escolares han invertido cada vez más en sistemas de vigilancia diseñados para monitorear la actividad en línea de los estudiantes. Recientemente, uno de estos sistemas falló después de que un adolescente en Florida le pidiera consejo a ChatGPT sobre cómo matar a su amigo, según informó la policía local.
El episodio ocurrió en Deland, Florida, donde un estudiante anónimo de 13 años, que asistía a la escuela secundaria Southwestern de la ciudad, presuntamente le preguntó al chatbot de OpenAI cómo “matar a mi amigo en plena clase”. La pregunta activó inmediatamente una alerta en un sistema que monitoreaba las computadoras proporcionadas por la escuela. Dicho sistema era operado por la empresa Gaggle, que brinda servicios de seguridad a distritos escolares de todo el país. Poco después, la policía interrogó al adolescente, según informa WFLA, afiliada local de NBC.
El estudiante declaró a la policía que “solo estaba molestando” a un amigo que lo había “molestado”, según informa el medio local. La policía, por supuesto, no mostró el menor entusiasmo con el pequeño troll. “Otra ‘broma’ que generó una emergencia en el campus”, declaró la Oficina del Sheriff del Condado de Volusia. “Padres, por favor, hablen con sus hijos para que no cometan el mismo error”. El estudiante fue finalmente arrestado y encarcelado en la cárcel del condado, según el medio. Se desconocen los cargos que se le imputan. Gizmodo contactó a la oficina del sheriff para obtener más información.
El sitio web de Gaggle se describe como una solución de seguridad para estudiantes de primaria y secundaria, y ofrece diversos servicios. En una entrada de blog, Gaggle describe cómo utiliza la monitorización web, que filtra por varias palabras clave (presumiblemente “matar” es una de ellas) para obtener “visibilidad del uso del navegador, incluyendo conversaciones con herramientas de inteligencia artificial como Google Gemini, ChatGPT y otras plataformas”. La empresa afirma que su sistema está diseñado para detectar “comportamientos preocupantes relacionados con la autolesión, la violencia, el acoso escolar, etc., y proporciona contexto con capturas de pantalla”.
Gaggle prioriza claramente la seguridad de los estudiantes por encima de cualquier otra consideración. En su sitio web, la empresa aborda el tema de la privacidad estudiantil de la siguiente manera: «La mayoría de los educadores y abogados le dirán que cuando su hijo usa tecnología proporcionada por la escuela, no debe haber ninguna expectativa de privacidad. De hecho, la escuela de su hijo está legalmente obligada por la ley federal (Ley de Protección Infantil en Internet) a proteger a los niños del acceso a contenido obsceno o dañino en internet».
Naturalmente, Gaggle ha sido criticado por activistas en defensa de la privacidad. “Ha convertido en rutina el acceso y la presencia de las fuerzas del orden en la vida de los estudiantes, incluso en sus hogares”, declaró recientemente Elizabeth Laird, directora del Centro para la Democracia y la Tecnología, a Associated Press . El medio también afirma que muchas de las alertas de seguridad emitidas por Gaggle resultan ser falsas alarmas.
Cada vez más, chatbots como ChatGPT aparecen en casos penales relacionados con incidentes de salud mental. Los episodios de la llamada ” psicosis de IA “, en los que personas con problemas de salud mental interactúan con chatbots y parecen ver exacerbados sus delirios, han ido en aumento. Varios suicidios recientes también se han atribuido al chatbot . Gizmodo contactó a OpenAI para obtener comentarios.
Fuente: https://gizmodo.com/teen-arrested-after-asking-chatgpt-how-to-kill-his-friend-police-say-2000668149