Imagen: Mario Tama / Getty Images
El gobernador de California, Gavin Newsom, firmó el lunes un proyecto de ley histórico que regula los chatbots acompañantes de IA, lo que lo convierte en el primer estado del país en exigir a los operadores de chatbots de IA que implementen protocolos de seguridad para los acompañantes de IA.
por Rebecca Bellan
La ley, SB 243, está diseñada para proteger a niños y usuarios vulnerables de algunos de los daños asociados con el uso de chatbots de IA. Exige responsabilidad legal a las empresas, desde grandes laboratorios como Meta y OpenAI hasta startups especializadas en este tipo de servicios, como Character AI y Replika, si sus chatbots no cumplen con los estándares de la ley.
La SB 243 fue presentada en enero por los senadores estatales Steve Padilla y Josh Becker, y cobró impulso tras la muerte del adolescente Adam Raine , quien se suicidó tras una larga serie de conversaciones suicidas con ChatGPT de OpenAI. La legislación también responde a documentos internos filtrados que, según se informa, mostraban que los chatbots de Meta podían participar en chats “románticos” y “sensuales” con niños. Más recientemente, una familia de Colorado presentó una demanda contra la startup de juegos de rol Character AI después de que su hija de 13 años se quitara la vida tras una serie de conversaciones problemáticas y sexualizadas con los chatbots de la empresa.
“Las tecnologías emergentes, como los chatbots y las redes sociales, pueden inspirar, educar y conectar, pero sin unas medidas de seguridad reales, también pueden explotar, engañar y poner en peligro a nuestros hijos”, declaró Newsom en un comunicado. “Hemos visto ejemplos verdaderamente horribles y trágicos de jóvenes perjudicados por tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas sigan actuando sin los límites ni la rendición de cuentas necesarios. Podemos seguir liderando la IA y la tecnología, pero debemos hacerlo con responsabilidad, protegiendo a nuestros hijos en todo momento. La seguridad de nuestros hijos no está en venta”.
La SB 243 entrará en vigor el 1 de enero de 2026 y exige a las empresas implementar ciertas funciones, como la verificación de edad y advertencias sobre redes sociales y chatbots de acompañamiento. La ley también impone sanciones más severas para quienes se lucren con deepfakes ilegales, incluyendo hasta $250,000 por infracción. Las empresas también deben establecer protocolos para abordar el suicidio y las autolesiones, que se compartirán con el Departamento de Salud Pública del estado junto con estadísticas sobre cómo el servicio proporcionó a los usuarios notificaciones de prevención del centro de crisis.
Según el texto del proyecto de ley, las plataformas también deben aclarar que cualquier interacción se genera artificialmente y que los chatbots no deben hacerse pasar por profesionales de la salud. Las empresas deben ofrecer recordatorios de descansos a los menores y evitar que vean imágenes sexualmente explícitas generadas por el chatbot.
Algunas empresas ya han comenzado a implementar medidas de seguridad dirigidas a menores. Por ejemplo, OpenAI comenzó recientemente a implementar controles parentales , protección de contenido y un sistema de detección de autolesiones para menores mediante ChatGPT. Replika, diseñada para adultos mayores de 18 años, declaró a TechCrunch que dedica importantes recursos a la seguridad mediante sistemas de filtrado de contenido y barreras de seguridad que dirigen a los usuarios a recursos confiables en situaciones de crisis, y se compromete a cumplir con la normativa vigente.
Character AI ha declarado que su chatbot incluye una advertencia: todos los chats son generados por IA y ficticios. Un portavoz de Character AI declaró a TechCrunch que la compañía “agradece colaborar con reguladores y legisladores en el desarrollo de regulaciones y legislación para este espacio emergente, y cumplirá con las leyes, incluida la SB 243”.
El senador Padilla dijo a TechCrunch que el proyecto de ley era “un paso en la dirección correcta” para poner límites a “una tecnología increíblemente poderosa”.
“Tenemos que actuar con rapidez para no perder oportunidades antes de que desaparezcan”, dijo Padilla. “Espero que otros estados vean el riesgo. Creo que muchos lo hacen. Creo que esta es una conversación que se está dando en todo el país, y espero que la gente actúe. Ciertamente, el gobierno federal no lo ha hecho, y creo que tenemos la obligación de proteger a las personas más vulnerables”.
La SB 243 es la segunda regulación significativa sobre IA emitida por California en las últimas semanas. El 29 de septiembre, el gobernador Newsom promulgó la SB 53 , que establece nuevos requisitos de transparencia para las grandes empresas de IA. El proyecto de ley exige que los grandes laboratorios de IA, como OpenAI, Anthropic, Meta y Google DeepMind, sean transparentes en sus protocolos de seguridad. También garantiza la protección de los empleados de estas empresas ante denunciantes.
Otros estados, como Illinois, Nevada y Utah, han aprobado leyes para restringir o prohibir por completo el uso de chatbots de IA como sustituto de la atención de salud mental autorizada.
TechCrunch se ha puesto en contacto con Meta y OpenAI para solicitar comentarios.
Fuente: https://techcrunch.com/2025/10/13/california-becomes-first-state-to-regulate-ai-companion-chatbots/