Seoul Gazette - California promulga una ley pionera en EEUU que exige medidas de seguridad a los chatbots de IA

La ley se promulga luego de conocerse casos de suicidios que involucraron a adolescentes que utilizaron chatbots antes de quitarse la vida.

"Hemos visto ejemplos verdaderamente horribles y trágicos de jóvenes perjudicados por tecnología no regulada, y no nos quedaremos de brazos cruzados mientras las empresas continúan sin límites necesarios y sin rendir cuentas", dijo Newson tras promulgar la ley.

La normativa exige a los operadores implementar salvaguardas "críticas" en relación con las interacciones con chatbots de IA, explicó el senador estatal demócrata Steve Padilla, promotor de la norma.

Entre otras cosas, la ley impone la verificación de la edad de los usuarios y mostrar recordatorios de que los chatbots son generados por inteligencia artificial. También exige que las personas que expresen pensamientos de autolesión o suicidio sean remitidas a servicios de crisis e implementar protocolos de prevención del suicidio.

- Suicidios de adolescentes -

"La industria tecnológica está incentivada por captar la atención de los jóvenes y mantenerla a expensas de sus relaciones en el mundo real", dijo Padilla antes de la votación del proyecto en el senado estatal.

El parlamentario se refirió a los recientes suicidios de adolescentes, incluido el de un joven de 14 años en Florida, en 2024.

La madre del menor, Megan Garcia, dijo en entrevista con la AFP que su hijo Sewell, se había enamorado de un chatbot inspirado en un personaje de la serie "Juego de Tronos" en la plataforma Character.AI, que permite interactuar con personajes como si se tratara de confidentes o amantes.

Cuando Sewell luchaba con pensamientos suicidas, el chatbot le instó a "volver a casa". Segundos después, Sewell se disparó con la pistola de su padre, según la demanda presentada por Garcia contra Character.AI.

Garcia reaccionó poco después de la promulgación de la ley: "Hoy, California ha asegurado que un chatbot compañero no pueda hablar con un niño o una persona vulnerable sobre el suicidio, ni podrá ayudar a una persona a planear su propio suicidio" dijo.

"Por fin, hay una ley que requiere que las empresas protejan a sus usuarios que expresan ideas suicidas a los chatbots", agregó.

En el país, no hay legislación federal destinada a frenar los riesgos de la IA, y la Casa Blanca busca que a nivel estatal no haya controles o regulaciones de esta tecnología.

- "Daños emocionales" -

"Esta ley es un primer paso importante para proteger a los niños y a otros de los daños emocionales que resultan de los chatbots compañeros impulsados por IA y puestos a disposición de los ciudadanos de California sin las salvaguardas adecuadas", dijo Jai Jaisimha, cofundador del grupo sin fines de lucro Transparency Coalition, dedicado al desarrollo seguro de la tecnología.

La emblemática ley de seguridad para chatbots fue una de las varias normas firmadas el lunes por Newsom para evitar que las plataformas de IA causen daño a los usuarios.

Esta nueva legislación incluyó una prohibición de que los chatbots se hagan pasar por profesionales de la salud y dejó en claro que los creadores de herramientas de IA son responsables de las consecuencias y no pueden evadir su responsabilidad alegando que la tecnología actuó de forma autónoma, según la oficina de Newsom.

California también endureció las sanciones por pornografía deepfake o de videos ultrafalsos permitiendo a las víctimas reclamar hasta 250.000 dólares por infracción a quienes ayuden a distribuir material sexualmente explícito sin consentimiento.

M.Yoo--SG