Seoul Gazette - Califórnia promulga 1ª lei nos EUA que exige medidas de segurança para chatbots de IA

A lei é promulgada depois da divulgação de casos de suicídio envolvendo adolescentes que usaram chatbots antes de acabarem com a própria vida.

"Temos visto exemplos realmente horríveis e trágicos de jovens prejudicados pela tecnologia não regulamentada, e não ficaremos de braços cruzados enquanto as empresas continuam sem limites necessários e sem prestar contas", disse Newson ao promulgar a lei.

A norma exige aos operadores a implementação de salvaguardas "críticas" em relação às interações com os chatbots de IA, explicou o senador democrata do estado, Steve Padilla, impulsionador da lei.

Entre outras coisas, a lei impõe a verificação da idade dos usuários e a exibição de lembretes de que os chatbots são gerados por inteligência artificial. Também exige que as pessoas que expressarem pensamentos de autolesão ou suicídio sejam encaminhadas para serviços de gestão de crise e a implementação de protocolos de prevenção ao suicídio.

- Suicídios de adolescentes -

"A indústria tecnológica é incentivada a captar a atenção dos jovens e mantê-la às custas de suas relações no mundo real", disse Padilla antes da votação do projeto no Senado estadual.

O parlamentar se referiu a suicídios recentes de adolescentes, inclusive o de um jovem de 14 anos na Flórida, em 2024.

A mãe do menor, Megan Garcia, disse, em entrevista à AFP, que seu filho, Sewell, tinha se apaixonado por um chatbot inspirado em um personagem da série "Game of Thrones" na plataforma Character.AI, que permite ao usuário interagir com personagens como se eles fossem seus confidentes ou amantes.

Enquanto Sewell lutava contra pensamentos suicidas, o chatbot o incentivou a "voltar para casa". Segundos depois, o adolescente atirou contra si próprio usando a arma do pai, segundo o processo apresentado por Garcia contra a Character.AI.

Garcia reagiu logo após a sanção da lei. "Hoje, a Califórnia assegurou que um chatbot companheiro não possa falar com uma criança ou uma pessoa vulnerável sobre suicídio, nem possa ajudar uma pessoa a planejar seu suicídio" disse.

"Afinal, há uma lei que requer que as empresas protejam seus usuários que expressam ideias suicidas aos chatbots", acrescentou.

No país não há legislação federal destinada a conter os riscos da IA. E a Casa Branca busca que não haja controles em nível estadual ou regulamentações desta tecnologia.

- "Danos emocionais" -

A emblemática lei de segurança para chatbots foi uma das várias normas sancionadas nesta segunda-feira por Newsom para evitar que as plataformas de IA causem prejuízos aos usuários.

Segundo o gabinete do governador, esta nova legislação inclui a proibição de que os chatbots se façam passar por profissionais de saúde e deixou claro que os criadores de ferramentas de IA são responsáveis pelas consequências e não podem se esquivar da responsabilidade, alegando que a tecnologia agiu de forma autônoma.

A Califórnia também endureceu as punições por pornografia deepfake ou vídeos ultra falsos, permitindo às vítimas reivindicar 250 mil dólares (R$ 1,36 bilhão) por infração de quem ajudar a distribuir material sexualmente explícito sem consentimento.

Z.Jin--SG