Contratante de crises para OpenAI, Anthropic considera mudança para combater extremismo

SYDNEY, Austrália – Pessoas que demonstrem tendências extremistas violentas no ChatGPT serão direcionadas para apoio de desradicalização baseado em humanos e chatbots através de uma nova ferramenta em desenvolvimento na Nova Zelândia, disseram os responsáveis pela iniciativa.

A iniciativa é a mais recente tentativa de abordar preocupações de segurança face a um número crescente de processos judiciais que acusam empresas de IA de não conseguirem impedir, e até permitirem, a violência.

A OpenAI foi ameaçada com intervenção do governo canadiano em fevereiro depois de revelar que uma pessoa que realizou um tiroteio mortal numa escola tinha sido banida da plataforma sem que as autoridades fossem informadas.

A ThroughLine, uma startup contratada nos últimos anos pela OpenAI, proprietária do ChatGPT, bem como pelas rivais Anthropic e Google, para redirecionar utilizadores para apoio em crises quando são sinalizados como estando em risco de autolesão, violência doméstica ou distúrbio alimentar, está também a explorar formas de alargar as suas ofertas para incluir a prevenção do extremismo violento, disse o seu fundador e antigo trabalhador juvenil Elliot Taylor.

A empresa está em discussões com The Christchurch Call, uma iniciativa para erradicar o ódio online formada após o pior ataque terrorista da Nova Zelândia em 2019, que envolveria o grupo anti-extremismo a fornecer orientação enquanto a ThroughLine desenvolve o chatbot de intervenção, disse o antigo trabalhador juvenil.

"É algo para o qual gostaríamos de avançar e fazer um melhor trabalho de cobertura e então ser capazes de apoiar melhor as plataformas", disse Taylor numa entrevista, acrescentando que não foi definido um prazo.

A OpenAI confirmou a relação com a ThroughLine mas recusou comentar mais. A Anthropic e a Google não responderam imediatamente a pedidos de comentário.

A empresa de Taylor, que ele gere a partir de sua casa na zona rural da Nova Zelândia, tornou-se uma referência para empresas de IA com a sua oferta de uma rede constantemente verificada de 1.600 linhas de apoio em 180 países.

Uma vez que a IA detete sinais de uma potencial crise de saúde mental, encaminha o utilizador para a ThroughLine, que os liga a um serviço disponível gerido por humanos nas proximidades.

Mas o âmbito da ThroughLine tem sido limitado a categorias específicas, disse o fundador. A amplitude das lutas de saúde mental que as pessoas revelam online explodiu com a popularidade dos chatbots de IA, e agora inclui flertes com o extremismo, acrescentou.

Mais chatbots, mais problemas

A ferramenta anti-extremismo seria provavelmente um modelo híbrido combinando um chatbot treinado para responder a pessoas que mostrem sinais de extremismo e encaminhamentos para serviços de saúde mental do mundo real, disse Taylor.

"Não estamos a usar os dados de treino de um LLM base", disse ele, referindo-se aos conjuntos de dados genéricos que as plataformas de modelos de linguagem grandes usam para formar texto coerente. "Estamos a trabalhar com os especialistas corretos." A tecnologia está atualmente a ser testada, mas não foi definida uma data para o lançamento.

Galen Lamphere-Englund, um conselheiro de contraterrorismo representando The Christchurch Call, disse que esperava lançar o produto para moderadores de fóruns de jogos e para pais e cuidadores que queiram eliminar o extremismo online.

Uma ferramenta de reencaminhamento por chatbot era "uma ideia boa e necessária porque reconhece que não é apenas o conteúdo que é o problema, mas as dinâmicas de relacionamento", disse Henry Fraser, um investigador de IA na Queensland University of Technology.

O sucesso do produto pode depender de questões de "quão bons são os mecanismos de acompanhamento e quão boas são as estruturas e relações para as quais direcionam as pessoas ao abordar o problema", disse ele.

Taylor disse que as funcionalidades de acompanhamento, incluindo possíveis alertas às autoridades sobre utilizadores perigosos, ainda estavam por determinar mas teriam em conta qualquer risco de desencadear comportamento escalado.

Ele disse que pessoas em sofrimento tendiam a partilhar coisas online que estavam demasiado envergonhadas para dizer a uma pessoa, e os governos arriscavam-se a agravar o perigo se pressionassem as plataformas a cortar utilizadores que se envolvessem em conversas sensíveis.

A moderação intensificada associada à militância por plataformas sob pressão das autoridades policiais tem visto simpatizantes a mudarem-se para alternativas menos regulamentadas como o Telegram, de acordo com um estudo de 2025 do Stern Center for Business and Human Rights da Universidade de Nova Iorque.

"Se falar com uma IA e revelar a crise e ela encerrar a conversa, ninguém sabe que isso aconteceu, e essa pessoa pode ainda ficar sem apoio", disse Taylor. – Rappler.com