SP Diário
O Discord reconheceu, em resposta a um ofício do Ministério da Justiça e Segurança Pública, que houve uma falha em seu sistema de alerta automático para conteúdos sensíveis durante uma transmissão ao vivo onde uma adolescente de 13 anos foi levada à automutilação e posteriormente cometeu suicídio. Essa informação foi divulgada em um documento que chegou aos jornais O Estado de S. Paulo, GLOBO e GloboNews. Como consequência, a Agência Nacional de Proteção de Dados (ANPD) decidiu, nesta quarta-feira (12), suspender as transmissões ao vivo da plataforma no Brasil. A live permaneceu ativa por quase duas horas antes de ser interrompida, e o servidor responsável pela transmissão recebeu uma avaliação de risco de apenas 0,12, bem abaixo do limite de 0,95 necessário para a ativação do sistema automático.
Reconhecimento da falha no sistema
No material encaminhado ao Ministério da Justiça e Segurança Pública, o Discord admitiu que seu monitoramento, que tem como objetivo detectar padrões associados a conteúdos prejudiciais e solicitar revisão humana, não funcionou adequadamente durante a live em que ocorreu o caso trágico. A transmissão teve início por volta das 2h20 do dia 22 de julho e só foi finalizada às 4h15, após notificação da polícia, totalizando quase duas horas no ar.
Conforme o documento mencionado, o servidor em questão obteve uma pontuação de risco de 0,12, muito aquém do valor mínimo requerido para identificação automática. A plataforma alegou que os nomes, rótulos e mensagens utilizadas pelos administradores do canal acabaram “mascarando” suas intenções reais. Um trecho do relatório informa: “Os sinais presentes nesse momento não provocaram nem acionamento automático nem revisão humana imediata, seja isoladamente ou em combinação”.
Suspensão das transmissões ao vivo pela ANPD
A ANPD decidiu suspender as lives do Discord no Brasil como medida preventiva e estipulou um prazo de três dias úteis para que a plataforma cumpra essa determinação. Essa ordem abrange somente a funcionalidade de transmissões ao vivo e não resulta na suspensão total da plataforma. Esta decisão é inédita no país e permanecerá em vigor até que o Discord prove ter implementado ferramentas efetivas para proteger crianças e adolescentes.
A agência já monitorava as atividades do Discord desde o ano anterior. Um membro da ANPD comentou sob anonimato que essa decisão não se baseou apenas nesse incidente: “Não se trata apenas de um caso isolado”, destacou, mencionando “diversos casos semelhantes” envolvendo indução à automutilação e suicídio entre jovens durante transmissões ao vivo.
Posicionamento da plataforma e próximos passos
O Discord considerou a aplicação dessa medida como “prematura” e afirmou estar mantendo comunicação com a ANPD dentro do processo administrativo vigente. A empresa declarou que está aproveitando esse episódio para implementar melhorias internas, incluindo treinamento especializado para seus investigadores e aprimoramento das capacidades para interromper transmissões de voz e vídeo, além da criação de novos modelos para identificar padrões de alto risco.
Quanto ao limite atual para detecção de conteúdos problemáticos, a empresa reconheceu sua vulnerabilidade, mas alertou sobre possíveis consequências negativas caso ocorra uma alteração: “Diminuir o limiar de detecção poderia aumentar significativamente os falsos positivos e comprometer a eficácia das intervenções automatizadas proativas”, afirmou o Discord em seu relatório finalizando que o modelo está sendo reavaliado “também com vistas à consideração de possíveis aprimoramentos nos critérios utilizados para priorização”.
