Controle e riscos: quais são os limites da IA na moderação das redes sociais?

Imagine que um usuário tenta fazer o ChatGPT escrever sobre um crime e a IA se recusa. Porém, em outra aba, o mesmo internauta tem acesso a posts com violência, bullying e assédio nas redes sociais. Por que a mesma tecnologia, a inteligência artificial, tem resultados tão diferentes na moderação de conteúdo?

O contraste é evidente: enquanto assistentes como ChatGPT, Claude e Gemini negam categoricamente qualquer solicitação relacionada a conteúdos ilegais, de pirataria a material explícito, as mesmas tecnologias que operam por trás das redes sociais frequentemente falham em identificar e remover automaticamente tais conteúdos quando circulam entre bilhões de usuários.

Segundo dados da Meta, o Facebook registou um aumento no conteúdo violento, bem como nos casos de bullying e assédio, revelando as limitações crescentes dos sistemas automatizados de moderação. A situação se agravou após mudanças recentes nas políticas de moderação da empresa, que reconheceu que está removendo excessivamente conteúdos nas suas plataformas, como Facebook e Instagram.

Em 2025, o número de usuários ativos em redes sociais no mundo atingiu cerca de 5,24 bilhões, o que corresponde a 60,6% da população global. Esse número representa um crescimento de 4,1% em relação ao ano anterior, de acordo com dados do relatório "Digital 2025: Global Overview Report" da Data Reportal.

O Brasil, com mais de 165 milhões de usuários de redes sociais conforme o estudo “Digital 2024 Brazil”, da We Are Social, tornou-se um laboratório privilegiado para observar essas contradições tecnológicas. Enquanto o país avança em discussões regulatórias sobre moderação de conteúdo digital, as plataformas enfrentam desafios técnicos e éticos cada vez mais complexos.

O paradoxo dos filtros: rigidez versus permissividade

Essa diferença se dá, segundo Eduardo Augusto, CEO da IDK, consultoria de marketing, comunicação e tecnologia, porque “a diferença entre a moderação de IAs conversacionais e redes sociais reside fundamentalmente em seus objetivos de negócio. Enquanto assistentes virtuais priorizam a segurança e conformidade legal, as redes sociais operam sob a lógica do engajamento e tempo de permanência na plataforma”.

"As IAs trabalham com filtros preventivos extremamente rígidos porque cada interação é direcionada e controlável. Já nas redes sociais, a moderação precisa processar volumes astronômicos de conteúdo em tempo real, criando lacunas inevitáveis", ressalta Eduardo Augusto.

De acordo com o primeiro relatório de transparência do Digital Services Act (DSA), em plataformas como Facebook e Instagram, a moderação automatizada representa entre 93% e 98% das decisões de remoção de conteúdo, enquanto a moderação humana fica entre 1,5% e 6% dessas ações. Na prática, isso significa que quase todo o processo de filtragem e exclusão de publicações depende de sistemas de inteligência artificial que, embora rápidos e escaláveis, ainda enfrentam dificuldade para compreender contextos, detectar linguagem disfarçada e interpretar nuances culturais.

"Os algoritmos de recomendação são otimizados para maximizar engajamento, não para minimizar riscos. Isso cria um conflito estrutural entre segurança e lucratividade", analisa Eduardo Augusto.

Desafios técnicos em escala global

A moderação automatizada enfrenta obstáculos técnicos significativos quando aplicada em escala. Linguagem codificada — conhecida como algospeak — símbolos ou GIFs disfarçados, conteúdo contextual e variações regionais de expressão tornam a detecção automática extremamente complexa. Algospeak é o uso de expressões cifradas em redes sociais com o objetivo de escapar da moderação algorítmica, seja para driblar penalizações ou para preservar a monetização do conteúdo.

Além disso, podem ocorrer distorções causadas por políticas pouco claras: no Brasil, novas diretrizes da Meta passaram a permitir publicações que reforçam estereótipos ou preconceitos raciais, étnicos, religiosos e contra pessoas com deficiência, condutas consideradas criminosas pela legislação local, conforme revelou a organização Aos Fatos. Este exemplo evidencia como mudanças nas políticas podem agravar os desafios técnicos ao enviar sinais contraditórios aos moderadores e aos sistemas automáticos.

“A IA atual ainda não consegue compreender nuances contextuais como ironia, sarcasmo ou referências culturais específicas. Um meme pode ser inofensivo em uma cultura e extremamente ofensivo em outra”, pontua o especialista e palestrante em tecnologia, negócios e carreira, Antonio Muniz.

O impacto em públicos vulneráveis e a conscientização dos pais

No Brasil, desde junho de 2025, o Ministério da Justiça reclassificou o Instagram como não recomendado para menores de 16 anos (anteriormente era 14), justificando a mudança com base em temas sensíveis como sexo explícito, violência extrema e uso de drogas. O Facebook já era classificado há tempos como impróprio para menores de 16 anos; outras plataformas seguem diferentes faixas indicativas, como: TikTok, 14 anos; X (antigo Twitter), 18 anos.

Além dos aspectos regulatórios, emitir alertas e orientações é essencial: em março de 2025, o governo federal lançou o Guia “Crianças, Adolescentes e Telas: Guia sobre Uso de Dispositivos Digitais”. Produzido por uma rede interministerial, com contribuições do Conselho Federal de Psicologia, o documento recomenda, por exemplo, que crianças menores de 2 anos evitem o uso de telas (exceto para videochamadas com familiares) e que menores de 12 anos não tenham smartphones próprios.

Pesquisas também reforçam a urgência dessa proteção: segundo o TIC Kids Online Brasil 2024, 93% das crianças e adolescentes entre 9 e 17 anos são usuários de internet, cerca de 25 milhões de jovens, e 23% deles acessaram a internet antes dos 6 anos (versus 11% em 2015).

Eduardo Augusto, da IDK, reforça o alerta: “Quando falamos de proteção infantil online, não podemos aceitar uma margem de erro de 5% ou 10%. Cada criança exposta a conteúdo prejudicial representa um fracasso sistêmico com consequências duradouras.”

A regulação e a conscientização são reforçadas pelo especialista em Inteligência Artificial e seu impacto nas organizações, professor de MBA da Fundação Getúlio Vargas (FGV) e palestrante internacional, Kenneth Corrêa. “Muito mais que definir uma idade mínima, precisamos garantir que as classificações e ferramentas de proteção digital sejam compreendidas e efetivas. A legislação brasileira avançou, mas ainda falta uma articulação clara com as práticas tecnológicas das plataformas, especialmente quando o design algorítmico prioriza engajamento em vez de segurança”.

Iniciativas corporativas e limitações

As grandes tecnológicas têm investido bilhões em moderação de conteúdo, mas os resultados permanecem aquém das necessidades. A Meta, por exemplo, emprega milhares de moderadores humanos globalmente, complementados por sistemas de IA, mas ainda enfrenta críticas constantes sobre a eficácia de seus controles.

"As empresas estão presas entre reguladores que exigem mais controle, usuários que querem mais liberdade, e algoritmos que ainda não são suficientemente sofisticados para navegar essas tensões", analisa Antonio Muniz.

Perspectivas e soluções emergentes

Especialistas apontam para abordagens híbridas como caminho mais promissor: combinação de IA avançada, moderação humana especializada e participação da comunidade de usuários. O modelo de "notas da comunidade", similar ao adotado pelo X (antigo Twitter), representa uma dessas tentativas de democratizar a moderação.

Eduardo Augusto vislumbra um futuro em que "a moderação será cada vez mais personalizada e contextual, com IAs capazes de entender não apenas o conteúdo, mas também o impacto específico em diferentes audiências e culturas".

Os limites atuais da inteligência artificial na moderação de conteúdos revelam a complexidade de regular o ambiente digital em escala global. Enquanto assistentes conversacionais demonstram que controles rígidos são tecnicamente possíveis, a aplicação desses mesmos padrões às redes sociais esbarra em desafios de escala, contexto cultural e objetivos comerciais.

Kenneth Corrêa resume o desafio: "Estamos diante de uma questão que transcende a tecnologia. É preciso repensar fundamentalmente como equilibramos inovação, liberdade e proteção no ambiente digital, independente da cultura e da localização. A resposta não virá apenas de algoritmos mais sofisticados, mas de uma nova filosofia sobre responsabilidade corporativa, governança digital e cuidado com o social". Nesse sentido, iniciativas como o documento Responsible AI da Microsoft servem de referência ao propor diretrizes claras para que a inovação tecnológica caminhe lado a lado com princípios éticos e impactos sociais positivos.

O futuro da moderação digital provavelmente dependerá menos de soluções tecnológicas isoladas e mais de frameworks integrados que combinem inteligência artificial, supervisão humana, participação comunitária e marcos regulatórios adaptativos às realidades locais e globais.

IDK é uma renomada consultoria no Brasil, que oferece soluções que unem tecnologia, design e comunicação. A junção dessas três áreas na IDK é o que resulta na qualidade das entregas, na inovação e na alta performance de seus clientes. O objetivo é ajudar empresas que desejam transformar suas aspirações em realidade, construindo conexões reais e aprendizados por meio da análise de dados e personalização do atendimento. A IDK auxilia grandes empresas nas frentes de branding, mídia, dados, gaming content, produção de vídeo, digital development, service release, experiência do cliente, UI, UX/CX research e CRM). A tecnologia não é o fim, é apenas o meio, essa é a IDK, seja muito bem-vindo!

Antonio Muniz é uma das vozes influentes do ecossistema de tecnologia e negócios no Brasil. CEO Advisor e presidente da Editora Brasport, Muniz atua oferecendo consultoria estratégica com foco em inovação e impacto. Ele também preside comitês de tecnologia em duas academias relevantes do setor, onde promove conexões profissionais e estimula o desenvolvimento técnico por meio do networking qualificado. À frente da Jornada Colaborativa, movimento que reúne especialistas em torno da produção de conteúdo acessível e colaborativo, Muniz se consolidou como referência nacional em temas como Agilidade, DevOps, Lean, Qualidade de Software (QA), OKR e Transformação Digital. Autor, editor e professor de MBA Executivo em Agilidade, Tecnologia e Negócios na Anhanguera Educacional, ele também é presença frequente em eventos, como palestrante e mentor. Sua trajetória é marcada pela capacidade de unir pessoas, ideias e propósitos, sempre com o objetivo de gerar valor coletivo e acelerar o avanço do setor. Para mais informações, acesse: LinkedIn.

Kenneth Corrêa

Kenneth Corrêa é um renomado especialista em Dados, Inteligência Artificial e Metaverso. Professor de MBA na Fundação Getúlio Vargas (FGV), o profissional tem ajudado a moldar a próxima geração de líderes. Além disso, Kenneth é palestrante internacional TEDx e atua como Diretor de Estratégia da Agência 80 20 Marketing, onde lidera uma equipe de 90 profissionais. Com 15 anos de experiência em marketing e tecnologia, ele desenvolve projetos inovadores para grandes empresas como AEGEA, JBS e Suzano. Recentemente, lançou no MIT (MIT - Massachusetts Institute of Technology) seu primeiro livro internacional, "Organizações Cognitivas - Alavancando o Poder da IA Generativa e dos Agentes Inteligentes", que explora o impacto da IA nas organizações.