Estudo mostra que falhas em segurança e regras de negócio elevam erros da IA nas empresas

Um estudo conduzido pela Tech for Humans, consultoria que simplifica a tecnologia por meio de Agentes de IA e Jornadas Digitais, transformando desafios técnicos em experiências humanas e personalizadas, identificou uma fragilidade estrutural na forma como empresas estão implementando inteligência artificial no atendimento ao cliente. Segundo a pesquisa, misturar instruções de negócio com regras técnicas de segurança pode fazer com que a IA erre em até 57,7% dos casos quando o usuário foge do assunto principal da conversa.

O levantamento analisou dezenas de milhares de execuções experimentais para entender por que assistentes baseados em modelos de linguagem vêm apresentando dois comportamentos extremos: ou deixam passar tentativas sofisticadas de manipulação, ou bloqueiam clientes legítimos por excesso de rigor.

Para Fernando Wolff, CEO da Tech for Humans, o problema não está apenas no modelo utilizado, mas na arquitetura que define como ele toma decisões. “O mercado está focado em escolher o modelo mais avançado, mas ignora a engenharia de decisão. Quando você mistura regra de negócio com regra de segurança, você cria um conflito interno no sistema. A IA passa a julgar relevância como se fosse ameaça”, afirma.

Quando proteger demais vira prejuízo

De acordo com o estudo, o erro começa quando a camada de segurança, conhecida como Guardrail, passa a atuar também como filtro de escopo comercial. Em vez de se limitar a bloquear riscos técnicos, como tentativas de manipulação de instruções ou vazamento de dados, ela passa a decidir o que é ou não pertinente ao negócio. “Guardrail não é filtro de assunto. Ele existe para proteger a integridade técnica do sistema. Quando você delega a ele a lógica de negócio, a chance de erro cresce exponencialmente”, diz Wolff.

Na prática, essa sobrecarga torna o modelo mais defensivo e aumenta a incidência de falsos positivos — bloqueios indevidos de usuários legítimos. Em ambientes de atendimento em larga escala, esse tipo de fricção pode impactar diretamente conversão, retenção e percepção de marca. “O maior dilema das empresas hoje não é apenas evitar ataques. É escalar atendimento sem criar uma IA que bloqueia clientes legítimos por medo de errar”, analisa o executivo. “Se o sistema fica conservador demais, ele protege, mas prejudica a experiência. E experiência ruim tem impacto direto na receita.”

A pesquisa também indica que a inclusão excessiva de contexto operacional dentro da camada de segurança pode aumentar o rigor do sistema, mas reduzir sua precisão. “Quando você adiciona regras comerciais ao filtro técnico, o modelo tende a interpretar ambiguidades como ameaça. Isso eleva bloqueios desnecessários e cria atrito na jornada”, explica.

Como alternativa, o estudo propõe uma separação clara de responsabilidades: a camada de segurança deve atuar exclusivamente na mitigação de riscos técnicos, enquanto o agente principal assume a gestão de escopo, regras de negócio e utilidade da interação. “Segurança precisa ser binária e técnica. Escopo é decisão semântica. Quando você separa essas duas dimensões, você reduz atrito e aumenta robustez ao mesmo tempo”, afirma Wolff. “A grande descoberta do estudo é que proteger melhor não significa bloquear mais. Significa arquitetar melhor”.

Para o mercado de tecnologia, os achados indicam que o debate sobre IA corporativa precisa avançar além da escolha do modelo e considerar com mais profundidade a arquitetura de segurança e governança de decisão. “O futuro da IA empresarial não depende só de capacidade cognitiva. Depende de como organizamos responsabilidade, contexto e prioridade dentro do sistema”, conclui o CEO da Tech for Humans.

Sobre a Tech for Humans:

A Tech for Humans é uma consultoria que simplifica a tecnologia por meio de Agentes de IA e Jornadas Digitais, transformando desafios técnicos em experiências humanas e personalizadas. Referência em inteligência artificial aplicada ao atendimento e backoffice, especialmente nos setores financeiro e securitário, a empresa une estratégia, dados e tecnologia com foco real nas pessoas. Com soluções que vão da IA generativa à transformação digital completa, a Tech for Humans entrega inovação com propósito, eficiência e impacto.Acesse o site e saiba mais.