Todo mundo está falando sobre o que a IA pode fazer. Deixa eu falar sobre o que ela não pode.
Não estou aqui para dizer que a inteligência artificial é inútil ou que é hype. Ela é, de fato, uma das tecnologias mais transformadoras que já apareceram. Mas tem muita gente usando ela errado, esperando coisas que ela não é capaz de entregar, e pagando um preço caro por isso.
Às vezes literalmente com a vida.
A IA é uma máquina de sortear palavras
Antes de falar sobre limitações, precisamos entender o que é uma LLM, o modelo de linguagem que está por trás do ChatGPT, Gemini, Claude e todos os outros que você usa.
Ela não pensa. Ela sorteia.
Quando você faz uma pergunta, o modelo sorteia a próxima palavra. Depois a próxima. Depois a próxima. Ele usa um mecanismo estatístico sofisticado para decidir qual palavra tem maior probabilidade de ser a “certa" dado tudo que já foi escrito antes. O que ele tem de especial é uma forma muito eficiente de classificar quão bom ficou o texto resultado, comparando com os bilhões de textos usados no treinamento.
O que isso significa na prática? A IA é boa em produzir texto que parece uma boa resposta, não necessariamente texto que é uma boa resposta.
Na maior parte dos casos, a diferença é pequena. Uma resposta que parece boa geralmente é boa. Mas em situações onde não existe uma resposta consolidada nos dados de treinamento, ela vai sortear palavras que parecem certas, e falar com a mesma convicção de sempre.
Ela não sabe que está errando. Ela nunca sabe.
O estagiário que nunca duvida de si mesmo
Gosto de pensar na IA como um estagiário bem-intencionado que erra bastante.
Isso é útil porque um estagiário te ajuda a filtrar links, fazer resumos, rascunhar textos, organizar informação. Você usa, mas você revisa. Você sabe que ele pode errar.
O problema é que a IA é um estagiário convincente. Ela não gagueja quando está incerta. Ela não diz “olha, não tenho certeza sobre isso". Ela apresenta a resposta errada com a mesma fluência e segurança da resposta certa.
E aí as pessoas param de revisar.
Já vi isso acontecer em reuniões, em apresentações, em briefings que chegam até nós. O material foi feito pela IA. A pessoa entregou. Você faz a segunda pergunta e ela não sabe responder, porque ela nunca leu o que entregou.
Isso não é usar a IA como ferramenta. Isso é delegar a responsabilidade para uma ferramenta que não tem responsabilidade nenhuma.
Para avaliar uma resposta da IA, você precisa saber a resposta
Aqui está um paradoxo que pouca gente percebe: para saber se a IA errou, você precisa ter conhecimento suficiente para identificar o erro.
Se você não entende o assunto, qualquer resposta parece aceitável.
Isso significa que a IA é mais útil exatamente para quem já sabe do que está fazendo. Para quem não sabe, ela pode ser perigosa, não porque vai dar uma resposta obviamente errada, mas porque vai dar uma resposta que parece completamente razoável.
Para informações factuais simples e bem documentadas, ela vai bem. “Em que ano foi proclamada a República no Brasil?" Isso está em tantos textos que ela vai acertar. Mas quando você quer construir conhecimento novo, fazer um raciocínio original, ou tomar uma decisão que depende de contexto que ela não tem, aí você está por conta própria.
Ela pode te ajudar a encontrar os fatos. Mas ela não vai fazer o trabalho de pensar por você.
Casos reais em que confiar na IA custou caro
Não estou falando de inconveniências.
Nas últimas temporadas, as autoridades dos Alpes italianos registraram aumento no número de mortes de turistas. A causa: pessoas que consultaram a IA sobre rotas e equipamentos necessários para trilhas de montanha, e confiaram nas respostas sem verificar com fontes especializadas.
Houve também o caso de uma mulher que mostrou uma planta para a câmera do celular, perguntou para a IA se era venenosa, acreditou na resposta e morreu.
Num evento aqui em São Paulo, assisti ao vivo a demonstração de um assistente de viagem baseado em IA. Enquanto o pessoal apresentava o produto, abri no celular e perguntei sobre um passeio de casal em Monte Verde, lugar que conheço bem. A IA me recomendou a “Praça do Pôr do Sol" para ver o pôr do sol. Essa praça fica na Vila Madalena. Não existe em Monte Verde. Os restaurantes que ela recomendou também não existiam.
Mas ela recomendou com total segurança, com descrições detalhadas e convincentes.
Quem paga a conta quando a IA mente?
Essa é uma pergunta importante para quem está pensando em usar IA no atendimento ao cliente.
A OpenAI, empresa que criou o ChatGPT, a vanguarda de tudo isso, coloca um aviso no rodapé da interface deles: “ChatGPT pode cometer erros. Considere verificar informações importantes."
Pensa nisso um segundo.
Os melhores do mundo nessa tecnologia, com todo o investimento e conhecimento que têm, precisam avisar que o produto deles pode errar. Se eles não conseguem entregar uma IA em que você possa confiar cegamente, que mágica você imagina que vai acontecer na sua empresa?
E tem um problema jurídico que pouca gente considera: um consumidor mal-intencionado pode ficar ali, conversando com o seu chatbot, coletando sistematicamente as respostas erradas para usar como evidência em processo judicial.
Isso não é paranoia. É uma possibilidade real que precisa estar no seu modelo de risco.
A IA está mascarando falta de processo
Tem chegado até nós um tipo de cliente que me preocupa: o que quer uma IA para resolver um problema de negócios, mas que ao primeiro questionamento não sabe explicar qual é o processo que a IA deveria executar.
O briefing chegou feito pela IA. O processo que a IA deveria automatizar não está documentado. As regras de negócio não foram pensadas.
A esperança, às vezes implícita, é que a própria IA descubra qual é o processo ideal.
Ela não vai.
A IA pode sortear palavras que parecem descrever um bom processo. Mas ela não conhece o seu negócio, não conhece as exceções que sua equipe sabe de cor, não tem o contexto de anos de operação. Ela vai te dar algo que soa razoável. E você vai ter que aprender da forma difícil que razoável não é suficiente.
Em muitos casos, o problema que o cliente quer resolver com IA seria mais bem resolvido, mais barato, mais rápido, mais confiável, com um processo bem documentado e automação convencional. Sem nenhuma LLM no meio.
Como colocar IA em produção com responsabilidade
Isso não significa que você não deve usar IA. Significa que você precisa usá-la com cuidado.
Quando desenho a arquitetura de um projeto com IA, costumo pintar de vermelho as partes que envolvem o modelo. Depois olho para cada uma e pergunto: se a IA errar de forma drástica aqui, o que acontece? A saída vai direto para o cliente? Tem um sistema no meio do caminho? Qual é o impacto?
Esse risco precisa ser conhecido. E depois de conhecido, precisa ser mitigado.
Algumas práticas que fazem diferença:
Defina os limites antes de ligar. A IA precisa ter clareza sobre o que pode responder, de onde busca informação, e quando deve dizer “não sei" ou encaminhar para um humano. Sem esses limites, ela vai inventar respostas que parecem razoáveis.
Guarde logs de tudo. Em produção, você precisa conseguir auditar o que a IA está dizendo. Isso tanto para corrigir problemas quanto para ter evidência do que aconteceu em caso de disputa.
Teste muito mais do que você testaria software convencional. Software convencional é determinístico: mesma entrada, mesma saída, sempre. IA é probabilística: mesma entrada pode gerar saídas diferentes. O volume de testes necessários é massivamente maior.
A meta não é zero erros. É errar menos, ou de forma menos cara, do que o time humano erraria fazendo a mesma coisa.
Onde a IA realmente brilha
Tendo dito tudo isso, deixa eu ser justo sobre o que ela faz bem.
Tarefas repetitivas em escala. Se você tem um processo que se repete com pequenas variações, a IA pode automatizá-lo de forma eficiente.
Processamento de dados não estruturados. Você tem anos de e-mails, PDFs, registros em texto livre? A IA pode ler tudo isso e transformar em dados estruturados que um sistema convencional consegue processar. Isso é algo que antes simplesmente não dava para automatizar.
Auxiliar no raciocínio. Aqui está um dos usos que mais gosto: usar a IA para me questionar. Quando estou preparando um material, peço para ela me dizer o que estou deixando de considerar, o que poderia ser melhorado, quais pontos estão confusos. Eu não aceito as respostas como verdade, leio, avalio, e uso o que faz sentido. Mas ela quase sempre traz algo que eu não tinha considerado.
Auditoria de texto em larga escala. Você tem milhares de interações de atendimento e quer identificar onde o atendente foi mal-educado, ou onde o cliente saiu insatisfeito? A IA pode ler esse volume todo e sinalizar o que merece revisão humana.
Interface mais humana para software complexo. Em 2001, Michael Dertouzos, diretor do MIT, já previa que a interface com computadores se tornaria conversacional. Isso está acontecendo agora. Você não precisará mais ser treinado para usar um ERP se puder simplesmente dizer o que precisa. Isso vai democratizar o acesso ao software de forma que ainda não imaginamos completamente.
O que a IA não vai substituir tão cedo
A IA não vai substituir o ser humano em sua melhor entrega.
Existe uma quantidade enorme de bom senso em desenvolvimento de software. Gerar uma arquitetura que seja ao mesmo tempo segura, barata de operar e fácil de usar exige pesar fatores que a IA não sabe ponderar. Dizer “não" para o cliente quando o fluxo que ele pediu é um problema de segurança exige julgamento humano. Se quiser aprofundar nesse ponto, escrevemos mais sobre como a IA e o desenvolvedor se complementam.
Agora, a IA vai substituir quem faz trabalho de robô. Quem acorda todo dia, pega ônibus por uma hora, senta na frente de um computador e por oito horas executa tarefas mecânicas que não exigem senso crítico. Essas pessoas serão substituídas, e isso levanta questões econômicas sérias que merecem um artigo próprio.
IA é um recurso técnico, não uma religião
Tem um tipo de conversa sobre IA que me preocupa: quando o assunto da conversa é a IA em si, não o problema de negócio que ela deveria resolver.
Quando um fornecedor chega falando que vai colocar IA em tudo, em cada etapa, em cada módulo, em cada processo, desconfie. Isso é paixão pela tecnologia, não pelo seu problema.
Banco de dados relacional é um recurso técnico poderoso. Banco não-relacional também. Sistema de busca semântica também. Ninguém chega para vender software e passa meia hora falando sobre bancos de dados. Você escolhe o banco que faz sentido para o problema, e pronto.
IA deveria ser tratada da mesma forma. É mais um recurso técnico, poderosíssimo, capaz de resolver coisas que antes eram impossíveis de automatizar, mas é só mais um recurso. Ele entra na arquitetura onde faz sentido, não em todo lugar só porque é empolgante. É o que chamamos de agentes de IA especializados: IA com poderes definidos, integrada a código convencional, dentro de limites que fazem sentido para o negócio.
Software convencional ainda é a resposta mais barata, mais segura e mais previsível na maioria dos casos. E ele se integra com IA exatamente onde faz sentido. E quando o software não tem qualidade, seja gerado por IA ou não, os custos aparecem mais tarde, geralmente mais caros do que o original.
A conversa madura não é “o que a IA pode fazer". É “qual é o seu problema, e qual é a melhor forma de resolvê-lo". Se a resposta envolver IA, ótimo. Se não envolver, melhor ainda.
Estamos fazendo brinquedos de chumbo
No começo da Revolução Industrial, brinquedos eram feitos de chumbo. É um metal barato, fácil de trabalhar, fácil de moldar. Ninguém questionou. Só depois de muita doença e muita morte a humanidade aprendeu que não era uma boa ideia.
Estamos no mesmo momento com a IA.
Ela vai continuar existindo e vai continuar mudando o mundo. Mas estamos dando a ela acesso a nossas casas, nossos e-mails, nossas informações pessoais, nossas decisões de negócio, sem entender direito o que estamos fazendo.
Vamos aprender. Mas o custo do aprendizado pode ser alto.
Por isso a conversa que precisamos ter não é “a IA vai mudar tudo". Ela já está mudando. A conversa que precisamos ter é: o que ela realmente é, onde ela funciona de verdade, e onde ela vai te deixar na mão.
Espero ter ajudado com isso aqui.
Este artigo é baseado numa conversa que tivemos no podcast da Visie, Thabata Camarotti, Igor Iglesias, Wellinton Ribeiro e eu, Elcio Ferreira, discutimos esse tema com profundidade. Se quiser, pode ouvir o episódio completo.
