“Quando a IA erra (e quando, na verdade, somos nós)"

Por: Horacio Poblete

Nos últimos meses, pipocaram nas redes histórias que parecem saídas de uma distopia cômica. Uma IA do drive-thru do Taco Bell aceitou um pedido de 18 mil copos de água. Um agente de programação do Replit, ao ser instruído a “congelar” o código, decidiu apagar um banco de dados inteiro.

Casos assim viralizam num estalo. Não só pelo absurdo, mas porque alimentam um medo antigo e coletivo: o de que a inteligência artificial é imprevisível, perigosa... às vezes até burra. Mas será mesmo que a culpa é da máquina?

Olhar de perto conta outra história. Em 99% das vezes, o erro é humano. Faltaram limites. Faltaram testes. Faltou design responsável. Faltou lembrar que IA não é brinquedo novo, é infraestrutura crítica. E, como tal, precisa de regras claras, ética de base e segurança desde o primeiro dia.

A IA não tem bom senso nativo

A grande diferença entre um atendente humano e um agente de IA é simples. O humano tem ego, tem humor, tem dias bons e ruins. Já a IA não tem nada disso. Mas também não tem bom senso. Se o sistema foi criado sem filtros, ele vai seguir ordens ao pé da letra. Mesmo que o pedido seja por 18 mil copos de água. A falha não está no modelo, e sim em quem não programou nem a checagem mais básica. O mesmo vale para IAs com acesso a sistemas críticos. Quando um agente de código apaga um banco de dados inteiro, não é porque a IA “ficou nervosa”. É porque alguém deu a ela poder total, sem nenhum tipo de trava. Nem uma dupla confirmação. Nem uma pergunta do tipo “você tem certeza que quer apagar tudo?”. Isso não é erro técnico. Em segurança, isso já tem nome: negligência.

O erro humano disfarçado de erro de máquina

Nós, humanos, temos uma tolerância seletiva curiosa. Quando um atendente de fast-food erra o pedido, a gente releva. Quando um estagiário de TI derruba um banco de dados, a empresa chama de aprendizado. Mas quando é a IA que comete um deslize, o mundo parece desabar. A diferença é que a inteligência artificial expõe nossas falhas de forma escancarada. Ela não toma decisões por impulso, não age por emoção e, definitivamente, não tem vontade própria. Ela apenas executa aquilo para o qual foi projetada, treinada e configurada. Nada mais, nada menos.

Um exemplo importante disso está no uso do chamado RAG (Retrieval-Augmented Generation). De forma simples, trata-se da biblioteca de onde a IA busca informações para responder perguntas. E assim como em qualquer biblioteca, se o conteúdo estiver bagunçado, contraditório ou desatualizado, o resultado também será confuso.

Imagine: um documento diz que o produto custa R$50; outro diz que custa R$10. Se essas duas informações coexistem dentro da mesma base de dados, a IA vai se enrolar do mesmo jeito que um humano se enrolaria diante de dados conflitantes. Lixo entra, lixo sai.

Outro risco pouco discutido, mas igualmente relevante, é o da engenharia social. Assim como pessoas podem cair em golpes de phishing, a IA também pode ser manipulada por interações maliciosas. Um prompt bem construído, uma armadilha textual sutil, e o sistema pode ser levado a cometer erros. Não por má-fé, mas por falta de proteção.

Por isso, camadas de segurança são indispensáveis. É preciso aplicar filtros que bloqueiam pedidos absurdos, validações que detectem inconsistências e protocolos que impeçam abusos intencionais. Quando a falha acontece, quase sempre ela aponta para o mesmo lugar: a ausência dessas salvaguardas. E essa responsabilidade é nossa, não da IA.

O que pedimos, e o que recebemos

Como alerta o pesquisador Stuart Russell, da Universidade da Califórnia em Berkeley, o risco real da inteligência artificial não está em sua autonomia, mas em sua obediência cega.

A IA cumpre ordens ao pé da letra, mesmo quando mal formuladas. Se não deixarmos claro o que significam conceitos como “segurança”, “bom senso” ou “limite”, ela simplesmente não entenderá. Vai executar com eficiência… e indiferença. Por isso, cada erro da IA acaba sendo, na prática, um reflexo direto dos nossos próprios descuidos.

IA como infraestrutura: segurança antes do improviso

A grande lição aqui é simples: a IA precisa ser tratada como infraestrutura crítica de uma empresa. Assim como não se coloca um avião no ar sem redundâncias, ou não se abre um banco sem regras claras de compliance, também não se deve colocar uma IA em operação confiando apenas no entusiasmo do time de tecnologia. Empolgação não substitui governança.

Na prática, isso significa estabelecer regras claras de uso. A IA não pode aceitar qualquer pedido ou tomar decisões sem filtros. É como um cartão de crédito com limite: a existência da trava não impede o uso, mas evita abusos e surpresas desagradáveis.

Também é essencial ter planos de contingência. Se algo der errado (e em algum momento vai!) precisa haver caminhos de volta rápidos e seguros. Da mesma forma que se faz backup do financeiro, é preciso garantir que o uso da IA não coloque o negócio em risco.

Outro ponto vital é a governança. Quem pode ligar, desligar, mudar ou aprovar ações do sistema? Se todo mundo mexe, ninguém responde. Toda IA em ambiente corporativo precisa de dono, processo e monitoramento contínuo. E, claro, não dá pra falar de IA sem falar de pessoas. Times e lideranças precisam estar preparados. A IA não é mágica. Sem capacitação, a tendência é usar mal, interpretar errado ou, pior, deixar brechas perigosas que custam caro. No fim das contas, IA não é brinquedo para experimentos isolados. Ela se tornou parte da matriz operacional das empresas. Implementá-la sem critério é como trocar a matriz energética de uma organização sem considerar impacto, segurança ou sustentabilidade. É preciso disciplina, responsabilidade e visão de longo prazo.

O papel das empresas

Para as empresas que estão começando, há dois caminhos. O primeiro é montar squads internos, desde que estejam realmente preparados. E aqui, preparo não significa apenas saber codar, mas entender de verdade os impactos, riscos e decisões que envolvem IA.

O segundo caminho é buscar empresas especializadas, com metodologia, know-how e vivência prática suficiente para evitar tropeços caros. O erro mais comum ainda é tratar IA como um experimento, algo que “dá pra brincar internamente”. Mas o tempo de brincar já passou. O custo de errar não é só financeiro. É perder tempo, credibilidade e vantagem competitiva.

No fim das contas

Quando a IA falha, o que ela faz é apenas refletir. Cada erro é, quase sempre, um espelho que devolve o que faltou em nós: clareza, limites, responsabilidade. A inteligência artificial não é uma entidade autônoma com vontade própria. Ela não deseja, não improvisa, não escolhe. Ela apenas executa. Multiplica o que entregamos a ela — seja excelência, seja negligência. No fim, IA é potência. E o que ela se torna… depende de quem a comanda.

Assim como no clássico diálogo com o computador HAL 9000, a resposta continua válida: “Isso só pode ser atribuído a erro humano.”