Dois analistas defendem que o debate em Washington sobre inteligência artificial está concentrado no cenário errado. Para Michael C. Horowitz, da Universidade da Pensilvânia, e Lauren Kahn, do Centro para Segurança e Tecnologia Emergente da Universidade Georgetown, o risco mais urgente é o viés de automação, quando pessoas dependem demais de sistemas de IA, às vezes mesmo diante de provas em contrário.

O texto cita um episódio ocorrido neste ano, durante a guerra dos Estados Unidos com o Irã. Um relatório de inteligência afirmava que a China enviava componentes nucleares, por navio, ao Irã. Os militares começaram a vigiar a embarcação e planejaram uma abordagem. Pouco antes da operação, porém, a informação foi reexaminada e se descobriu que o alerta era falso. Um analista havia repassado um resultado de um modelo de IA que juntara dados de forma incorreta.

Segundo os autores, o analista não verificou o conteúdo gerado e não informou que usara IA na produção do documento. Os planejadores que receberam o relatório também não checaram. Para eles, o caso lembra o incidente de 1983, quando o oficial soviético Stanislav Petrov considerou falso um alerta de satélites sobre um suposto ataque nuclear dos Estados Unidos e não o repassou aos superiores. Desta vez, segundo o artigo, a máquina errou e o humano apenas transmitiu o erro.

Outros exemplos

Os autores citam outros casos de dependência excessiva da automação. Pilotos de aviação que confiam demais no piloto automático e ignoram instrumentos já causaram acidentes que mataram centenas de pessoas nas últimas três décadas. Motoristas seguem rotas de navegação mesmo quando levam a uma via fechada. Em 2003, sistemas de mísseis Patriot no Iraque classificaram aeronaves aliadas como mísseis, e operadores aprovaram ataques que mataram militares britânicos e americanos.

Para os autores, o debate atual, marcado por alertas de executivos de empresas de IA e pelo discurso do presidente Donald Trump, que chamou as restrições de conspiração, dá pouca atenção a esse tipo de falha humana. Eles afirmam que o foco em cenários de catástrofe pode desviar a atenção de riscos já presentes.

Os autores propõem duas mudanças. A primeira é criar procedimentos padronizados para produtos de inteligência que usem IA, com aviso visível aos leitores e confirmação humana antes de decisões de alto risco. A segunda é treinamento. Em pesquisas citadas pelos autores, pessoas com menos experiência em IA tendiam mais a aceitar suas respostas, e cadetes de West Point mostraram viés de automação em 3,9% dos testes, contra 9% de uma amostra de civis americanos.

Ainda não está claro se o governo americano adotará essas medidas. O texto cita a estratégia de aceleração de IA do Pentágono, lançada em janeiro pelo secretário de Defesa Pete Hegseth, que prevê ampliar o acesso a ferramentas de IA para 3 milhões de militares e civis, mas não inclui treinamento específico sobre riscos, segundo os autores.