Robôs de IA podem já ter matado em combate

Sistemas de armas autônomos de última geração configurados para desencadear uma nova corrida armamentista e diminuir enormemente o custo de travar uma guerra

IA
AI armada na ficção: um robô assassino da franquia de ficção científica ‘Terminator’. Crédito: 20th Century Fox.

Por *James Dawes

Sistemas de armas autônomos – comumente conhecidos como robôs assassinos – podem ter matado seres humanos pela primeira vez no ano passado, de acordo com um relatório recente do Conselho de Segurança das Nações Unidas sobre a guerra civil na Líbia .

A história bem poderia identificar isso como o ponto de partida da próxima grande corrida armamentista, que tem o potencial de ser a última corrida da humanidade.

Os sistemas de armas autônomos são robôs com armas letais que podem operar de forma independente, selecionando e atacando alvos sem um humano pesando nessas decisões.

Militares em todo o mundo estão investindo pesadamente em pesquisa e desenvolvimento de armas autônomas. Só os EUA orçaram US $ 18 bilhões para armas autônomas entre 2016 e 2020.

Como um especialista em direitos humanos com foco na formação de armas da inteligência artificial , acho que as armas autônomas tornam os equilíbrios instáveis ​​e as salvaguardas fragmentadas do mundo nuclear – por exemplo, a autoridade minimamente restrita do presidente dos EUA para lançar um ataque – mais instáveis ​​e mais fragmentado.

Erros letais e caixas pretas

Vejo quatro perigos principais com armas autônomas. O primeiro é o problema de identificação incorreta. Ao selecionar um alvo, as armas autônomas serão capazes de distinguir entre soldados hostis e crianças de 12 anos brincando com armas de brinquedo?

Entre civis fugindo de um local de conflito e insurgentes fazendo uma retirada tática ? Robôs assassinos, como os drones do curta-metragem ‘Slaughterbots’ de 2017, há muito tempo são um subgênero importante da ficção científica.

O problema aqui não é que as máquinas cometerão tais erros e os humanos não. É que a diferença entre erro humano e erro algorítmico é como a diferença entre enviar uma carta e tweetar.

A escala, o escopo e a velocidade dos sistemas de robôs assassinos – comandados por um algoritmo de mira, implantados em todo um continente – podem fazer com que as identificações errôneas por humanos individuais, como um recente ataque de drone dos EUA no Afeganistão, pareçam meros erros de arredondamento em comparação.

ataque drone
Uma casa e um carro danificados após um ataque de drones nos Estados Unidos matou Zemari Ahmadi e nove membros da família em Cabul, em agosto de 2021. Foto: AFP / Haroon Sabawoon

O especialista em armas autônomas Paul Scharre usa a metáfora da arma em fuga para explicar a diferença. Uma arma em fuga é uma metralhadora defeituosa que continua a disparar depois que um gatilho é liberado. A arma continua a disparar até que a munição se esgote porque, por assim dizer, a arma não sabe que está cometendo um erro.

Armas em fuga são extremamente perigosas, mas felizmente elas têm operadores humanos que podem quebrar a conexão da munição ou tentar apontar a arma em uma direção segura. As armas autônomas, por definição, não têm essa proteção.

É importante ressaltar que a IA com arma não precisa nem mesmo ser defeituosa para produzir o efeito de arma em fuga. Como vários estudos sobre erros algorítmicos em indústrias mostraram, os melhores algoritmos – operando conforme projetado – podem gerar resultados internamente corretos que, no entanto, espalham erros terríveis rapidamente entre as populações.

Por exemplo, uma rede neural projetada para uso em hospitais de Pittsburgh identificou a asma como um redutor de risco em casos de pneumonia; o software de reconhecimento de imagem usado pelo Google identificou os afro-americanos como gorilas ; e uma ferramenta de aprendizado de máquina usada pela Amazon para classificar candidatos a empregos sistematicamente tem atribuído notas negativas às mulheres .

O problema não é apenas que, quando os sistemas de IA erram, eles erram em massa. É que, quando erram, seus criadores muitas vezes não sabem por que o fizeram e, portanto, como corrigi-los. O problema da caixa preta da IA ​​torna quase impossível imaginar o desenvolvimento moralmente responsável de sistemas de armas autônomos.

Os problemas de proliferação

Os próximos dois perigos são os problemas de proliferação de gama baixa e alta. Vamos começar com os mais baixos.

Os militares que desenvolvem armas autônomas agora partem do pressuposto de que serão capazes de conter e controlar o uso de armas autônomas . Mas se a história da tecnologia de armas ensinou alguma coisa ao mundo, é isto: as armas se espalham.

As pressões do mercado podem resultar na criação e venda generalizada do que pode ser considerado a arma autônoma equivalente ao rifle de assalto Kalashnikov : robôs assassinos baratos, eficazes e quase impossíveis de conter enquanto circulam pelo mundo.

As armas autônomas “Kalashnikov” podem cair nas mãos de pessoas fora do controle do governo, incluindo terroristas internacionais e domésticos.

As armas autônomas de última geração provavelmente levarão a guerras mais frequentes porque reduzirão duas das principais forças que historicamente preveniram e encurtaram as guerras: a preocupação com os civis no exterior e a preocupação com os próprios soldados.

As armas provavelmente serão equipadas com dispendiosos governadores éticos projetados para minimizar os danos colaterais, usando o que a Relatora Especial da ONU, Agnes Callamard, chamou de “mito de um ataque cirúrgico” para reprimir protestos morais.

As armas autônomas também reduzirão a necessidade e o risco para os próprios soldados, alterando drasticamente a análise de custo-benefício que as nações submetem ao lançar e manter guerras.

As guerras assimétricas – isto é, as guerras travadas no solo de nações que carecem de tecnologia concorrente – provavelmente se tornarão mais comuns. Pense na instabilidade global causada pelas intervenções militares soviéticas e americanas durante a Guerra Fria, desde a primeira guerra por procuração até o blowback experimentado em todo o mundo hoje.

Multiplique isso por todos os países que atualmente buscam armas autônomas de última geração.

Minando as leis da guerra

Finalmente, as armas autônomas minarão o tapa-buraco final da humanidade contra crimes de guerra e atrocidades: as leis internacionais de guerra. Essas leis, codificadas em tratados que remontam à Convenção de Genebra de 1864, são a fina linha azul internacional que separa a guerra com honra do massacre.

Eles têm como premissa a ideia de que as pessoas podem ser responsabilizadas por suas ações mesmo durante a guerra, que o direito de matar outros soldados durante o combate não dá o direito de assassinar civis.

Um exemplo proeminente de alguém responsabilizado é Slobodan Milosevic , ex-presidente da República Federal da Iugoslávia, que foi indiciado por acusações contra a humanidade e crimes de guerra pelo Tribunal Criminal Internacional da ONU para a Ex-Iugoslávia.

Mas como as armas autônomas podem ser responsabilizadas? Quem é o culpado por um robô que comete crimes de guerra? Quem seria levado a julgamento? A arma? O soldado? Os comandantes do soldado? A empresa que fez a arma? Organizações não-governamentais e especialistas em direito internacional temem que as armas autônomas levem a uma séria lacuna de responsabilidade.

robô assassino
Robôs assassinos de quatro patas à espreita. Imagem: DARPA / Facebook

Para responsabilizar um soldado criminalmente pelo uso de uma arma autônoma que comete crimes de guerra, os promotores precisariam provar actus reus e mens rea, termos latinos que descrevem um ato culpado e uma mente culpada.

Isso seria difícil por uma questão de direito e possivelmente injusto por uma questão de moralidade, visto que as armas autônomas são inerentemente imprevisíveis. Acredito que a distância que separa o soldado das decisões independentes tomadas por armas autônomas em ambientes de rápida evolução é simplesmente grande demais.

O desafio legal e moral não fica mais fácil transferindo a culpa para a cadeia de comando ou de volta para o local de produção. Em um mundo sem regulamentos que exigem um controle humano significativo de armas autônomas, haverá crimes de guerra sem criminosos de guerra para responsabilizar.

A estrutura das leis de guerra, junto com seu valor de dissuasão, será significativamente enfraquecida.

Uma nova corrida armamentista global

Imagine um mundo no qual militares, grupos insurgentes e terroristas internacionais e domésticos possam implantar força letal teoricamente ilimitada com risco teoricamente zero em momentos e locais de sua escolha, sem nenhuma responsabilização legal resultante.

É um mundo onde o tipo de erros algorítmicos inevitáveis que atormentam até mesmo gigantes da tecnologia como Amazon e Google podem agora levar à eliminação de cidades inteiras.

Em minha opinião, o mundo não deve repetir os erros catastróficos da corrida armamentista nuclear. Não deve andar sonolento em distopia.

* Professor de inglês, Macalester College

Este artigo foi republicado de The Conversation 

Compartilhar:

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

error: Content is protected !!