Quem responde quando a IA erra?

Aron Hussid Ferreira

Os sistemas de inteligência artificial já fazem parte da realidade de milhões de brasileiros.

Em hospitais, organizam filas, fazem triagem, apontam alterações em exames de imagem, transcrevem consultas e auxiliam a decisão clínica.

Afinal, vamos confiar num sistema que promete acurácia ou num médico cansado, que precisa olhar uma radiografia de tórax às 3h da manhã e decidir se aquela tosse é um simples resfriado, uma pneumonia ou até um câncer de pulmão?

Mas e quando falham? Quem vamos culpar quando a I.A. definir um nódulo como benigno e meses depois o paciente retornar com um câncer metastático, sem possibilidade de cura?

O médico, que confiou no laudo? A instituição que adotou o sistema? A empresa que o vende? Ou o programador que criou a lógica a partir de dados falhos?

A legislação brasileira ainda é falha a respeito do tema. Na área médica, o Conselho Federal de Medicina liberou uma resolução no início deste ano normatizando o uso da I.A. na medicina, deixando a responsabilidade final sobre o médico.

Faz sentido, porque a decisão clínica precisa de alguém que a assuma.

O human-in-the-loop, ou seja, manter um humano ativo na decisão, ainda é o preferido pelos mais cautelosos.

O sistema processa, calcula, recomenda, mas a palavra final fica sempre com uma pessoa, que pode confirmar ou descartar. O problema é o viés de automação.

Diante de um sistema que acerta muito, o humano tende a aceitar sem questionar.

Precisamos de um meio-termo entre proibir a tecnologia e usá-la sem freio. Na Europa, as I.As médicas são regulamentadas como produto de alto risco. O Brasil precisa de regras parecidas, discutidas e desenhadas por profissionais de diversas áreas.

É algo parecido com um segurança fazendo revista na entrada de um estádio e, depois de centenas de revistas negativas, começa a deixar os torcedores entrarem de forma desleixada.

Nem as empresas por trás dos principais modelos entendem o passo a passo de como seus sistemas chegam àquelas decisões.

Exigir que um radiologista audite linha por linha um modelo de aprendizado profundo seria o mesmo que pedir para ele desmontar e remontar um tomógrafo antes de cada laudo.

Precisamos de um meio-termo entre proibir a tecnologia e usá-la sem freio. Na Europa, as I.As médicas são regulamentadas como produto de alto risco.

O Brasil precisa de regras parecidas, discutidas e desenhadas por profissionais de diversas áreas.

O algoritmo deve ser tratado como um estudante de medicina brilhante, mas apressado: ele ajuda muito, às vezes falha, e nunca substitui o médico experiente que conhece o paciente como pessoa.

Quando a máquina falha, quem recebe a conta é gente de carne e osso. Já passou da hora de decidir quem mais deveria recebê-la.