Uma grande pilha de papéis e pastas com abas coloridas.

Duas novas ferramentas de IA verificam erros em artigos de pesquisa, incluindo cálculos, metodologia e referências. Crédito: Jose A. Bernat Bacete/Getty

No final do ano passado, veículos de comunicação do mundo todo alertaram que utensílios de cozinha de plástico preto continham níveis preocupantes de retardantes de chamas relacionados ao câncer. O risco foi considerado superestimado – um erro matemático na pesquisa subjacente sugeriu que um produto químico essencial excedeu o limite seguro quando, na verdade, era dez vezes menor do que o limite. Pesquisadores atentos rapidamente mostraram que um modelo de inteligência artificial (IA) poderia ter detectado o erro em segundos.

O incidente estimulou dois projetos que usam IA para encontrar erros na literatura científica. O Black Spatula Project é uma ferramenta de IA de código aberto que até agora analisou cerca de 500 artigos em busca de erros. O grupo, que tem cerca de oito desenvolvedores ativos e centenas de consultores voluntários, ainda não tornou os erros públicos; em vez disso, está abordando os autores afetados diretamente, diz Joaquin Gulloso, um pesquisador independente de IA baseado em Cartagena, Colômbia, que ajuda a coordenar o projeto. "Ele já está detectando muitos erros", diz Gulloso. "É uma lista enorme. É simplesmente louco."

O outro esforço é chamado YesNoError e foi inspirado pelo Black Spatula Project, diz o fundador e empreendedor de IA Matt Schlicht. A iniciativa, financiada por sua própria criptomoeda dedicada, estabeleceu suas metas ainda mais altas. "Eu pensei, por que não analisamos, tipo, todos os artigos?", diz Schlicht. Ele diz que sua ferramenta de IA analisou mais de 37.000 artigos em dois meses. Seu site sinaliza artigos nos quais encontrou falhas — muitas das quais ainda precisam ser verificadas por um humano, embora Schlicht diga que o YesNoError tem um plano para eventualmente fazer isso em escala.

Ambos os projetos querem que os pesquisadores usem suas ferramentas antes de enviar seus trabalhos para um periódico, e que os periódicos as usem antes de publicar, com a ideia de evitar que erros, assim como fraudes, cheguem à literatura científica .

Os projetos têm apoio provisório de detetives acadêmicos que trabalham com integridade de pesquisa. Mas também há preocupações sobre os riscos potenciais. Quão bem as ferramentas podem detectar erros e se suas alegações foram verificadas, deve ficar claro, diz Michèle Nuijten, pesquisadora em metaciência na Universidade de Tilburg, na Holanda. “Se você começar a apontar o dedo para as pessoas e depois descobrir que não houve erro, pode haver danos à reputação”, diz ela.

Outros acrescentam que, embora existam riscos e os projetos precisem ser cautelosos sobre o que eles alegam, o objetivo é o certo. É muito mais fácil produzir artigos de má qualidade do que retratá-los, diz James Heathers, um metacientista forense da Universidade Linnaeus em Växjö, Suécia. Como um primeiro passo, a IA poderia ser usada para triar artigos para um exame mais aprofundado, diz Heathers, que atuou como consultor do Black Spatula Project. "É cedo, mas apoio" as iniciativas, ele acrescenta.

Detetives de IA

Muitos pesquisadores dedicaram suas carreiras a identificar preocupações com integridade em artigos – e ferramentas para verificar certas facetas de artigos já existem. Mas os defensores esperam que a IA possa realizar uma gama maior de verificações de uma só vez e lidar com um volume maior de artigos.

Tanto o Black Spatula Project quanto o YesNoError usam grandes modelos de linguagem (LLMs) para detectar uma série de erros em artigos, incluindo erros de fato, bem como em cálculos, metodologia e referências.

Os sistemas primeiro extraem informações, incluindo tabelas e imagens, dos artigos. Eles então criam um conjunto de instruções complexas, conhecido como prompt, que informa a um modelo de "raciocínio" — um tipo especialista de LLM — o que ele está observando e que tipos de erro procurar. O modelo pode analisar um artigo várias vezes, seja examinando diferentes tipos de erro a cada vez, ou para verificar os resultados. O custo de analisar cada artigo varia de 15 centavos a alguns dólares, dependendo do tamanho do artigo e da série de prompts usados.

A taxa de falsos positivos, instâncias em que a IA alega um erro onde não há nenhum, é um grande obstáculo. Atualmente, o sistema do Black Spatula Project está errado sobre um erro em cerca de 10% das vezes, diz Gulloso. Cada suposto erro deve ser verificado com especialistas no assunto, e encontrá-los é o maior gargalo do projeto, diz Steve Newman, o engenheiro de software e empreendedor que fundou o Black Spatula Project.

Até agora, a equipe YesNoError de Schlicht quantificou os falsos positivos em apenas cerca de 100 erros matemáticos que a IA encontrou em um lote inicial de 10.000 artigos. Dos 90% dos autores que responderam a Schlicht, todos, exceto um, concordaram que o erro detectado era válido, ele diz. Eventualmente, a YesNoError está planejando trabalhar com a ResearchHub, uma plataforma que paga cientistas PhD em criptomoeda para realizar revisão por pares. Quando a IA verificar um artigo, a YesNoError acionará uma solicitação para verificar os resultados, embora isso ainda não tenha começado.