Efeito gaveta e pesquisas em animais

Uma grande frustração da pesquisa biomédica é o fato de que a maior parte dos resultados positivos documentados em testes com animais acaba não se traduzindo em tratamentos para seres humanos. Há uma piada corrente de que a ciência já sabe como dar juventude eterna e imortalidade aos camundongos, mas para o resultado chegar aos seres humanos ainda vai demorar um pouco...

Hipérboles à parte (mesmo se fosse verdadeira, a piada ignora as multidões de camundongos "voluntários" mortos no processo), o fato é que, de acordo com uma estimativa recente citada pelo Chronicle of Higher Education, apenas 11% das drogas que entram em testes em seres humanos acabam liberadas para uso comercial. Mas, se chegam a ser testadas em seres humanos, é bem provável que se tenham mostrado promissoras em animais. Onde está o gargalo?

Um problema, óbvio, é que gente é gente, bicho é bicho. Não seria mesmo esperado que tudo o que funciona em animais também funcionasse em pessoas. Ainda assim, uma taxa de rejeição de 89% soa excessiva.

Estudo publicado na PLoS Biology, assinado, entre outros, por John Ioannidis, aponta um possível culpado: excesso de otimismo dos cientistas, somado ao uso de amostras pequenas, somado a algo chamado viés de publicação, ou "efeito gaveta". Esse viés/efeito funciona assim: se você faz um estudo que mostra que, digamos, casca de banana desidratada reduz os sintomas da depressão em macacos resos, você publica;  se seu estudo mostrar que a casca de banana é inútil contra a depressão em macacos, você engaveta.

Isso parece perfeitamente lógico e, do ponto de vista jornalístico, mais do que sensato ("notícia é o homem morder o cachorro, não o cachorro morder", etc.), mas ciência não é jornalismo, e a ausência de resultados negativos na literatura distorce as coisas.

Para entender o porquê, imagine que você jogou uma moeda para o alto cinco vezes e, em todas as vezes, obteve cara. A probabilidade de isso acontecer é de 3%, abaixo do nível usual de significância estatística, que é 5%. Então, você tem material para publicar um artigo científico dizendo que sua moeda é viciada.

Agora, suponha que você continue a jogar a moeda para o alto. Digamos que você o faça  um total de 100 vezes. E que os resultados, no fim, se equilibrem, com uma soma de 53 caras e 47 coroas, com a probabilidade exata de 6,65%.  Isso é mais que os 5% da significância estatística, logo o artigo dizendo que a moeda é honesta, não viciada, não será publicado.

Para piorar as coisas, o artigo engavetado é muito melhor que o publicado, porque usa uma amostra muito maior. Aqui temos, então, dois efeitos em jogo, o viés de publicação e o uso de amostras pequenas, militando para perpetuar, como científico, um resultado enganoso.

O artigo de Ioannidis e colegas chega à conclusão de que esses efeitos operam na publicação de pesquisas com animais depois de tratar 160 meta-análises -- trabalhos estatísticos que combinam os resultados de diversos estudos -- envolvendo um total de 4.445 trabalhos individuais.

Segundo o pesquisador, desse grupo todo o esperado era que  919 resultados fossem estatisticamente significativos, mas o resultado obtido foi de 1.719. O número de resultados significativos esperados foi calculado com base nos parâmetros do estudo de melhor qualidade dentro de cada meta-análise: estudos aparentemente mais bem-sucedidos que o melhor disponível eram marcados como suspeitos. Como escreve o Chronicle, trata-se de um procedimento "complexo e, às vezes, controverso".

Essa discrepância, provocada pelos vieses já discutidos, pode ser a causa da grande frustração que aparece quando os tratamentos "aprovados" em animais chegam à fase, mais rigorosa, de testes em seres humanos.

Ioannidis ficou famoso em 2005, ao publicar o que talvez seja o artigo científico mais lido da história da PLoSWhy Most Published Research Findings Are False, que apontava problemas como viés de publicação, o uso de amostras pequenas demais e o excesso de liberdade metodológica em vários tipos de pesquisa médica.

Comentários

  1. Mas onde publicar resultados negativos? Penso que eles não seriam bem recebidos.

    ResponderExcluir
    Respostas
    1. Sim, esse é um problema, também: resultados negativos e falhas em replicação de estudos têm cada vez menos espaço nas revistas científicas tradicionais.

      Excluir
    2. Há algumas iniciativas interessantes para reduzir o efeito gaveta, como o registro prévio de pesquisas, o registro de relatórios de replicação e a revisão por pares em duas etapas:

      http://neurochambers.blogspot.co.uk/2012/10/changing-culture-of-scientific.html

      http://www.guardian.co.uk/science/sifting-the-evidence/2013/may/15/psychology-registered-replication-reports-reliability

      http://blogs.discovermagazine.com/neuroskeptic/2013/07/13/4129/

      Excluir

Postar um comentário

Postagens mais visitadas deste blog

"Fosfo da USP" volta a dar chabu em testes oficiais

Baleia ou barriga?

O financiamento público da pseudociência