Homeopatia, evidência e a importância do "no entanto"

Os leitores mais chegados ao mundo acadêmico talvez estejam sabendo da celeuma causada pela publicação, no Jornal da USP, de nota anunciando o lançamento de uma revista reunindo supostas evidências científicas a favor da homeopatia, mais um lance nas "homeopathy wars" da vetusta Universidade de São Paulo. Algumas pessoas criticaram o jornal por dar guarida a esse tipo de material, mas eu, talvez movido por espírito de corpo, ponderei que, se a universidade, enquanto instituição, legitima a prática -- por exemplo, conferindo graus de Mestre e Doutor a autores de trabalhos sobre o tema --, não é o coitado do editor do jornal institucional que vai decidir sozinho que o assunto é bobagem.

Mas, enfim: evidências! Que evidências? Passando os olhos pelo índice da edição, um título em especial se destaca: Pesquisa clínica em homeopatia: revisões sistemáticas e ensaios clínicos randomizados controlados. O resumo do artigo proclama que, com base em estudos publicados até 2014 e numa atualização a partir do banco de publicações médicas PubMed, "foram localizadas 7 revisões sistemáticas com metanálise, 6 delas indicam que os efeitos da homeopatia não são compatíveis com efeito placebo".

Avaliada pelo valor de face, trata-se de uma alegação espantosa. Há um amplo consenso na comunidade científica -- fora dos círculos homeopáticos -- de que não existem estudos de boa qualidade apontando que a homeopatia seja melhor que placebo. Como essa autora encontrou meia dúzia de revisões com metanálise afirmando o contrário?

Minha primeira desconfiança se fixou exatamente na natureza da metanálise, uma técnica extremamente suscetível ao efeito GIGO ("Garbage In, Garabage Out", ou "Lixo Entra, Lixo Sai"). A metanálise é um procedimento usado para combinar os resultados de vários estudos sobre um mesmo assunto, a fim de produzir uma conclusão mais robusta que a dos estudos originais.  Mas, como o saudoso Robert Carroll, criador do Skeptic's Dictionary, costumava dizer, pseudocientistas teimam em achar que metanálises transformam estrume (os resultados de um monte de estudos mal feitos) em ouro (uma conclusão válida).

Nada mais falso: supondo que o verdadeiro efeito de um tratamento seja o centro de um alvo, e que os estudos individuais a respeito sejam tiros de rifle apontados para esse centro, a metanálise pressupõe que cada tiro sofre um tipo diferente de interferência -- num caso o atirador não era muito bom, no outro o rifle puxava para a direita, no outro bateu um vento forte, etc. Com isso, a técnica usa os diversos buracos de bala que aparecem no alvo para tentar inferir o verdadeiro centro.

O problema é que se há um viés sistemático no conjunto de estudos analisados -- voltando à metáfora, se todos os atiradores são ruins e todos os rifles puxam para direita -- o centro inferido pode estar a uma distância arbitrariamente grande do centro real. Então, assim que vi o artigo sobre seis metanálises positivas de homeopatia, logo imaginei que eram metanálises ruins de estudos ruins. Esse é o tipo de coisa que dá um trabalho desgraçado para destrinchar: é preciso ir de metanálise em metanálise, e de estudo em estudo, e ver as falhas de cada um. Não seria improvável que muitos problemas estivessem além da minha limitada competência pessoal. Confesso que desanimei.

Mas, para minha sorte, resolvi dar uma passada d'olhos preliminar no negócio -- e descobri que o problema era muito mais simples, e bem dentro da minha alçada: era só questão de edição de texto!

Por exemplo, da primeira suposta metanálise positiva, a autora do artigo transplanta a seguinte conclusão: “Existe certa evidência de que os tratamentos homeopáticos são mais efetivos que o placebo”. Ela, oportunamente, omite o que vem logo em seguida no paper original: "no entanto, a força dessa evidência é baixa por causa da baixa qualidade metodológica dos testes. Estudos de alta qualidade metodológica têm maior probabilidade de ser negativos do que os estudos de menor qualidade".

A diferença que um "no entanto" faz! Curioso, fui procurar a segunda metanálise citada, onde a conclusão triunfante copiada pela autora é: "Os resultados de nossa metanálise não são compatíveis com a hipótese de que os efeitos clínicos da homeopatia são totalmente devidos ao efeito placebo". De novo, o corte acontece antes do comprometedor however: "No entanto, a evidência encontrada nesses estudos é insuficiente para demonstrar que a homeopatia seja claramente eficaz para qualquer condição clínica. Novas pesquisas em homeopatia serão válidas desde que sejam rigorosas e sistemáticas".

E haveria mais um "no entanto"? You betcha. Da terceira metanálise, a autora destaca o seguinte trecho: “Os resultados dos estudos randomizados disponíveis sugerem que a homeopatia individualizada tem efeito superior ao placebo”. O artigo pró-homeopatia caridosamente omite a oração seguinte: "A evidência, no entanto, não é convincente, por causa de defeitos metodológicos e inconsistências".

Aí eu parei porque, né, já deu. Uma vez expostas, as ressalvas omitidas pelo artigo brasileiro impedem que esses três trabalhos sejam encarados como favoráveis à homeopatia por qualquer observador honesto. Fica a forte impressão de que são metanálises que trabalharam sobre artigos de má qualidade, e que portanto os resultados fracamente positivos são constatação de viés -- o rifle que puxa para a direita -- e não de efeitos reais. A primeira metanálise deixa isso explícito. Com perdão do repeteco, volto a citar: "Estudos de alta qualidade metodológica têm maior probabilidade de ser negativos do que os estudos de menor qualidade".

O artigo recomendado no Jornal da USP vai, em seguida, desdobrar-se numa crítica ao paper de 2005 da Lancet que buscou, exatamente, eliminar o viés introduzido pela má qualidade nos estudos sobre homeopatia e que concluiu que, sem a distorção, os efeitos homeopáticos se reduzem a placebos. Dada a forma como as metanálises foram tratadas, no entanto, fica difícil levar o conjunto da obra a sério.

Uma omissão final desse artigo é o estrondoso silêncio a respeito do levantamento realizado em 2015 pelo Conselho Nacional de Saúde e Pesquisa Médica da Austrália, que avaliou 57 revisões sistemáticas de homeopatia -- não só meia dúzia -- sem encontrar efeito superior ao placebo. Como escreveu Edzard Ernst em seu livro Homeopathy: The Undiluted Facts, não é que não exista evidência a favor da homeopatia. O problema é que ela é pouca e muito, muito ruim.