Precognição #fail

Alguém por aí talvez ainda se lembre do alarde com que foi saudado o artigo Feeling the Future, assinado pelo psicólogo americano Daryl Bem e publicado, no início de 2011, pelo importante periódico científico Journal of Personality and Social Psychology (JPSP). Nesse trabalho, Bem descreve uma série de nove experimentos, dos quais oito -- oito! -- teriam gerado prova estatística de que o futuro é capaz de afetar o passado: ou, mais especificamente, de que pessoas são capazes de prever eventos que ainda estão por acontecer. O assunto não só gerou furor na mídia internacional, como até rendeu uma capa da IstoÉ aqui no Brasil, além de uma entrevista de Bem ao portal iG.

O artigo de Bem chamou atenção porque não só seu autor é um cientista respeitado, como o veículo que aceitou publicá-lo, o JPSP, também goza de grande prestígio. Não se tratava de (mais um) artigo de pesquisadores obscuros lançado numa revista de nicho, do tipo que circula apenas entre crentes fiéis, mas do trabalho de um pesquisador sério numa publicação mainstream.

O artigo de Bem não demorou a atrair críticas, no entanto. A mais completa talvez tenha sido a de James Alcock, que apontou uma série de erros metodológicos no planejamento, na execução e na análise dos resultados. Entre eles, estão a mudança de procedimentos com o experimento já em andamento, e o uso, sem correção, de múltiplas análises estatísticas sobre as mesmas bases de dados (o que é um problema porque, fazendo isso, cedo ou tarde você acaba encontrando uma relação aparentemente significativa, por puro acaso).

Bem escreve uma resposta às críticas de Alcock, mas a questão fundamental -- os resultados poderiam ser reproduzidos? -- ficou em aberto. Reprodução é parte fundamental do processo científico: a fusão a frio, por exemplo, caiu em descrédito quando ficou claro que nenhum outro laboratório era capaz de obter os mesmos resultados dos autores originais, Fleischmann e Pons. A falha na replicação de resultados é um dos fatores cruciais citados no clássico artigo sobre a prevalência de falsos positivos na literatura científica, Why Most Published Research Findings Are False.

Um artigo chegou a ser apresentado como replicação positiva de parte dos resultados de Bem, obtida por um pesquisador da Universidade de Viena, num trabalho com 70 voluntárias. Uma tentativa mais robusta, envolvendo 150 participantes, foi publicada pouco depois no periódico online PLoS-ONE, registrando falha: nada de precognição, nesse caso. E esse artigo foi capa de... bem, de nenhuma revista brasileira, na verdade. Nem seus autores, Richard Wiseman, Stuart Ritchie e Christopher French, convidados a dar entrevista para a mídia local.

Pode-se dizer, no entanto, que a PLoS, um veículo exclusivamente online, não tem o mesmo peso da impressa JPSP, e que a amostra de 150 indivíduos ainda é pequena comparada à de Bem, que envolveu mais de 1.000 participantes.

Agora, no entanto, o mesmo Journal of Personality and Social Psychology que havia divulgado os resultados bombásticos de Daryl Bem publicou o artigo Correcting the Past: Failures to Replicate Psi, onde sete tentativas de recriar dois dos oito resultados precognitivos originais, envolvendo mais de 3.000 pessoas, falham espetacularmente. Podemos esperar uma capa de revista de circulação nacional com a manchete "Ciência descarta premonição"? Não creio.

Resultados científicos decepcionantes sofrem da mesma síndrome midiática das erratas e desmentidos: em política, a denúncia rende manchete, a correção, salvo caso de sentença judicial, uma nota de pé de coluna. Com o agravante de que a ciência não costuma constituir advogado para pedir direito de resposta.

Falando em precognição, é interessante notar como outros cientistas usaram a capacidade de estabelecer laços causais espúrios entre o futuro e o passado não para anunciar a realidade dos poderes da vidência, mas para chamar atenção para as limitações de certas tradições de investigação científica.

Em 2001, Leonard Leibovici publicou artigo sobre o poder retroativo da prece, mostrando uma correlação estatística entre o tempo de recuperação de um grupo de pacientes e orações feitas de quatro a dez anos após os pacientes terem tido alta.

Em comentário publicado depois de o artigo causar furor, Leibovici reconheceu que o trabalho tinha sido feito em tom mais ou menos humorístico, para demonstrar a necessidade de a pesquisa científica debruçar-se sobre questões bem formuladas e que sejam coerentes com o restante do conhecimento científico disponível.

Em especial, ele notou que probabilidade prévia de o resultado ser real é tão pequena que faz desaparecer a validade do efeito detectado: para realmente estabelecer causalidade reversa, o tamanho do efeito teria de ser várias ordens de magnitude maior do que o encontrado no estudo.

O trabalho de Leibovici é anterior ao de Bem, mas  o artigo False-Positive Psychology, de Joseph Simmons, Leif Nelson e Uri Simonsohn, é quase simultâneo. Nele, os autores mostram como "é inaceitavelmente fácil acumular (e descrever) evidência estatisticamente significativa de uma hipótese falsa" no campo da psicologia. Por exemplo, eles "demonstram" que uma ouvir uma canção faz as pessoas rejuvenescerem 18 meses.

Simmons et. al. explicam que o problema nasce do que chamam de "graus de liberdade do pesquisador". Já citei trechos do artigo deles em outra postagem, mas vale o repeteco:

No processo de coletar a analisar os dados, pesquisadores têm muitas decisões a tomar: devemos levantar mais dados? Devemos excluir algumas observações? Quais as condições que devem ser comparadas ou combinadas? Quais controles devem ser considerados? Métricas específicas devem ser combinadas, convertidas, ou as duas coisas?

É raro, e muitas vezes impraticável, tomar todas essas decisões de antemão. Em vez disso, é comum (e aceito) que os pesquisadores explorem várias alternativas analíticas, em busca de uma combinação que produza “significância estatística”, e que reportem apenas aquilo que “funcionou”.

O problema, evidentemente, é que a probabilidade de que pelo menos uma das (muitas) análises produzir um resultado falso positivo no nível de 5% é necessariamente maior do que 5%.

Os autores da refutação mais recente dos achados de Bem, publicada no JPSP, especulam que os resultados positivos informados pelo pesquisador possam ter surgido, exatamente, do uso imprudente desses "graus de liberdade".