Precognição #fail

O artigo de Bem não demorou a atrair críticas, no entanto. A mais completa talvez tenha sido a de James Alcock, que apontou uma série de erros metodológicos no planejamento, na execução e na análise dos resultados. Entre eles, estão a mudança de procedimentos com o experimento já em andamento, e o uso, sem correção, de múltiplas análises estatísticas sobre as mesmas bases de dados (o que é um problema porque, fazendo isso, cedo ou tarde você acaba encontrando uma relação aparentemente significativa, por puro acaso).
Bem escreve uma resposta às críticas de Alcock, mas a questão fundamental -- os resultados poderiam ser reproduzidos? -- ficou em aberto. Reprodução é parte fundamental do processo científico: a fusão a frio, por exemplo, caiu em descrédito quando ficou claro que nenhum outro laboratório era capaz de obter os mesmos resultados dos autores originais, Fleischmann e Pons. A falha na replicação de resultados é um dos fatores cruciais citados no clássico artigo sobre a prevalência de falsos positivos na literatura científica, Why Most Published Research Findings Are False.
Um artigo chegou a ser apresentado como replicação positiva de parte dos resultados de Bem, obtida por um pesquisador da Universidade de Viena, num trabalho com 70 voluntárias. Uma tentativa mais robusta, envolvendo 150 participantes, foi publicada pouco depois no periódico online PLoS-ONE, registrando falha: nada de precognição, nesse caso. E esse artigo foi capa de... bem, de nenhuma revista brasileira, na verdade. Nem seus autores, Richard Wiseman, Stuart Ritchie e Christopher French, convidados a dar entrevista para a mídia local.
Pode-se dizer, no entanto, que a PLoS, um veículo exclusivamente online, não tem o mesmo peso da impressa JPSP, e que a amostra de 150 indivíduos ainda é pequena comparada à de Bem, que envolveu mais de 1.000 participantes.

Resultados científicos decepcionantes sofrem da mesma síndrome midiática das erratas e desmentidos: em política, a denúncia rende manchete, a correção, salvo caso de sentença judicial, uma nota de pé de coluna. Com o agravante de que a ciência não costuma constituir advogado para pedir direito de resposta.
Falando em precognição, é interessante notar como outros cientistas usaram a capacidade de estabelecer laços causais espúrios entre o futuro e o passado não para anunciar a realidade dos poderes da vidência, mas para chamar atenção para as limitações de certas tradições de investigação científica.
Em 2001, Leonard Leibovici publicou artigo sobre o poder retroativo da prece, mostrando uma correlação estatística entre o tempo de recuperação de um grupo de pacientes e orações feitas de quatro a dez anos após os pacientes terem tido alta.
Em comentário publicado depois de o artigo causar furor, Leibovici reconheceu que o trabalho tinha sido feito em tom mais ou menos humorístico, para demonstrar a necessidade de a pesquisa científica debruçar-se sobre questões bem formuladas e que sejam coerentes com o restante do conhecimento científico disponível.
Em especial, ele notou que probabilidade prévia de o resultado ser real é tão pequena que faz desaparecer a validade do efeito detectado: para realmente estabelecer causalidade reversa, o tamanho do efeito teria de ser várias ordens de magnitude maior do que o encontrado no estudo.

Simmons et. al. explicam que o problema nasce do que chamam de "graus de liberdade do pesquisador". Já citei trechos do artigo deles em outra postagem, mas vale o repeteco:
No processo de coletar a analisar os dados, pesquisadores têm muitas decisões a tomar: devemos levantar mais dados? Devemos excluir algumas observações? Quais as condições que devem ser comparadas ou combinadas? Quais controles devem ser considerados? Métricas específicas devem ser combinadas, convertidas, ou as duas coisas?
É raro, e muitas vezes impraticável, tomar todas essas decisões de antemão. Em vez disso, é comum (e aceito) que os pesquisadores explorem várias alternativas analíticas, em busca de uma combinação que produza “significância estatística”, e que reportem apenas aquilo que “funcionou”.
O problema, evidentemente, é que a probabilidade de que pelo menos uma das (muitas) análises produzir um resultado falso positivo no nível de 5% é necessariamente maior do que 5%.
Os autores da refutação mais recente dos achados de Bem, publicada no JPSP, especulam que os resultados positivos informados pelo pesquisador possam ter surgido, exatamente, do uso imprudente desses "graus de liberdade".
Ótimo panorama do caso, obrigado, Carlos! Divulgarei o texto!
ResponderExcluirAbraço!
Obrigado, André!
ExcluirSobre as manchetes escandalosas da grande mídia, sempre me vem à cabeça a frase de Alberto Dines: Manchetes alarmantes são escritas por jornalistas alarmados.
ResponderExcluirOu como disse mais simplesmente um colega seu, via Twitter: O jornalismo acabou.
Me preocupa muito essa tentativa de "cientistas" pós-modernos de transformarem a ciência em misticismo.
ResponderExcluirOi Carlos,
ResponderExcluirNo caso específico da psicologia ainda há a questão da base epistemológica utilizada que varia de abordagem para abordagem e nem sempre se enquadra em uma visão mais positivista como desejada pelas ciências mais exatas.
Satúrnia, Jean Grey e Feiticeira Branca(?), irmã de Nura Nall, a Sonhadora?
ResponderExcluirFeiticeira Branca, exato!
Excluir