"Mercado" prevê resultado de testes científicos
Um mercado de apostas sobre quais estudos escolhidos para o “Projeto Reprodutibilidade: Psicologia”, que buscou confirmar as descobertas anunciadas em dezenas de artigos científicos da área psicológica – e que concluiu que menos da metade das conclusões anunciadas na literatura era reprodutível – se saiu melhor em prever esse resultado do que uma pesquisa de opinião realizada entre especialistas, aponta estudo publicado na PNAS.
Enquanto o Projeto Reprodutibilidade ainda estava em andamento, cerca de 40 pesquisadores envolvidos responderam a uma pesquisa de opinião sobre qual a chance que viam de cada estudo sob escrutínio ser reproduzido. Esses mesmos pesquisadores participaram de uma bolsa de apostas, onde receberiam US$ 1 se apostassem num estudo que acabaria reproduzido, ou nada, se apostassem num estudo “errado”.
A pesquisa de opinião previu o resultado do Projeto Reprodutibilidade com apenas 50% de precisão, mas a bolsa de apostas se saiu bem melhor, com o preço médio de fechamento dos lances em US$ 0,55, o que se traduz numa previsão de consenso de que 55% dos trabalhos seriam reproduzidos. Esse consenso de mostrou apenas um pouco mais otimista do que a realidade. Já um modelo matemático construído com base no jogo previu os resultados individuais com 71% de precisão, bem superior aos 50% da pesquisa de opinião.
Psicólogos ouvidos sobre o assunto pela revista Nature levantaram duas hipóteses sobre o resultado: os participantes podem ter sido mais criteriosos no jogo do que ao responder à pesquisa, porque havia dinheiro envolvido; ou a própria dinâmica do mercado pode ter permitido que cada jogador ajustasse seu ponto de vista a partir do comportamento dos demais, possibilidade que a pesquisa de opinião não oferece. Outro resultado do estudo foi uma estimativa da probabilidade de uma hipótese psicológica ser verdadeira, dado que um artigo publicado afirma que ela é: a mediana ficou em 56%. Após uma replicação, essa estimativa mediana sobe para perto de 100%.
Enquanto o Projeto Reprodutibilidade ainda estava em andamento, cerca de 40 pesquisadores envolvidos responderam a uma pesquisa de opinião sobre qual a chance que viam de cada estudo sob escrutínio ser reproduzido. Esses mesmos pesquisadores participaram de uma bolsa de apostas, onde receberiam US$ 1 se apostassem num estudo que acabaria reproduzido, ou nada, se apostassem num estudo “errado”.
A pesquisa de opinião previu o resultado do Projeto Reprodutibilidade com apenas 50% de precisão, mas a bolsa de apostas se saiu bem melhor, com o preço médio de fechamento dos lances em US$ 0,55, o que se traduz numa previsão de consenso de que 55% dos trabalhos seriam reproduzidos. Esse consenso de mostrou apenas um pouco mais otimista do que a realidade. Já um modelo matemático construído com base no jogo previu os resultados individuais com 71% de precisão, bem superior aos 50% da pesquisa de opinião.
Psicólogos ouvidos sobre o assunto pela revista Nature levantaram duas hipóteses sobre o resultado: os participantes podem ter sido mais criteriosos no jogo do que ao responder à pesquisa, porque havia dinheiro envolvido; ou a própria dinâmica do mercado pode ter permitido que cada jogador ajustasse seu ponto de vista a partir do comportamento dos demais, possibilidade que a pesquisa de opinião não oferece. Outro resultado do estudo foi uma estimativa da probabilidade de uma hipótese psicológica ser verdadeira, dado que um artigo publicado afirma que ela é: a mediana ficou em 56%. Após uma replicação, essa estimativa mediana sobe para perto de 100%.
Esta nota faz parte da edição mais recente da coluna Telescópio, que escrevo para o Jornal da Unicamp.
Comentários
Postar um comentário