Há uma crise de falta de reprodutibilidade nos resultados de artigos científicos que são publicados em renomadas revistas de circulação internacional. Eis uma particularidade que afeta diretamente a confiabilidade da produção acadêmica baseada em evidências, que é dominante nas chamadas ciências empíricas (ou experimentais, se preferirem), entre as quais se incluem as agrárias e as da saúde. Essa temática mereceu destaque especial na edição de 21 de setembro de 2018 da prestimosa revista Science. Felizmente há saída para essa crise, mas, por envolver mudanças de atitudes, institucionais e pessoais, e lidar diretamente com conflito de interesses corporativos, não se pode dizer que é algo fácil.
Entre as razões que contribuem para agravar o problema identificado, incluem-se as fraudes científicas, que, frise-se, não são majoritárias, os conflitos de interesse, envolvendo desde prestígio pessoal até negociações econômicas vultosas, e, no meu entendimento, aquela que é a preponderante, uma vez que diz respeito, especificamente, à formação acadêmica deficiente dos nossos mestres e doutores, estimulada pela massificação produtivista de programas de pós-graduação no mundo, que orientados pelas métricas do publish or perish (publicar ou perecer), em alguns casos, não atentam minimamente para o manuseio responsável do método científico nos estudos que darão origem as suas dissertações, teses e publicações derivadas.
Sim, o problema dos resultados que não se confirmam pode começar com o uso inadequado do método científico. Isso ocorre quando, consciente ou inconscientemente, as hipóteses do trabalho, por exemplo, são formuladas depois que os dados experimentais foram gerados. Ou quando são feitas muitas análises estatísticas sobre o mesmo conjunto de dados, sendo reportadas apenas aquelas que apresentam significância estatística. Ou pior ainda, quando a análise, que deveria ter sido definida a priori, é terceirizada para um consultor, que entende de estatística, mas não do assunto, encontre um modelo para explicar os dados, independente do que fora delineado para responder com o estudo. Coisas estúpidas podem ser feitas com aparente boas análises estatísticas, bastando, para isso, usar espaços amostrais pequenos e negligenciar o uso de técnicas multivariadas.
O problema de ?"hipotetizar?" após os dados serem conhecidos pode ser corrigido com o registro antecipado do estudo e disponibilizar os dados originais (nada mais que seguir o projeto da pesquisa e adotar a filosofia open data), indicando o problema que vai ser estudado, qual é a hipótese que será testada e quais dados serão coletados e como serão analisados. Essa prática pode coibir o vício de que resultados negativos, geralmente, não são publicados.
Outra ferramenta bastante usada é a metanálise. Essa técnica foi criada por Gene Glass, em 1976, que a definiu como a análise de análises. Envolve uma revisão sistemática do conhecimento sobre determinado assunto, via o uso de resultados publicados em revistas supostamente de qualidade. As mais famosas metanálises da área da saúde são as produzidas pela Cochrane, uma multinacional sediada em Londres, que conta com equipe de especialistas e segue protocolos rígidos de trabalho, disponibilizando os seus produtos sobre evidências na famosa Cochrane Library. Mas nem as metanálises da Cochrane têm escapado do criticismo, uma vez que, pela inclusão e exclusão de trabalhos, pode-se condicionar as conclusões.
Exemplos de controvérsias não faltam, desde a relação entre o uso de antidepressivos e suicídio juvenil, produtos rotulados de orgânicos e saúde, campanhas de desverminação em massa e desenvolvimento/aprendizagem infantil e a recente sobre vacinação humana e HPV.
Enfim, a ciência, quando vista por dentro, nem sempre é tão rigorosa e objetiva quanto aparenta. E, contrariando o vaticínio de Sir Winston Churchill, nunca é demasiado saber como as salsichas são produzidas.
