Metaciência

A metaciência (também conhecida como meta-pesquisa ou pesquisa baseada em evidências ) é o uso da metodologia científica para estudar a própria ciência.^[1][2] A metaciência busca aumentar a qualidade da pesquisa científica e reduzir o desperdício.^[3] Também é conhecido como "pesquisa em pesquisa " e " ciência da ciência ", pois utiliza métodos de pesquisa para estudar como a pesquisa é feita e onde melhorias podem ser feitas.^[4] A metaciência se preocupa com todas as áreas da ciência e tem sido descrita como "uma visão panorâmica da ciência" (tradução livre).^[5] Nas palavras de John Ioannidis, "a ciência é a melhor coisa que já aconteceu aos seres humanos ... mas podemos fazê-la melhor".^[6]

Algumas medidas já foram implementadas para resolver os problemas revelados pela metaciência. Essas medidas incluem o pré-registro de estudos científicos e ensaios clínicos, bem como a fundação de organizações como o CONSORT e a EQUATOR Network que emitem diretrizes para metodologia e elaboração de relatórios.^[7][8][9]Há esforços contínuos para reformar o sistema de incentivos acadêmicos, melhorar o processo de revisão por pares, reduzir o uso indevido de estatísticas, combater o viés na literatura científica e aumentar a qualidade e a eficiência gerais do processo científico.^[10][11]

História

Em 1966, um artigo inicial de meta-pesquisa examinou os métodos estatísticos de 295 artigos publicados em dez revistas médicas de alto perfil. Ele descobriu que "em quase 73% dos relatórios lidos ... foram tiradas conclusões quando a justificativa para essas conclusões era inválida".^[12] Mais tarde, a meta-pesquisa identificou ampla dificuldade em replicar resultados em muitos campos científicos, incluindo psicologia e medicina . O termo "crise de replicação " foi cunhado no início de 2010 como parte da conscientização crescente do problema.^[13] A metaciência cresceu como uma reação à crise de replicação e às preocupações com o desperdício na pesquisa.^[14]

Muitas editoras científicas de destaque estão interessados em meta-pesquisa e em melhorar a qualidade de suas publicações. Periódicos renomados, como Science, The Lancet e Nature, fornecem cobertura contínua de meta-pesquisa e problemas com reprodutibilidade.^[15] Em 2012, o PLOS ONE lançou uma iniciativa de reprodutibilidade.^[16]

A primeira conferência internacional na ampla área de meta-pesquisa foi a conferência Research Waste/EQUATOR, realizada em Edimburgo em 2015; a primeira conferência internacional sobre revisão por pares foi o Congresso de Revisão por Pares, realizado em 1989.^[17][18] Em 2016, foi lançado o Research Integrity and Peer Review . O editorial de abertura da revista pedia "pesquisas que aumentem nossa compreensão e sugiram possíveis soluções para questões relacionadas à revisão por pares, relatórios de estudos e ética em pesquisas e publicações".^[19]

Áreas de meta-pesquisa

A metaciência pode ser categorizada em cinco áreas principais de interesse: métodos, relatos, reprodutibilidade, formas de avaliação e incentivos. Essas áreas correspondem, respectivamente, a como executar, comunicar, verificar, avaliar e recompensar práticas de pesquisas.^[20]

Métodos

Esse ramo da metaciência procura identificar práticas de pesquisa ruins, incluindo vieses, desenhos de estudo inadequado e abuso da estatísticas, e encontrar métodos para reduzir essas práticas.^[20] Artigos de meta-pesquisa já apontaram numerosos vieses na literatura científica.^[21] Dentre eles, destacam-se o uso indevido de valores-p e o abuso de significância estatística.^[22]

Relatos

Esse ramo da metaciência procura identificar práticas precárias no relato, na explicação, na disseminação e na popularização da pesquisa científica. Relatórios ruins dificultam a interpretação precisa dos resultados, a replicação de experimentos e a identificação de vieses e conflitos de interesse. Soluções apresentadas incluem a implementação de novos padrões de relatório e maior transparência em estudos científicos . Há uma tentativa de padronizar o relato de dados e metodologia por meio da criação diretrizes através de agências como como o CONSORT e a rede EQUATOR.^[20]

Reprodutibilidade

A crise de reprodutibilidade é uma crise metodológica em andamento, na qual se constatou que muitos estudos científicos são difíceis ou impossíveis de replicar.^[23][24] Embora a crise tenha suas raízes na meta-pesquisa de meados ao final de 1900, a frase "crise de replicação" não foi cunhada até o início da década de 2010 como parte de uma crescente conscientização da comunidade sobre o problema.^{[13] [20]} A crise de replicação foi constatada particularmente na psicologia (especialmente na psicologia social) e na medicina.^[25][26] A replicação é uma parte essencial do processo científico, e a falha generalizada da replicação põe em causa a confiabilidade dos campos afetados.^[27]

Além disso, a replicação da pesquisa (ou falha na replicação) é, de forma geral, menos valorizada em termos de recompensas que a pesquisa original e isso desencoraja o relato e até tentativas de replicar estudos.^[28][29]

Avaliação

Esse ramo da metaciência procura identificar bases científicas para a revisão por pares e alternativas a esse sistema. A meta-pesquisa avalia os sistemas de revisão por pares, incluindo a revisão por pares antes da publicação, a revisão por pares após a publicação e a revisão por pares aberta . Também busca desenvolver melhores critérios de financiamento à pesquisa.^[20]

Recompensas e incentivos

Esse ramo da metaciência busca melhores sistemas de recompensas e incentivos para indivíduos com boas práticas de pesquisa. Isso inclui o estudo da precisão, eficácia, custos e benefícios de diferentes abordagens para classificar e avaliar pesquisas e pesquisadores .^[20] Críticos argumentam que incentivos perversos criaram um ambiente de publicação ou perecimento (do inglês, publish or perish) na academia, promovendo a produção de junk science, pesquisa de baixa qualidade e falsos positivos. De acordo com Brian Nosek, “o problema que enfrentamos é que o sistema de incentivos se concentra quase inteiramente em conseguir publicar sua pesquisa, e não em pesquisar da forma correta”.^[30] Os proponentes da reforma procuram estruturar o sistema de incentivos para favorecer maior estudos e resultados com maior qualidade.^[31]

Reformas

A meta-pesquisa, identificando falhas na prática científica, inspirou algumas reformas na ciência que vêm sendo postas em prática. Essas reformas buscam abordar e solucionar problemas na prática científica que levam a pesquisas de baixa qualidade ou ineficientes.

Pré-registro

A prática de registrar um estudo científico antes de ser realizado é chamada de pré-registro. Surgiu como um meio de lidar com a crise de replicação. O pré-registro pode ser realizado em um repositório, ou então através da submissão de um relatório registrado a um periódico científico, que é aceito para publicação ou rejeitado com base em justificativa teórica, desenho experimental e análise estatística proposta antes mesmo que a pesquisa seja feita. O pré-registro de estudos serve para evitar o viés de publicação, reduzir o p-hacking e aumentar a replicabilidade.^[32][33]

Diretrizes de relato

A necessidade de maior consistência e qualidade geral de relato levou ao surgimento de organizações que produzem tais diretrizes, como o CONSORT (Consolidated Standards of Reporting Trials) e a EQUATOR Network.^[7][8][9]

A rede EQUATOR (Enhancing the QUAlity and Transparency Of health Research) é uma iniciativa internacional destinada a promover informações transparentes e rigorosas sobre estudos de pesquisa em saúde, aumentando o valor e confiabilidade da literatura da área de pesquisa médica. ^[34]A rede atua como uma organização "guarda-chuva", reunindo desenvolvedores de diretrizes, editores de revistas médicas e revisores, órgãos de financiamento de pesquisas e outras partes interessadas com um interesse mútuo em melhorar a qualidade das publicações de pesquisa e da própria pesquisa.^[35]

Aplicações

Medicina

A pesquisa clínica em medicina geralmente é de baixa qualidade e muitos estudos não podem ser replicados.^[36][37] A indústria farmacêutica exerce influência substancial no projeto e na execução de pesquisas médicas. Conflitos de interesse são comuns entre autores de literatura médica ^[38] e entre editores de revistas médicas. Embora quase todas as revistas médicas exijam que seus autores divulguem conflitos de interesse, os editores não são obrigados a fazê-lo.^[39] Conflitos financeiros de interesse foram associados a taxas mais altas de resultados positivos do estudo e em estudos de antidepressivos, o patrocínio farmacêutico é o melhor preditor do resultado do estudo.^[40]

O cegamento é outro foco da meta-pesquisa, pois o erro causado pelo mau cegamento, ou não cegamento, dos pesquisadores é uma fonte de viés experimental. O cegamento não é bem reportado na literatura médica, e a falta de conhecimento generalizado sobre o assunto resultou em má implementação da cegueira em diversosensaios clínicos .^[41] Além disso, falhas no cegamento raramente são medidas ou relatadas.^[42] Pesquisas mostrando o fracasso do cegamento em ensaios antidepressivos levaram alguns cientistas a argumentar que os antidepressivos não são melhores que o placebo .^[43][44] À luz de uma meta-pesquisa que mostre falhas no cegamento, os padrões CONSORT recomendam que todos os ensaios clínicos avaliem e relatem a qualidade do cegamento.^[45]

Estudos demonstraram que revisões sistemáticas são utilizadas de maneira subótima no planejamento de uma nova pesquisa ou na análise final dos resultados.^[46] Meta-análises cumulativas de estudos que avaliam a eficácia de intervenções médicas mostraram que muitos ensaios clínicos poderiam ter sido evitados se uma revisão sistemática das evidências existentes fosse realizada antes da realização de um novo estudo.^[47][48][49] Por exemplo, Lau et al. analisaram 33 ensaios clínicos (envolvendo 36974 pacientes) avaliando a eficácia da estreptoquinase intravenosa no infarto agudo do miocárdio. Sua meta-análise cumulativa demonstrou que 25 dos 33 estudos poderiam ter sido evitados se uma revisão sistemática fosse realizada antes da realização de um novo estudo. Em outras palavras, randomizar 34542 pacientes era potencialmente desnecessário.

Um estudo descobriu que apenas 2 dos 25 ensaios clínicos randomizados publicados em cinco grandes revistas médicas gerais em maio de 1997 incluíram uma revisão sistemática atualizada na discussão dos resultados. Os relatórios subsequentes confirmaram este resultado.^[50][51][52] Esses relatórios também mostraram que a maioria dos ensaios clínicos randomizados publicados em cinco grandes revistas médicas não apresentou nenhuma revisão sistemática das evidências existentes para justificar a pesquisa.^[53] Robinson et al. analisaram 1523 ensaios clínicos incluídos em 227 meta-análises e concluíram que "menos de um quarto dos estudos anteriores relevantes" foram citados. Eles também confirmaram as descobertas anteriores de que os relatórios de ensaios clínicos não apresentam revisão sistemática para justificar a pesquisa ou resumir os resultados.^[54]

Psicologia

A metaciência revelou problemas significativos na pesquisa psicológica. O campo sofre de alto viés, baixa reprodutibilidade e uso indevido de estatística generalizado .^[55][56][57] A crise de replicação afeta a psicologia mais fortemente do que qualquer outro campo; até dois terços das descobertas altamente divulgadas podem ser impossíveis de replicar.^[58] Meta-pesquisas apontam que 80-95% dos estudos psicológicos publicados corroboram suas hipóteses iniciais, o que implica fortemente a existência de viés de publicação para resultados positivos.^[59]

A crise de replicação realimentou a esforços para retestar descobertas importantes do campo.^[60][61] Em resposta a preocupações com o viés de publicação e o hackeamento de p, mais de 140 revistas de psicologia adotaram a revisão cega ao resultado, na qual os estudos são pré-registrados e publicados sem levar em consideração seus resultados.^[62] Uma análise dessas reformas estimou que 61% dos estudos com resultados cegos produzem resultados nulos, em contraste com 5 a 20% em pesquisas anteriores. Essa análise mostra que a revisão por pares, sem resultados, reduz substancialmente o viés de publicação.^[59]

Os psicólogos rotineiramente confundem significância estatística com importância prática, relatando entusiasticamente grande certeza em fatos sem importância.^[63] Alguns psicólogos responderam com um aumento no uso de estatísticas de tamanho de efeito, em vez de depender exclusivamente dos valores de p.

Física

Richard Feynman observou que as estimativas de constantes físicas estavam mais próximas dos valores publicados do que seria esperado por acaso. Acreditava-se que isso era resultado de viés de confirmação: os resultados que concordavam com a literatura existente eram mais prováveis de serem acreditados e, portanto, publicados. Os físicos agora implementam ofuscamento para evitar esse tipo de viés.^[64]

Campos Associados

Jornalogia

A jornalologia, também conhecida como ciência da publicação, é o estudo acadêmico de todos os aspectos do processo de publicação acadêmica .^[65][66] O campo procura melhorar a qualidade da pesquisa acadêmica implementando práticas baseadas em evidências na publicação acadêmica.^[67] O termo "jornalologia" foi cunhado por Stephen Lock, o ex editor-chefe do BMJ. O primeiro Congresso de Revisão por Pares, realizado em 1989 em Chicago, Illinois, é considerado um momento crucial na fundação da jornalologia como um campo distinto.^[68] O campo da revista científica tem influenciado na busca pelo pré-registro de estudos em ciências, particularmente em ensaios clínicos. Agora, o registro de ensaios clínicos é esperado na maioria dos países.

Cientometria

A cientometria preocupa-se com a medição de dados bibliográficos em publicações científicas. As principais questões de pesquisa incluem a medição do impacto de trabalhos de pesquisa individuais e dos periódicos acadêmicos que os publicam, a compreensão do processo de citaçãos científicas e o uso de tais medidas em contextos de política e gerenciamento.^[69]

Ciência de dados científica

Ciência de dados científicos é o uso da ciência de dados para analisar trabalhos de pesquisa. Abrange métodos qualitativos e quantitativos. A pesquisa em ciência de dados científicos inclui detecção de fraudes ^[70] e análise de redes de citações.^[71]

Ver também

• Epistemiologia
• Ciência
• Práticas de Pesquisa Questionáveis
• P-hacking
• Viés de citação
• Viés de memória
• Viés de sobrevivência
• Viés de confirmação
• Open science
• Logosofia
• Saúde baseada em eviências
• História da ciência

Referências

1. Peterson, David; Panofsky, Aaron (1 de junho de 2023). «Metascience as a Scientific Social Movement». Minerva (em inglês) (2): 147–174. ISSN 1573-1871. doi:10.1007/s11024-023-09490-3. Consultado em 23 de setembro de 2023 
2. Science, Center for Open. «Metascience». www.cos.io (em inglês). Consultado em 23 de setembro de 2023 
3. «Metascience». Springer (em inglês). Consultado em 23 de setembro de 2023 
4. Fortunato, Santo; Bergstrom, Carl T.; Börner, Katy; Evans, James A.; Helbing, Dirk; Milojević, Staša; Petersen, Alexander M.; Radicchi, Filippo; Sinatra, Roberta (2 de março de 2018). «Science of science». Science (em inglês) (6379). ISSN 0036-8075. PMC 5949209. PMID 29496846. doi:10.1126/science.aao0185. Consultado em 23 de setembro de 2023 
5. «Meta-research: Evaluation and Improvement of Research Methods and Practices». PLOS Biology. 13. ISSN 1545-7885. PMC 4592065. PMID 26431313. doi:10.1371/journal.pbio.1002264 
6. «On communicating science and uncertainty: A podcast with John Ioannidis». Scope 
7. Evidências, Estudantes para Melhores (6 de setembro de 2022). «CONSORT - checklist para relatar um ensaio clínico.». Estudantes para Melhores Evidências. Consultado em 22 de agosto de 2023 
8. «CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials | EQUATOR Network». www.equator-network.org. Consultado em 22 de agosto de 2023 
9. «EQUATOR Network | Enhancing the QUAlity and Transparency Of Health Research». www.equator-network.org. Consultado em 22 de agosto de 2023 
10. Faggion, C. M. (fevereiro de 2016). «Improving the peer-review process from the perspective of an author and reviewer». British Dental Journal (em inglês) (4): 167–168. ISSN 1476-5373. doi:10.1038/sj.bdj.2016.131. Consultado em 23 de setembro de 2023 
11. Grabarić-Andonovski I, Pongrac-Habdija Z, Mrša V. What can we do to improve the peer review system? - A short survey of Food Technology and Biotechnology peer reviewers' experience. Food Technol Biotechnol. 2019 Dec;57(4):436-437. PMID: 32123505; PMCID: PMC7029384.
12. «Statistical Evaluation of Medical Journal Manuscripts». JAMA: The Journal of the American Medical Association. 195. ISSN 0098-7484. doi:10.1001/jama.1966.03100130097026 
13. «Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?». Perspectives on Psychological Science. 7. PMID 26168108. doi:10.1177/1745691612465253 
14. «Researching the researchers». Nature Genetics. 46. ISSN 1061-4036. PMID 24769715. doi:10.1038/ng.2972 
15. «Research on research». Science. 361. Bibcode:2018Sci...361.1178E. ISSN 0036-8075. PMID 30237336. doi:10.1126/science.361.6408.1178 
16. «PLOS ONE Launches Reproducibility Initiative». EveryONE (em inglês). 14 de agosto de 2012. Consultado em 22 de agosto de 2023 
17. «Editorial Peer Review in Biomedical Publication». JAMA. 263. ISSN 0098-7484. PMID 2304208. doi:10.1001/jama.1990.03440100011001 
18. «Research Waste/EQUATOR Conference». The University of Edinburgh (em inglês). 14 de janeiro de 2016. Consultado em 22 de agosto de 2023 
19. «A new forum for research on research integrity and peer review». Research Integrity and Peer Review. 1. ISSN 2058-8615. PMC 5794038. PMID 29451544. doi:10.1186/s41073-016-0010-y 
20. «Meta-research: Evaluation and Improvement of Research Methods and Practices». PLoS Biology. 13. ISSN 1544-9173. PMC 4592065. PMID 26431313. doi:10.1371/journal.pbio.1002264 
21. «Meta-assessment of bias in science». Proceedings of the National Academy of Sciences of the United States of America. 114. ISSN 1091-6490. PMC 5389310. PMID 28320937. doi:10.1073/pnas.1618569114 
22. «Weak statistical standards implicated in scientific irreproducibility». Nature. doi:10.1038/nature.2013.14131 
23. «Metascience could rescue the 'replication crisis'». Nature. 515. Bibcode:2014Natur.515....9S. PMID 25373639. doi:10.1038/515009a 
24. «Why 'Statistical Significance' Is Often Insignificant». Bloomberg 
25. «The Crisis in Social Psychology That Isn't» 
26. «The Truth Wears Off» 
27. Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
28. «Do Neuroscience Journals Accept Replications? A Survey of Literature». Frontiers in Human Neuroscience. 11. ISSN 1662-5161. PMC 5611708. PMID 28979201. doi:10.3389/fnhum.2017.00468 
29. «Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices». Frontiers in Psychology. 8. ISSN 1664-1078. PMC 5387793. PMID 28443044. doi:10.3389/fpsyg.2017.00523 
30. «Blame bad incentives for bad science». Science News (em inglês) 
31. «The natural selection of bad science». Royal Society Open Science. 3. PMC 5043322. PMID 27703703. arXiv:1605.09511. doi:10.1098/rsos.160384 
32. «Registered Replication Reports» 
33. «Psychology's 'registration revolution'». the Guardian 
34. «Transparent and accurate reporting increases reliability, utility, and impact of your research: reporting guidelines and the EQUATOR Network». BMC Medicine. 8. PMC 2874506. PMID 20420659. doi:10.1186/1741-7015-8-24 
35. «Writing a research article that is "fit for purpose": EQUATOR Network and reporting guidelines». Evidence-based Medicine. 14. PMID 19794009. doi:10.1136/ebm.14.5.132 
36. «Why Most Clinical Research Is Not Useful». PLoS Med. 13. PMC 4915619. PMID 27328301. doi:10.1371/journal.pmed.1002049 
37. «Contradicted and initially stronger effects in highly cited clinical research». JAMA. 294. PMID 16014596. doi:10.1001/jama.294.2.218 
38. «Confronting conflict of interest». Nature Medicine. 24. ISSN 1546-170X. PMID 30401866. doi:10.1038/s41591-018-0256-7 
39. «Conflicts of interest of editors of medical journals». PLOS ONE. 13. Bibcode:2018PLoSO..1397141H. ISSN 1932-6203. PMC 5959187. PMID 29775468. doi:10.1371/journal.pone.0197141 
40. «The antidepressant debate.». The British Journal of Psychiatry. 180. ISSN 0007-1250. PMID 11872507. doi:10.1192/bjp.180.3.193 
41. «The risk of unblinding was infrequently and incompletely reported in 300 randomized clinical trial publications.». Journal of Clinical Epidemiology. 67. ISSN 1878-5921. PMID 24973822. doi:10.1016/j.jclinepi.2014.05.007 
42. «Blinding in pharmacological trials: the devil is in the details». Archives of Disease in Childhood. 98. ISSN 0003-9888. PMC 3833301. PMID 23898156. doi:10.1136/archdischild-2013-304037 
43. «Antidepressants and the Placebo Effect.». Zeitschrift für Psychologie. 222. ISSN 2190-8370. PMC 4172306. PMID 25279271. doi:10.1027/2151-2604/a000176 
44. «Effectiveness of antidepressants: an evidence myth constructed from a thousand randomized trials?». Philosophy, Ethics, and Humanities in Medicine : PEHM. 3. ISSN 1747-5341. PMC 2412901. PMID 18505564. doi:10.1186/1747-5341-3-14 
45. «CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials». BMJ. 340. ISSN 0959-8138. PMC 2844940. PMID 20332509. doi:10.1136/bmj.c332 
46. «Discussion Sections in Reports of Controlled Trials Published in General Medical Journals». JAMA. 280. PMID 9676682. doi:10.1001/jama.280.3.280 
47. «Cumulative Meta-Analysis of Therapeutic Trials for Myocardial Infarction». New England Journal of Medicine. 327. PMID 1614465. doi:10.1056/NEJM199207233270406 
48. «Randomized controlled trials of aprotinin in cardiac surgery: Could clinical equipoise have stopped the bleeding?». Clinical Trials: Journal of the Society for Clinical Trials. 2. PMID 16279145. doi:10.1191/1740774505cn085oa 
49. «Accumulating Research: A Systematic Account of How Cumulative Meta-Analyses Would Have Provided Knowledge, Improved Health, Reduced Harm and Saved Resources». PLOS ONE. 9. Bibcode:2014PLoSO...9j2670C. PMC 4113310. PMID 25068257. doi:10.1371/journal.pone.0102670 
50. «Discussion Sections in Reports of Controlled Trials Published in General Medical Journals». JAMA. 287. PMID 12038916. doi:10.1001/jama.287.21.2799 
51. «Reports of clinical trials should begin and end with up-to-date systematic reviews of other relevant evidence: A status report». Journal of the Royal Society of Medicine. 100. PMC 1847744. PMID 17404342. doi:10.1258/jrsm.100.4.187 
52. «Clinical trials should begin and end with systematic reviews of relevant evidence: 12 years and waiting». The Lancet. 376. PMID 20609983. doi:10.1016/s0140-6736(10)61045-8 
53. «Many reports of randomised trials still don't begin or end with a systematic review of the relevant evidence». Journal of the Bahrain Medical Society. 24 
54. «A Systematic Examination of the Citation of Prior Research in Reports of Randomized, Controlled Trials». Annals of Internal Medicine. 154. PMID 21200038. doi:10.7326/0003-4819-154-1-201101040-00007 
55. «Underreporting in Psychology Experiments: Evidence From a Study Registry». Social Psychological and Personality Science. 7. ISSN 1948-5506. doi:10.1177/1948550615598377 
56. «Metascience: Reproducibility blues». Nature. 543. Bibcode:2017Natur.543..619M. ISSN 1476-4687. doi:10.1038/543619a 
57. «This research group seeks to expose weaknesses in science—and they'll step on some toes if they have to». Science | AAAS (em inglês) 
58. «Estimating the reproducibility of psychological science» (PDF). Science. 349. PMID 26315443. doi:10.1126/science.aac4716 
59. «Open Science challenges, benefits and tips in early career and beyond». doi:10.31234/osf.io/3czyt 
60. «False-Positive Psychology». Psychological Science. 22. PMID 22006061. doi:10.1177/0956797611417632 
61. «The Alleged Crisis and the Illusion of Exact Replication» (PDF). Perspectives on Psychological Science. 9. PMID 26173241. doi:10.1177/1745691613514450 
62. «Psychology's Replication Crisis Has Made The Field Better». FiveThirtyEight 
63. «The earth is round (p < .05)». American Psychologist. 49. doi:10.1037/0003-066X.49.12.997 
64. «Blind analysis: Hide results to seek the truth». Nature. 526. Bibcode:2015Natur.526..187M. PMID 26450040. doi:10.1038/526187a 
65. «A systematic review highlights a knowledge gap regarding the effectiveness of health-related training programs in journalology». Journal of Clinical Epidemiology. 68. PMID 25510373. doi:10.1016/j.jclinepi.2014.09.024 
66. «The Changing Landscape of Journalology in Medicine». Seminars in Nuclear Medicine. 49. PMID 30819390. doi:10.1053/j.semnuclmed.2018.11.009 
67. «'Journalologists' use scientific methods to study academic publishing. Is their work improving science?». Science | AAAS (em inglês) 
68. «'Journalologists' use scientific methods to study academic publishing. Is their work improving science?». Science 
69. Leydesdorff, L. and Milojevic, S., "Scientometrics" arXiv:1208.4566 (2013), forthcoming in: Lynch, M. (editor), International Encyclopedia of Social and Behavioral Sciences subsection 85030. (2015)
70. «Linguistic obfuscation in fraudulent science». Journal of Language and Social Psychology. 35. doi:10.1177/0261927X15614605 
71. «Applying weighted PageRank to author citation networks». Journal of the American Society for Information Science and Technology. 62. arXiv:1102.1760. doi:10.1002/asi.21452 

Leitura adicional

• Harris, Richard. Rigor Mortis: How Sloppy Science Creates Worthless Cures, Crushes Hopes, and Wastes Billions. [S.l.: s.n.] ISBN 9780465097913 

Ligações externas

• «Iniciativa Brasileira de Reprodutibildade» 
• Minerva: Um Jornal de Ciência, Aprendizado e Política
• Integridade da pesquisa e revisão por pares
• Política de Pesquisa
• Ciência e Políticas Públicas

Conferências

• Simpósio Metascience2019 em Stanford

• Portal da ciência
• Portal da história da ciência