元科学

實證應用系列之一
實證應用

元科学或元研究也被誉为“关于研究的研究”或“研究科学的科学”，是用科学方法研究科学的学科，旨在提高科学研究的质量和效率。元科学关注所有领域，试图改进所有的研究方法。[1]如约翰·约阿尼迪斯（John Ioannidis）所说：“科学是人类最伟大的成就……但我们还能做得更好。”[2]

1966年，一篇早期的元研究论文考察了10份著名医学期刊上发表的295篇论文所用的统计学方法，发现“在73%的报告中……结论所依据的理由压根是无效的。”元研究在接下来几十年里发现了许多科研方法上的缺陷、低效及不良做法。医学和文科（软科学）领域的许多科学研究都无法得到复现，2010年代初诞生的术语“可复现性危机”即代表了人们对这一问题的关注。[3]

元科学揭示的问题已经有了一些应对的措施，比如对科学研究和临床试验实施事先登记制、成立CONSORT和EQUATOR网络等组织，发布通用的方法和报告指南。也有个人和组织一直致力于减少统计误用、消除来自学术界的不当激励、改善同行评审流程、系统收集学术出版系统的数据、[4]打击科学文献中的偏见，以提高科学过程的整体质量和效率。

历史

[编辑]
约翰·约阿尼迪斯（John Ioannidis）（2005）《为什么大多数发表的研究结论是错误的》[5]

1966年，一篇早期的元研究论文考察了10份著名医学期刊上发表的295篇论文所用的统计学方法，发现“在73%的报告中……结论所依据的理由压根是无效的。”[6]2005年，约翰·约阿尼迪斯（John Ioannidis）发表了《为什么大多数发表的研究结论是错误的》，认为医学领域的大多数论文得出的结论都不可靠。[5]这篇论文后来成为PLOS中下载量最大的论文，[7][8]一般认为确立了元科学这门学科。[9]在与Jeremy Howick和Despina Koletsi合作的相关研究中，约阿尼迪斯指出，只有少数医疗措施通过GRADE系统得到了“高质量”证据的支持。[10]后来的元研究发现，在心理学和医学在内的许多科学领域，普遍存在复现研究结果的困难，这个问题也被称作“可复现性危机”。元科学的发展是对可复现性危机的回应，也是对研究中浪费现象的关注。[11]

许多知名出版商都乐于元研究和提高出版物质量。《科学》《柳叶刀》《自然》等顶级期刊都对元研究和可复现性问题进行了持续报道。[12]2012年，PLOS ONE发起了“可复现性倡议”；2015年，现代生物出版集团在4种刊物中引入了一个最低报告标准的检查表。

元研究这一广泛领域的第一次国际会议是2015年于爱丁堡举行的Research Waste/EQUATOR会议；第一次关于同行评审的国际会议是1989年举办的同行评审大会。[13]2016年，《研究诚信和同行评议》创刊，开篇社论呼吁“有关同行评审、研究报告以及研究和出版道德的问题，提高我们的理解并提出潜在解决方案的研究”。[14]

元研究的领域和主题

[编辑]
以“科学知识结构”为主题的元科学，科学知识生成概念按层次结构的进行了示范性可视化

元科学主要关注5类领域：方法、报告、可复现性、评估和激励。[1]

方法

[编辑]

元科学旨在识别不良的研究行为，如研究中的偏见、统计误用等等，并试图找到减少这些行为的方法。[1]元研究已经发现了科学文献中的许多偏见。[15]特别值得注意的是，科学研究普遍存在着对P值的误用和对统计意义的滥用。[16]

科学数据科学

[编辑]

科学数据科学利用数据科学来分析已发布的论文，包含了定性研究和定量研究。科学数据科学研究包括欺诈检测[17]和引用网络分析。[18]

期刊学

[编辑]

期刊学也称出版科学，是对学术出版过程中的所有方面的学术研究。[19][20]这一领域试图在学术出版过程中实施循证实践，来提高学术研究的质量。[21]“期刊学”由《英国医学杂志》前总编辑史蒂芬·洛克（Stephen Lock）提出。1989年在伊利诺伊州芝加哥召开的第一届同行评审大会标志着期刊学成为一个独立的领域。[21]期刊学一直试图推动科研领域的事先登记，特别是在临床试验方面。现在大多数国家都要求进行临床试验登记。[21]

报告

[编辑]

元研究发现，在研究的报告、解释、传播和普及方面往往存在不良做法，特别是在社会科学和健康科学领域尤为严重。不良的报告使人们难以准确解释科研成果、难以复现研究、难以识别作者可能存在的偏见和利益立场。常用的解决措施如实施报告标准、提高科研透明度等。参照报告机构（如CONSORT和更大的EQUATOR网络）指定的指南，可以规范报告所用的数据和方法。[1]

可复现性

[编辑]
癌症研究中进行研究复现的障碍

可复现性危机是一种持续的方法论危机，人们发现许多科学研究难以或无法复现。[22][23]它源于20世纪中后期的元研究，但“可复现性危机”这个术语要到2010年代初才出现[24]，反映了人们对这一问题日益增长的认识。[1]可复现性危机尤其影响到心理学（尤其是社会心理学）和医学，[25][26]包括癌症研究。[27][28]复现是科学过程的重要组成部分，因此复现的普遍失败会使受影响领域的可靠性遭到质疑。[29]


此外，一般都认为复现研究的影响力不如原创研究，在很多领域都难以发表。这大大阻碍了对研究的报到，甚至阻碍了对研究进行复现的尝试。[30][31]

评价与激励

[编辑]

元科学试图为同行评审建立一个完整的科学基础。元研究会对同行评审系统进行评估，包括发表前后及公开的同行评审。它也试图找到更好的研究资助标准。[1]

元科学试图通过更好的激励系统促进研究的进步，如探索对研究工作和研究人员进行排名和评估的不同方法的准确性、有效性、成本及效益。[1]批评者认为，不正当的激励措施给学术界塑造了“不发文章就会死”的环境，催生了大批垃圾科学、低质量研究和虚假结果。[32][33]比如，Brian Nosek认为，“我们面临的问题是，激励制度几乎完全集中在‘让研究发表’上，而不是‘让研究正确、可信’。”[34]支持改革者试图构建激励体系，以提高科研结果的质量。[35]例如，根据专家的叙述性评价（“而不是[仅仅或主要]靠各种指数”）、机构评价标准、保证透明度和专业标准来评判质量。[36]

贡献度

研究提出了机器可读的标准和（一种）用于科学出版管理系统的数字徽章，其侧重于贡献者的身份：谁对研究劳动做出了什么样的贡献和多少贡献，而传统学术署名则强调谁以任何方式参与了出版物的创作。[37][38][39][40]一项研究指出了与持续忽视贡献度有关的问题：“由于作者名单越来越长，论文却越来越短，发表数量还在激增，所以出版物数量已经不再是一个好的衡量标准。”[41]

评估因素

除了文章本身的优点外，其他因素也会大大影响同行评审员的评价。[42]但这些因素也可能很重要，例如使用关于研究者先前出版物的真实性，及其与公共利益一致性的记录。然而，同行评审等现行评价体系可能在很大程度上缺乏合理的机制和标准，它们多以引用数、Altmetric等为指标。这些数据确实可以反映文章的影响力，但没有考虑对现实世界的积极影响、进步性和公共用途。[43][44]反思学术激励机制的结论是，“为数据等中间产品提供更正式的认可”可能会产生可观的积极影响。[45]

对培训的认可度

有评论指出，学术排名并不考虑各自的研究者在哪里（国家或研究机构）接受培训。[46]

科学计量学

[编辑]

科学计量学关注科学出版物中文献数据的测量。主要的研究问题包括对研究论文和学术期刊影响力的测量、对科学引文的理解，以及在已知的政策和管理背景下应用测量方法。[47]研究表明，“用于衡量学术成功度的指标，如出版物数量、引文数量和影响因子之类，几十年来都没有变化”，而且在某种程度上“不再是”好的衡量标准，[41]导致了诸如“生产过剩、非必要碎片化、过度销售、掠夺性期刊、巧妙剽窃、故意混淆科学成果”等等乱象。[48]

这一领域的新工具有量化被引节点对引文节点的影响程度的系统。[49]这可用于将未加权的引文网络转换为加权网络，并用于重要性评估，得出“对所涉的各种实体（如出版物、作者等）的影响度量”[50]，并用于搜索引擎和推荐系统等工具。

科学管理

[编辑]
参见：科学政策和科学政策科学

科学资助和科学管理也可以通过元科学得到探索和了解。[51]

激励措施
[编辑]

另见

[编辑]

参考文献

[编辑]
  1. ^ 1.0 1.1 1.2 1.3 1.4 1.5 1.6 Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. Meta-research: Evaluation and Improvement of Research Methods and Practices. PLOS Biology. 2015-10-02, 13 (10): e1002264. ISSN 1544-9173. PMC 4592065 可免费查阅. PMID 26431313. doi:10.1371/journal.pbio.1002264. 
  2. ^ Bach, Becky. On communicating science and uncertainty: A podcast with John Ioannidis. Scope. 2015-12-08 [2019-05-20]. （原始内容存档于2021-11-08）. 
  3. ^ Pashler, Harold; Harris, Christine R. Is the Replicability Crisis Overblown? Three Arguments Examined. Perspectives on Psychological Science. 2012, 7 (6): 531–536 [2023-04-12]. ISSN 1745-6916. PMID 26168109. S2CID 1342421. doi:10.1177/1745691612463401. （原始内容存档于2023-06-21） （英语）. 
  4. ^ Nishikawa-Pacher, Andreas; Heck, Tamara; Schoch, Kerstin. Open Editors: A dataset of scholarly journals' editorial board positions. Research Evaluation. 2022-10-04. ISSN 0958-2029. doi:10.1093/reseval/rvac037 可免费查阅. eISSN 1471-5449. 
  5. ^ 5.0 5.1 Ioannidis, JP. Why most published research findings are false.. PLOS Medicine. 2005-08, 2 (8): e124. PMC 1182327 可免费查阅. PMID 16060722. doi:10.1371/journal.pmed.0020124. 
  6. ^ Schor, Stanley. Statistical Evaluation of Medical Journal Manuscripts. JAMA: The Journal of the American Medical Association. 1966, 195 (13): 1123–1128. ISSN 0098-7484. PMID 5952081. doi:10.1001/jama.1966.03100130097026. 
  7. ^ Highly Cited Researchers. [2015-09-17]. （原始内容存档于2012-04-02）. 
  8. ^ Medicine - Stanford Prevention Research Center. （页面存档备份，存于互联网档案馆） John P.A. Ioannidis
  9. ^ Robert Lee Hotz. Most Science Studies Appear to Be Tainted By Sloppy Analysis. Wall Street Journal (Dow Jones & Company). 2007-09-14 [2016-12-05]. （原始内容存档于2016-12-24）. 
  10. ^ Howick J, Koletsi D, Pandis N, Fleming PS, Loef M, Walach H, Schmidt S, Ioannidis JA. The quality of evidence for medical interventions does not improve or worsen: a metaepidemiological study of Cochrane reviews. Journal of Clinical Epidemiology 2020;126:154-159 [1] （页面存档备份，存于互联网档案馆）
  11. ^ Researching the researchers. Nature Genetics. 2014, 46 (5): 417. ISSN 1061-4036. PMID 24769715. doi:10.1038/ng.2972 可免费查阅. 
  12. ^ Enserink, Martin. Research on research. Science. 2018, 361 (6408): 1178–1179. Bibcode:2018Sci...361.1178E. ISSN 0036-8075. PMID 30237336. S2CID 206626417. doi:10.1126/science.361.6408.1178. 
  13. ^ Rennie, Drummond. Editorial Peer Review in Biomedical Publication. JAMA. 1990, 263 (10): 1317–1441. ISSN 0098-7484. PMID 2304208. doi:10.1001/jama.1990.03440100011001. 
  14. ^ Harriman, Stephanie L.; Kowalczuk, Maria K.; Simera, Iveta; Wager, Elizabeth. A new forum for research on research integrity and peer review. Research Integrity and Peer Review. 2016, 1 (1): 5. ISSN 2058-8615. PMC 5794038 可免费查阅. PMID 29451544. doi:10.1186/s41073-016-0010-y. 
  15. ^ Fanelli, Daniele; Costas, Rodrigo; Ioannidis, John P. A. Meta-assessment of bias in science. Proceedings of the National Academy of Sciences of the United States of America. 2017, 114 (14): 3714–3719. Bibcode:2017PNAS..114.3714F. ISSN 1091-6490. PMC 5389310 可免费查阅. PMID 28320937. doi:10.1073/pnas.1618569114 可免费查阅. 
  16. ^ Check Hayden, Erika. Weak statistical standards implicated in scientific irreproducibility. Nature. 2013 [9 May 2019]. S2CID 211729036. doi:10.1038/nature.2013.14131. （原始内容存档于2021-04-21） （英语）. 
  17. ^ Markowitz, David M.; Hancock, Jeffrey T. Linguistic obfuscation in fraudulent science. Journal of Language and Social Psychology. 2016, 35 (4): 435–445. S2CID 146174471. doi:10.1177/0261927X15614605. 
  18. ^ Ding, Y. Applying weighted PageRank to author citation networks. Journal of the American Society for Information Science and Technology. 2010, 62 (2): 236–245. S2CID 3752804. arXiv:1102.1760 可免费查阅. doi:10.1002/asi.21452. 
  19. ^ Galipeau, James; Moher, David; Campbell, Craig; Hendry, Paul; Cameron, D. William; Palepu, Anita; Hébert, Paul C. A systematic review highlights a knowledge gap regarding the effectiveness of health-related training programs in journalology. Journal of Clinical Epidemiology. 2015-03, 68 (3): 257–265. PMID 25510373. doi:10.1016/j.jclinepi.2014.09.024 可免费查阅 （英语）. 
  20. ^ Wilson, Mitch; Moher, David. The Changing Landscape of Journalology in Medicine. Seminars in Nuclear Medicine. 2019-03, 49 (2): 105–114. PMID 30819390. S2CID 73471103. doi:10.1053/j.semnuclmed.2018.11.009. hdl:10393/38493 可免费查阅 （英语）. 
  21. ^ 21.0 21.1 21.2 Couzin-Frankel, Jennifer. 'Journalologists' use scientific methods to study academic publishing. Is their work improving science?. Science. 2018-09-18. S2CID 115360831. doi:10.1126/science.aav4758. 
  22. ^ Schooler, J. W. Metascience could rescue the 'replication crisis'. Nature. 2014, 515 (7525): 9. Bibcode:2014Natur.515....9S. PMID 25373639. doi:10.1038/515009a 可免费查阅. 
  23. ^ Smith, Noah. Why 'Statistical Significance' Is Often Insignificant. Bloomberg.com. 2017-11-02 [2017-11-07]. （原始内容存档于2020-04-23）. 
  24. ^ Pashler, Harold; Wagenmakers, Eric Jan. Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?. Perspectives on Psychological Science. 2012, 7 (6): 528–530. PMID 26168108. S2CID 26361121. doi:10.1177/1745691612465253. 
  25. ^ Gary Marcus. The Crisis in Social Psychology That Isn't. The New Yorker. 2013-05-01 [2023-04-12]. （原始内容存档于2018-07-07）. 
  26. ^ Jonah Lehrer. The Truth Wears Off. The New Yorker. 2010-12-13 [2023-04-12]. （原始内容存档于2019-12-20）. 
  27. ^ Dozens of major cancer studies can't be replicated. Science News. 2021-12-07 [2022-01-19]. （原始内容存档于2023-03-21）. 
  28. ^ Reproducibility Project: Cancer Biology. www.cos.io. Center for Open Science. [2022-01-19]. （原始内容存档于2023-03-28） （英语）. 
  29. ^ Staddon, John (2017) Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis.
  30. ^ Yeung, Andy W. K. Do Neuroscience Journals Accept Replications? A Survey of Literature. Frontiers in Human Neuroscience. 2017, 11: 468. ISSN 1662-5161. PMC 5611708 可免费查阅. PMID 28979201. doi:10.3389/fnhum.2017.00468 可免费查阅 （英语）. 
  31. ^ Martin, G. N.; Clarke, Richard M. Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices. Frontiers in Psychology. 2017, 8: 523. ISSN 1664-1078. PMC 5387793 可免费查阅. PMID 28443044. doi:10.3389/fpsyg.2017.00523 可免费查阅 （英语）. 
  32. ^ Binswanger, Mathias. How Nonsense Became Excellence: Forcing Professors to Publish. Welpe, Isabell M.; Wollersheim, Jutta; Ringelhan, Stefanie; Osterloh, Margit (编). Incentives and Performance. Incentives and Performance: Governance of Research Organizations (Springer International Publishing). 2015: 19–32. ISBN 978-3319097855. S2CID 110698382. doi:10.1007/978-3-319-09785-5_2 （英语）. 
  33. ^ Edwards, Marc A.; Roy, Siddhartha. Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition. Environmental Engineering Science. 2016-09-22, 34 (1): 51–61. PMC 5206685 可免费查阅. PMID 28115824. doi:10.1089/ees.2016.0223. 
  34. ^ Brookshire, Bethany. Blame bad incentives for bad science. Science News. 2016-10-21 [2019-07-11]. （原始内容存档于2019-07-11） （英语）. 
  35. ^ Smaldino, Paul E.; McElreath, Richard. The natural selection of bad science. Royal Society Open Science. 2016, 3 (9): 160384. Bibcode:2016RSOS....360384S. PMC 5043322 可免费查阅. PMID 27703703. arXiv:1605.09511 可免费查阅. doi:10.1098/rsos.160384 （英语）. 
  36. ^ Chapman, Colin A.; Bicca-Marques, Júlio César; Calvignac-Spencer, Sébastien; Fan, Pengfei; Fashing, Peter J.; Gogarten, Jan; Guo, Songtao; Hemingway, Claire A.; Leendertz, Fabian; Li, Baoguo; Matsuda, Ikki; Hou, Rong; Serio-Silva, Juan Carlos; Chr. Stenseth, Nils. Games academics play and their consequences: how authorship, h -index and journal impact factors are shaping the future of academia. Proceedings of the Royal Society B: Biological Sciences. 4 December 2019, 286 (1916): 20192047. ISSN 0962-8452. PMID 31797732. S2CID 208605640. doi:10.1098/rspb.2019.2047 （英语）. 
  37. ^ Holcombe, Alex O. Contributorship, Not Authorship: Use CRediT to Indicate Who Did What. Publications. September 2019, 7 (3): 48. doi:10.3390/publications7030048 可免费查阅 （英语）. 
  38. ^ McNutt, Marcia K.; Bradford, Monica; Drazen, Jeffrey M.; Hanson, Brooks; Howard, Bob; Jamieson, Kathleen Hall; Kiermer, Véronique; Marcus, Emilie; Pope, Barbara Kline; Schekman, Randy; Swaminathan, Sowmya; Stang, Peter J.; Verma, Inder M. Transparency in authors' contributions and responsibilities to promote integrity in scientific publication. Proceedings of the National Academy of Sciences. 13 March 2018, 115 (11): 2557–2560. Bibcode:2018PNAS..115.2557M. ISSN 0027-8424. PMC 5856527 可免费查阅. PMID 29487213. doi:10.1073/pnas.1715374115 可免费查阅 （英语）. 
  39. ^ Brand, Amy; Allen, Liz; Altman, Micah; Hlava, Marjorie; Scott, Jo. Beyond authorship: attribution, contribution, collaboration, and credit. Learned Publishing. 1 April 2015, 28 (2): 151–155. S2CID 45167271. doi:10.1087/20150211. 
  40. ^ Singh Chawla, Dalmeet. Digital badges aim to clear up politics of authorship. Nature. October 2015, 526 (7571): 145–146. Bibcode:2015Natur.526..145S. ISSN 1476-4687. PMID 26432249. S2CID 256770827. doi:10.1038/526145a （英语）. 
  41. ^ 41.0 41.1 Fire, Michael; Guestrin, Carlos. Over-optimization of academic publishing metrics: observing Goodhart's Law in action. GigaScience. 1 June 2019, 8 (6): giz053. PMC 6541803 可免费查阅. PMID 31144712. doi:10.1093/gigascience/giz053. 
  42. ^ Elson, Malte; Huff, Markus; Utz, Sonja. Metascience on Peer Review: Testing the Effects of a Study's Originality and Statistical Significance in a Field Experiment. Advances in Methods and Practices in Psychological Science. 2020-03-01, 3 (1): 53–65 [2023-04-12]. ISSN 2515-2459. S2CID 212778011. doi:10.1177/2515245919895419. （原始内容存档于2021-04-26） （英语）. 
  43. ^ McLean, Robert K D; Sen, Kunal. Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach. Research Evaluation. 2019-04-01, 28 (2): 123–135. doi:10.1093/reseval/rvy026. 
  44. ^ Bringing Rigor to Relevant Questions: How Social Science Research Can Improve Youth Outcomes in the Real World (PDF). [2021-11-22]. （原始内容 (PDF)存档于2021-07-02）. 
  45. ^ Fecher, Benedikt; Friesike, Sascha; Hebing, Marcel; Linek, Stephanie. A reputation economy: how individual reward considerations trump systemic arguments for open access to data. Palgrave Communications. 2017-06-20, 3 (1): 1–10. ISSN 2055-1045. S2CID 34449408. doi:10.1057/palcomms.2017.51 （英语）. 
  46. ^ La Porta, Caterina AM; Zapperi, Stefano. America's top universities reap the benefit of Italian-trained scientists. Nature Italy. 1 December 2022 [2022-12-18]. S2CID 254331807. doi:10.1038/d43978-022-00163-5. （原始内容存档于2023-06-07） （英语）. 
  47. ^ Leydesdorff, L. and Milojevic, S., "Scientometrics" arXiv:1208.4566 （页面存档备份，存于互联网档案馆） (2013), forthcoming in: Lynch, M. (editor), International Encyclopedia of Social and Behavioral Sciences subsection 85030. (2015)
  48. ^ Singh, Navinder. Plea to publish less. 2021-10-08. arXiv:2201.07985 可免费查阅 [physics.soc-ph]. 
  49. ^ Manchanda, Saurav; Karypis, George. Evaluating Scholarly Impact: Towards Content-Aware Bibliometrics. Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (Association for Computational Linguistics). 2021-11: 6041–6053. S2CID 243865632. doi:10.18653/v1/2021.emnlp-main.488. 
  50. ^ Manchanda, Saurav; Karypis, George. Importance Assessment in Scholarly Networks (PDF). [2023-04-12]. （原始内容存档 (PDF)于2023-06-21）. 
  51. ^ Nielsen, Kristian H. Science and public policy. Metascience. 2021-03-01, 30 (1): 79–81. ISSN 1467-9981. PMC 7605730 可免费查阅. S2CID 226237994. doi:10.1007/s11016-020-00581-5 （英语）. 

阅读更多

[编辑]

外部链接

[编辑]

期刊

会议