Un biais de publication[1],[2] est en science le fait que les chercheurs et les revues scientifiques ont bien plus tendance à publier des expériences ayant obtenu un résultat positif (statistiquement significatif) que des expériences ayant obtenu un résultat négatif (soutenant l'hypothèse nulle). Ce biais de publication donne aux lecteurs une perception biaisée (vers le positif) de l'état de la recherche.
Plusieurs causes au biais de publication ont été avancées. En 1977, Michael J. Mahoney a montré que les comités de lecture des revues scientifiques refusent plus facilement les articles dont le résultat est non significatif que ceux ayant trouvé un résultat significatif. Sachant cela, les chercheurs ont tendance à considérer un résultat non significatif comme moins intéressant pour la communauté scientifique qu'un résultat statistiquement significatif. Sachant que le résultat risque d'être rejeté, ils ne s'investissent pas dans le processus de publication qu'ils pensent voué à l'échec[2].
Une autre raison avancée pour expliquer le biais de publication est le fait que les chercheurs des industries pharmaceutiques réalisent de nombreux tests qu'ils ne souhaitent pas nécessairement voir publiés, soit en raison du secret industriel, soit que les résultats sont défavorables au produit[2].
Pour éviter cela, plusieurs revues médicales dont le Journal of the American Medical Association, les Annals of Internal Medicine, The Lancet et le New England Journal of Medicine ont signé un accord interdisant la publication de résultats de recherche pharmaceutique qui n'auraient pas été enregistrés dans une base de données avant leur démarrage[3].
Le phénomène a également été observé en sciences sociales. Le politologue James Monogan propose par exemple de déclarer les études et les protocoles de recherche auprès d'un organisme dédié avant d'avoir pu observer les résultats de l'étude afin que les chercheurs soient contraints d'une part à adopter un protocole de recherche clair et d'autre part à divulguer leurs résultats, qu'ils soient ou non statistiquement significatifs[4].
Les conférences de consensus et les cartographies systématiques visent à minimiser ces biais (entre autres facteurs d'erreurs d'appréciation).
Un biais de publication entraîne lorsqu'il implique des statistiques un « effet tiroir » (en anglais « filedrawer effect »)[5], particulièrement lorsque des méta-analyses[6] sont réalisées. Les résultats non significatifs restent « au fond du tiroir » et ne sont jamais publiés, alors que les résultats significatifs sont sur-représentés[7]. Les sceptiques considèrent que l'effet tiroir a joué un rôle important dans l'histoire de la parapsychologie, et expliquerait pourquoi un petit nombre de méta-analyses ont suggéré un effet supérieur au placebo pour certaines préparations homéopathiques[8].