Hedging against academic risk

Vetenskaplig Due Diligence för Investerare och Beslutsfattare

Rapid Risk Reduction
Kostnadsfri due diligence

Kostnadsfri screening för nya partners.

News

Biohedge Researchers conduct real-world evidence studies for Sanofi.

Biohedge is partnering with Sanofi to conduct real-world evidence studies on autoimmune type 1 diabetes. The studies will quantify mortality benefits of recently introduced interventions postponing the onset of T1D.

Most read public report

Vetenskaplig due diligence

Biohedge Research genomför scientific due diligence av medicinsk forskning, medicintekniska produkter, innovationer, kliniska prövningar och AI/ML. Vår vetenskapliga dissektion klargör om och hur en intervention fungerar, dess potential samt den kliniska nyttan.

Nytta i medicinsk forskning

Andel av publicerad forskning som framhävs som en upptäckt
95%
Andel av forskare som litar på medicinska forskningsresultat
3%
Andel av banbrytande studier som kan reproduceras
11%
Andel av medicinsk forskning som är användbar
8%
Andel av medicinska forskare som anser att vetenskapen befinner sig i kris
90%
Hedging against academic risk. Lev Osherovich Science-Business eXchange volume 4, page 416 (2011)
 
Chan A-W, Song F, Vickers A, Jefferson T, Dickersin K, Gøtzsche PC, Krumholz HM, Ghersi D, Worp HB van der. Increasing value and reducing waste: addressing inaccessible researchLancet (London, England). 2014;383:257–266.
 
Salman RA-S, Beller E, Kagan J, Hemminki E, Phillips RS, Savulescu J, Macleod M, Wisely J, Chalmers I. Increasing value and reducing waste in biomedical research regulation and management. The Lancet [Internet]. 2014;383:176–185. Available from: https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(13)62297-7/fulltext
 
Glasziou P, Altman DG, Bossuyt P, Boutron I, Clarke M, Julious S, Michie S, Moher D, Wager E. Reducing waste from incomplete or unusable reports of biomedical research. The Lancet [Internet]. 2014;383:267–276. Available from: https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(13)62228-X/fulltext
 
Ioannidis JPA, Greenland S, Hlatky MA, Khoury MJ, Macleod MR, Moher D, Schulz KF, Tibshirani R. Increasing value and reducing waste in research design, conduct, and analysisLancet (London, England). 2014;383:166–175.
 
Chalmers I, Bracken MB, Djulbegovic B, Garattini S, Grant J, Gülmezoglu AM, Howells DW, Ioannidis JPA, Oliver S. How to increase value and reduce waste when research priorities are set. The Lancet [Internet]. 2014;383:156–165. Available from: https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(13)62229-1/fulltext
 
Chalmers I, Glasziou P. Avoidable waste in the production and reporting of research evidence. The Lancet [Internet]. 2009;374:86–89. Available from: https://www.thelancet.com/journals/lancet/article/PIIS0140-6736(09)60329-9/fulltext
 
Why most published research findings are false | PLOS medicine [Internet]. Available from: https://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0020124
 
Begley CG, Ioannidis JPA. Reproducibility in science. Circulation Research [Internet]. 2015;116:116–126. Available from: https://www.ahajournals.org/doi/10.1161/CIRCRESAHA.114.303819
 
Time to assume that health research is fraudulent until proven otherwise? – the BMJ [Internet]. Available from: https://blogs.bmj.com/bmj/2021/07/05/time-to-assume-that-health-research-is-fraudulent-until-proved-otherwise/
Ioannidis JPA. Genetic associations: false or true? Trends in Molecular Medicine. 2003;9:135–138.
 
Risch NJ. Searching for genetic determinants in the new millenniumNature. 2000;405:847–856.
 
Colhoun HM, McKeigue PM, Davey Smith G. Problems of reporting genetic associations with complex outcomesLancet (London, England). 2003;361:865–872.
 
Kognitiv bias [Internet]. 2022;Available from: https://sv.wikipedia.org/w/index.php?title=Kognitiv_bias&oldid=51189467
 
Goodman S, Greenland S. ASSESSING THE UNRELIABILITY OF THE MEDICAL LITERATURE: A RESPONSE TO “WHY MOST PUBLISHED RESEARCH FINDINGS ARE FALSE”. 2007;
 
 
Baker M. 1,500 scientists lift the lid on reproducibility. Nature [Internet]. 2016;533:452–454. Available from: https://www.nature.com/articles/533452a
 
Kyzas PA, Denaxa-Kyza D, Ioannidis JPA. Almost all articles on cancer prognostic markers report statistically significant resultsEuropean Journal of Cancer (Oxford, England: 1990). 2007;43:2559–2579.
 
 
Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery [Internet]. 2011;10:712–712. Available from: https://www.nature.com/articles/nrd3439-c1
 
Hutchinson L, Kirk R. High drug attrition rateswhere are we going wrong? Nature Reviews Clinical Oncology [Internet]. 2011;8:189–190. Available from: https://www.nature.com/articles/nrclinonc.2011.34
 
Ioannidis JPA, Allison DB, Ball CA, Coulibaly I, Cui X, Culhane AC, Falchi M, Furlanello C, Game L, Jurman G, Mangion J, Mehta T, Nitzberg M, Page GP, Petretto E, Noort V van. Repeatability of published microarray gene expression analyses. Nature Genetics [Internet]. 2009;41:149–155. Available from: https://www.nature.com/articles/ng.295
 
Mather K. R. A. Fisher’s statistical methods for research workers: An appreciation. Journal of the American Statistical Association [Internet]. 1951;46:51–54. Available from: https://www.jstor.org/stable/2280093
 
Benjamin DJ, Berger JO, Johannesson M, Nosek BA, Wagenmakers E-J, Berk R, Bollen KA, Brembs B, Brown L, Camerer C, Cesarini D, Chambers CD, Clyde M, Cook TD, De Boeck P, Dienes Z, Dreber A, Easwaran K, Efferson C, Fehr E, Fidler F, Field AP, Forster M, George EI, Gonzalez R, Goodman S, Green E, Green DP, Greenwald AG, Hadfield JD, Hedges LV, Held L, Hua Ho T, Hoijtink H, Hruschka DJ, Imai K, Imbens G, Ioannidis JPA, Jeon M, Jones JH, Kirchler M, Laibson D, List J, Little R, Lupia A, Machery E, Maxwell SE, McCarthy M, Moore DA, Morgan SL, Munafó M, Nakagawa S, Nyhan B, Parker TH, Pericchi L, Perugini M, Rouder J, Rousseau J, Savalei V, Schönbrodt FD, Sellke T, Sinclair B, Tingley D, Van Zandt T, Vazire S, Watts DJ, Winship C, Wolpert RL, Xie Y, Young C, Zinman J, Johnson VE. Redefine statistical significance. Nature Human Behaviour [Internet]. 2018;2:6–10. Available from: https://www.nature.com/articles/s41562-017-0189-z
 

“Investors in early stage companies must often take a leap of faith that the academic research behind a company’s strategy is well validated and can be reproduced by independent hands. […] Most academic studies are not conducted with sufficient rigor to warrant such a leap.”

Failure Rate

Andel av bolag inom medicinsk FOU som misslyckas
90%

På många platser bedrivs banbrytande medicinsk forskning som förbättrar människors hälsa. Tyvärr är sådan forskning extremt sällsynt. Metaforskning visar att majoriteten av all forskning är felaktig, genomförs med felaktiga metoder, utmynnar i felaktiga konklusioner, aldrig används eller inte går att reproducera. Ungefär 75-90% av all grundforskning kan inte reproduceras och 85% av all medicinsk forskning är effektlös. Inte ens den bästa forskningen, vilken utgör en försumbar andel av all forskning, går att reproducera i en acceptabel omfattning. 

3% av forskare anser att forskningen är tillförlitlig

I en internationell undersökning bland 1567 medicinska forskare ansåg 90% att det föreligger en vetenskaplig kris eftersom forskningsresultat sällan kan reproduceras. De vanligaste orsakerna ansågs vara selektiv rapportering av data, pressure to publish, dåliga analyser, otillräckligt förarbete, dålig handledning, etc. Stokastiska processer (otur) förekom inte in bland de viktigaste förklaringarna. När Amgen försökte reproducera 53 banbrytande studier inom onkologi och hematologi lyckades de reproducera 6 resultat.

Ioannidis JPA. Genetic associations: false or true? Trends in Molecular Medicine. 2003;9:135–138.
 
Risch NJ. Searching for genetic determinants in the new millenniumNature. 2000;405:847–856.
 
Colhoun HM, McKeigue PM, Davey Smith G. Problems of reporting genetic associations with complex outcomesLancet (London, England). 2003;361:865–872.
 
Kognitiv bias [Internet]. 2022;Available from: https://sv.wikipedia.org/w/index.php?title=Kognitiv_bias&oldid=51189467
 
Goodman S, Greenland S. ASSESSING THE UNRELIABILITY OF THE MEDICAL LITERATURE: A RESPONSE TO “WHY MOST PUBLISHED RESEARCH FINDINGS ARE FALSE”. 2007;
 
 
Baker M. 1,500 scientists lift the lid on reproducibility. Nature [Internet]. 2016;533:452–454. Available from: https://www.nature.com/articles/533452a
 
Kyzas PA, Denaxa-Kyza D, Ioannidis JPA. Almost all articles on cancer prognostic markers report statistically significant resultsEuropean Journal of Cancer (Oxford, England: 1990). 2007;43:2559–2579.
 
 
Prinz F, Schlange T, Asadullah K. Believe it or not: how much can we rely on published data on potential drug targets? Nature Reviews Drug Discovery [Internet]. 2011;10:712–712. Available from: https://www.nature.com/articles/nrd3439-c1
 
Hutchinson L, Kirk R. High drug attrition rateswhere are we going wrong? Nature Reviews Clinical Oncology [Internet]. 2011;8:189–190. Available from: https://www.nature.com/articles/nrclinonc.2011.34
 
Ioannidis JPA, Allison DB, Ball CA, Coulibaly I, Cui X, Culhane AC, Falchi M, Furlanello C, Game L, Jurman G, Mangion J, Mehta T, Nitzberg M, Page GP, Petretto E, Noort V van. Repeatability of published microarray gene expression analyses. Nature Genetics [Internet]. 2009;41:149–155. Available from: https://www.nature.com/articles/ng.295
 
Mather K. R. A. Fisher’s statistical methods for research workers: An appreciation. Journal of the American Statistical Association [Internet]. 1951;46:51–54. Available from: https://www.jstor.org/stable/2280093
 
Benjamin DJ, Berger JO, Johannesson M, Nosek BA, Wagenmakers E-J, Berk R, Bollen KA, Brembs B, Brown L, Camerer C, Cesarini D, Chambers CD, Clyde M, Cook TD, De Boeck P, Dienes Z, Dreber A, Easwaran K, Efferson C, Fehr E, Fidler F, Field AP, Forster M, George EI, Gonzalez R, Goodman S, Green E, Green DP, Greenwald AG, Hadfield JD, Hedges LV, Held L, Hua Ho T, Hoijtink H, Hruschka DJ, Imai K, Imbens G, Ioannidis JPA, Jeon M, Jones JH, Kirchler M, Laibson D, List J, Little R, Lupia A, Machery E, Maxwell SE, McCarthy M, Moore DA, Morgan SL, Munafó M, Nakagawa S, Nyhan B, Parker TH, Pericchi L, Perugini M, Rouder J, Rousseau J, Savalei V, Schönbrodt FD, Sellke T, Sinclair B, Tingley D, Van Zandt T, Vazire S, Watts DJ, Winship C, Wolpert RL, Xie Y, Young C, Zinman J, Johnson VE. Redefine statistical significance. Nature Human Behaviour [Internet]. 2018;2:6–10. Available from: https://www.nature.com/articles/s41562-017-0189-z
 

Due Diligence

Senaste rapporter

Tirzepatide (Mounjaro) och fetma

Semaglutid (Wegovy, Rybelsus, Ozempic)

"To appreciate the extent of this denial readers would likely be stunned to learn that only a few decades ago scientists were unable to write down a mathematical equation for the obvious fact that “Mud does not cause rain.” Even today, only the top echelon of the scientific community can write such an equation and formally distinguish 'mud causes rain' from 'rain causes mud'."

The prior

Vi frågade 95 forskare om deras metoder.

Genomför studier enbart för att publicera
42%
Forskning som hjälper människor
29%
Forskar primärt för mina arbetsvillkor
42%
Gör litteraturgenomgång innan projektstart.
25%
Forskning som utgår från patientens behov
30%
Enkät bland svenska forskare, gjord på: www.science.nu/enkat/

Selective reporting

Redovisa det resultat som passar dig.

Motstridiga data är regel i medicinsk forskning. Detta är inte ett resultat av slumpmässiga fynd och små stickprov, utan snarare en konsekvens av kognitiv bias, pressure to publish, analytisk inkompetens och resursbrist. Det finns inga vetenskapliga mekanismer som reglerar detta.

Assessment of vibration of effects due to model specification can demonstrate the instability of observational associations. J Clin Epidemiol . 2015 Sep;68(9):1046-58. doi: 10.1016/j.jclinepi.2015.05.029. Epub 2015 Jun 6.
 
Assessment of transparency indicators across the biomedical literature: How open is open? Stylianos Serghiou,Despina G. Contopoulos-Ioannidis,Kevin W. Boyack,Nico Riedel,Joshua D. Wallach, John P. A. Ioannidis Version 2 Published: March 1, 2021. 

Investors buy useless prospects.

Policymakers conduct HTAs.

livslängden på en medicinsk sanning

Vem litar du på?

Medellivslängden på en medicinsk sanning är kort. Vetenskapen genomsyras av svårtolkade och skakiga data, som kan ligga till grund för svåra och dyra beslut. Den långlivade myten att den randomiserade studien är den absoluta sanningen fortsätter att vilseleda forskare och investerare.

Am J Clin Nutr . 2013 Jan;97(1):127-34. doi: 10.3945/ajcn.112.047142. Epub 2012 Nov 28. Is everything we eat associated with cancer? A systematic cookbook review Jonathan D Schoenfeld 1, John P A Ioannidis
 
Understanding and misunderstanding randomized controlled trials. Angus Deaton a b c, Nancy Cartwright. https://doi.org/10.1016/j.socscimed.2017.12.005

Omsorgsfull dissektion av FOUI

Vi genomför scientific due diligence för investerare, universitet, bioteknikföretag och läkemedelsindustri. Vårt team och nätverk utgörs av ledande experter inom grundforskning, klinisk forskning, kausal inferens, interventionsstudier och devices. Vi mobiliserar ett team av experter till varje uppdrag. Vår due diligence fokuserar på vetenskap, data, plattformar och potential inom grundforskning, preklinisk forskning och klinisk forskning. Vi identifierar kausala effekter, potential, risker och fallgropar i prospektet.

Allt är en upptäckt

90% av allt som publiceras är en upptäckt

Få discipliner producerar lika många upptäckter som medicinsk forskning. I princip allt (90–95%) som publiceras är statistiskt signifikant och presenteras som en upptäckt. Trots detta används aldrig majoriteten av all forskning som produceras. Medicinsk forskning genererar ett extremt överskott av verkningslösa resultat.

Fanelli D. “Positive” Results Increase Down the Hierarchy of the Sciences. PLOS ONE 2010; 5: e10068.
 
Ioannidis JPA. Why Most Clinical Research Is Not Useful. PLoS Med 2016; 13: e1002049.