What Every Reader Should Know About Studies Using Electronic Health Record Data but May Be Afraid to Ask
Isaac Kohane
(1)
,
Bruce Aronow
(2)
,
Paul Avillach
(1)
,
Brett Beaulieu-Jones
(1)
,
Riccardo Bellazzi
(3, 4)
,
Robert Bradford
(5)
,
Gabriel Brat
(1)
,
Mario Cannataro
(6)
,
James Cimino
(7)
,
Noelia García-Barrio
(8)
,
Nils Gehlenborg
(1)
,
Marzyeh Ghassemi
(9)
,
Alba Gutiérrez-Sacristán
(1)
,
David Hanauer
(10)
,
John Holmes
(11)
,
Chuan Hong
(1)
,
Jeffrey Klann
(1, 12)
,
Ne Hooi Will Loh
(13)
,
Yuan Luo
(14)
,
Kenneth Mandl
(15)
,
Mohamad Daniar
(15)
,
Jason Moore
(11)
,
Shawn Murphy
(1, 12)
,
Antoine Neuraz
(16, 17, 18)
,
Kee Yuan Ngiam
(13)
,
Gilbert Omenn
(19)
,
Nathan Palmer
(1)
,
Lav Patel
(20)
,
Miguel Pedrera-Jiménez
(8)
,
Piotr Sliz
(15)
,
Andrew South
(21)
,
Amelia Li Min Tan
(1, 22)
,
Deanne Taylor
(23, 11)
,
Bradley Taylor
(24)
,
Carlo Torti
(6)
,
Andrew Vallejos
(24)
,
Kavishwar Wagholikar
(1, 12)
,
Griffin Weber
(1)
,
Tianxi Cai
(1)
1
HMS -
Harvard Medical School [Boston]
2 UC - University of Cincinnati
3 UNIPV - Università degli Studi di Pavia [Italia] = University of Pavia [Italy] = Université de Pavie [Italie]
4 IRCCS Pavia - ICS Maugeri - Istituti Clinici Scientifici Maugeri [Pavia]
5 UNC - University of North Carolina [Chapel Hill]
6 UMG - Università degli Studi "Magna Graecia" di Catanzaro = University of Catanzaro
7 UAB - University of Alabama at Birmingham [ Birmingham]
8 Hospital Universitario 12 de Octubre [Madrid]
9 University of Toronto
10 University of Michigan Medical School [Ann Arbor]
11 University of Pennsylvania
12 Massachusetts General Hospital [Boston]
13 NUH - National University Hospital [Singapore]
14 Northwestern University [Evanston]
15 Boston Children's Hospital
16 Service d'informatique médicale et biostatistiques [CHU Necker]
17 CRC (UMR_S_1138 / U1138) - Centre de Recherche des Cordeliers
18 HeKA - Health data- and model- driven Knowledge Acquisition
19 University of Michigan [Ann Arbor]
20 University of Kansas [Kansas City]
21 Wake Forest School of Medicine [Winston-Salem]
22 NUS - National University of Singapore
23 CHOP - Children’s Hospital of Philadelphia
24 MCW - Medical College of Wisconsin [Milwaukee]
2 UC - University of Cincinnati
3 UNIPV - Università degli Studi di Pavia [Italia] = University of Pavia [Italy] = Université de Pavie [Italie]
4 IRCCS Pavia - ICS Maugeri - Istituti Clinici Scientifici Maugeri [Pavia]
5 UNC - University of North Carolina [Chapel Hill]
6 UMG - Università degli Studi "Magna Graecia" di Catanzaro = University of Catanzaro
7 UAB - University of Alabama at Birmingham [ Birmingham]
8 Hospital Universitario 12 de Octubre [Madrid]
9 University of Toronto
10 University of Michigan Medical School [Ann Arbor]
11 University of Pennsylvania
12 Massachusetts General Hospital [Boston]
13 NUH - National University Hospital [Singapore]
14 Northwestern University [Evanston]
15 Boston Children's Hospital
16 Service d'informatique médicale et biostatistiques [CHU Necker]
17 CRC (UMR_S_1138 / U1138) - Centre de Recherche des Cordeliers
18 HeKA - Health data- and model- driven Knowledge Acquisition
19 University of Michigan [Ann Arbor]
20 University of Kansas [Kansas City]
21 Wake Forest School of Medicine [Winston-Salem]
22 NUS - National University of Singapore
23 CHOP - Children’s Hospital of Philadelphia
24 MCW - Medical College of Wisconsin [Milwaukee]
Isaac Kohane
- Fonction : Auteur
- PersonId : 792802
- ORCID : 0000-0003-2192-5160
- IdRef : 070058687
Bruce Aronow
- Fonction : Auteur
- PersonId : 801155
- ORCID : 0000-0001-5109-6514
Paul Avillach
- Fonction : Auteur
- PersonId : 803243
- ORCID : 0000-0002-0235-7543
Brett Beaulieu-Jones
- Fonction : Auteur
- PersonId : 818062
- ORCID : 0000-0002-6700-1468
Riccardo Bellazzi
- Fonction : Auteur
- PersonId : 763117
- ORCID : 0000-0002-6974-9808
- IdRef : 204354269
Robert Bradford
- Fonction : Auteur
- PersonId : 802112
- ORCID : 0000-0003-0908-1428
Gabriel Brat
- Fonction : Auteur
- PersonId : 818068
- ORCID : 0000-0003-3928-5931
Mario Cannataro
- Fonction : Auteur
- PersonId : 773116
- ORCID : 0000-0003-1502-2387
James Cimino
- Fonction : Auteur
- PersonId : 802106
- ORCID : 0000-0003-4101-1622
- IdRef : 106980068
Noelia García-Barrio
- Fonction : Auteur
- PersonId : 818071
- ORCID : 0000-0002-2789-8426
Nils Gehlenborg
- Fonction : Auteur
- PersonId : 802104
- ORCID : 0000-0003-0327-8297
Marzyeh Ghassemi
- Fonction : Auteur
- PersonId : 818106
- ORCID : 0000-0001-6349-7251
Alba Gutiérrez-Sacristán
- Fonction : Auteur
- PersonId : 818061
- ORCID : 0000-0002-1245-198X
David Hanauer
- Fonction : Auteur
- PersonId : 818072
- ORCID : 0000-0001-6931-3791
John Holmes
- Fonction : Auteur
- PersonId : 794711
- ORCID : 0000-0003-2167-3602
Chuan Hong
- Fonction : Auteur
- PersonId : 792801
- ORCID : 0000-0001-7056-9559
Jeffrey Klann
- Fonction : Auteur
- PersonId : 818075
- ORCID : 0000-0003-2043-1601
Ne Hooi Will Loh
- Fonction : Auteur
- PersonId : 817815
- ORCID : 0000-0002-4114-1286
Yuan Luo
- Fonction : Auteur
- PersonId : 795668
- ORCID : 0000-0003-0195-7456
Kenneth Mandl
- Fonction : Auteur
- PersonId : 818079
- ORCID : 0000-0002-9781-0477
Mohamad Daniar
- Fonction : Auteur
- PersonId : 802113
- ORCID : 0000-0001-9031-0835
Jason Moore
- Fonction : Auteur
- PersonId : 807955
- ORCID : 0000-0002-5015-1099
- IdRef : 148457932
Shawn Murphy
- Fonction : Auteur
- PersonId : 792910
- ORCID : 0000-0002-1905-8806
Antoine Neuraz
- Fonction : Auteur
- PersonId : 1122536
- IdHAL : antoine-neuraz
Kee Yuan Ngiam
- Fonction : Auteur
- PersonId : 802111
- ORCID : 0000-0001-5676-2520
Gilbert Omenn
- Fonction : Auteur
- PersonId : 794562
- ORCID : 0000-0002-8976-6074
- IdRef : 077657802
Nathan Palmer
- Fonction : Auteur
- PersonId : 818081
- ORCID : 0000-0002-4361-207X
Lav Patel
- Fonction : Auteur
- PersonId : 818063
- ORCID : 0000-0002-8626-137X
Miguel Pedrera-Jiménez
- Fonction : Auteur
- PersonId : 818097
- ORCID : 0000-0003-0187-3826
Piotr Sliz
- Fonction : Auteur
- PersonId : 777645
- ORCID : 0000-0002-6522-0835
Andrew South
- Fonction : Auteur
- PersonId : 802114
- ORCID : 0000-0002-3204-4142
Amelia Li Min Tan
- Fonction : Auteur
- PersonId : 801553
- ORCID : 0000-0003-0623-6623
Deanne Taylor
- Fonction : Auteur
- PersonId : 809771
- ORCID : 0000-0002-3302-4610
Bradley Taylor
- Fonction : Auteur
- PersonId : 818107
- ORCID : 0000-0002-6414-4172
Carlo Torti
- Fonction : Auteur
- PersonId : 784550
- ORCID : 0000-0001-7631-5453
Andrew Vallejos
- Fonction : Auteur
- PersonId : 818084
- ORCID : 0000-0002-6543-5430
Kavishwar Wagholikar
- Fonction : Auteur
- PersonId : 818085
- ORCID : 0000-0002-6219-861X
Griffin Weber
- Fonction : Auteur
- PersonId : 818086
- ORCID : 0000-0002-2597-881X
Tianxi Cai
- Fonction : Auteur
- PersonId : 785101
- ORCID : 0000-0002-5379-2502
Résumé
Coincident with the tsunami of COVID-19–related publications, there has been a surge of studies using real-world data, including those obtained from the electronic health record (EHR). Unfortunately, several of these high-profile publications were retracted because of concerns regarding the soundness and quality of the studies and the EHR data they purported to analyze. These retractions highlight that although a small community of EHR informatics experts can readily identify strengths and flaws in EHR-derived studies, many medical editorial teams and otherwise sophisticated medical readers lack the framework to fully critically appraise these studies. In addition, conventional statistical analyses cannot overcome the need for an understanding of the opportunities and limitations of EHR-derived studies. We distill here from the broader informatics literature six key considerations that are crucial for appraising studies utilizing EHR data: data completeness, data collection and handling (eg, transformation), data type (ie, codified, textual), robustness of methods against EHR variability (within and across institutions, countries, and time), transparency of data and analytic code, and the multidisciplinary approach. These considerations will inform researchers, clinicians, and other stakeholders as to the recommended best practices in reviewing manuscripts, grants, and other outputs from EHR-data derived studies, and thereby promote and foster rigor, quality, and reliability of this rapidly growing field.