רפואה נתמכת ראיות

המפרש שממשיך לשוט

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
SCORE2 risk prediction algorithms: new models to estimate 10-year risk of cardiovascular disease in Europe
השטח תחת העקומה מתייחס לעקומת הרוק, והוא נמדד כיחס בין שני שטחים ולא ביחידות שטח. היחס הזה מקבל ערכים שבין 0.5 לבין 1, כאשר ככל שהערך גבוה יותר, כך יכולת ההפרדה של הבדיקה (דיסקרימינציה) טובה יותר. ערך של 0.88 אומר לנו שהסבירות שמטופל שיפתח שחמת בעתיד יקבל ציון חיזוי גבוה יותר ממטופל שלא יפתח שחמת היא 88%. חיזוי זה הוא עבור עשר שנים קדימה, אך מה לגבי חיזוי לזמנים קצרים יותר?  שטח תחת העקומה תלוי זמן מציג לנו מהו השטח תחת העקומה עבור זמני תחזית שונים. למשל, בקוהורט המקורי עבור סולם הקור- 0.94 עבור תחזית של שנה אחת קדימה, ו 0.88 עשר שנים קדימה.
Time-dependent AUC
ROC curve
AUROC
Discrimination
CORE prediction model
SCORE2 prediction model
FIB4
 

קור לניבוי שחמת

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
שיקולים שונים בסקירה ברמת האוכלוסיה לשחמת- מאמר סקירה
קווים מנחים אירופאיים- המלצה לבצע סקירה באנשים בסיכון
קווים מנחים- עדיין אין התוויה לסקירה למחלת כבד על רקע סטאטוזיס מטבולי (מכרס"מ © )
 
במחקר קוהורט ענקי בשוודיה, התגלה ששימוש בחמישה מדדים בלבד- שלושה אנזימי כבד, גיל ומין, מאפשר חיזוי של שחמת כבד בעשר השנים הקרובות. המודל לחיזוי אומת בשני קוהורטים בארצות אחרות, ולפי מחקר זה, יכולת הניבוי של מדד זה טובה יותר מאשר יכולת הניבוי של מדד ה FIB4.
 
CORE
Prediction model
Liver cirrhosis

לחסום או לא לחסום

Latin trial
Scandinavian trial
במטופלים לאחר אוטם שריר הלב וללא הפרעה בתפקוד חדר שמאל, האם טיפול בחסם בטא מונע בעיות עתידיות? ננצל את השאלה כדי להבין כיצד לנתח תוצאות של מחקרים סותרים, ולהחמיא הן למדע, הן לספרות הרפואית והן לעזרה של מודל בינה מלאכותית לניתוח מחקרים.
 
Differences in: Population
Method
Intervention
Outcome measurement
Confidence interval
Evidence based medicine

משחקי בילוש

ביטוי מעוות יכול לשמש כחכה בדיג של מחקרים מפוברקים. שימוש בביטוי כזה העלה בחכה מחקר חשוד. בעזרת הצלבת נתונים וחיפוש סימני אזהרה הקשורים לחוקר, לטקסט, לתוצאות המחקרים, לעיתון ולמו"ל, הגעתי לעיתונים חשודים נוספים של אותו מו"ל ולהתכתבויות ברשת המתארות ניסיון לסחיטת חוקר וניסיון השתלטות על עיתון מדעי.
 
לקריאה מומלצת: בעיה ושמה זיוף- יהונתן ברקהיים, מכון דוידסון.
 
"מאמר מדעי" על פרקינסון
דף האורכיד של "מחבר" המאמר 
העיתון המדעי לכאורה
Int. J. of School and Cognitive Psychology
 
חוקרת לגיטימית שהוזכרה בדף הבית של העיתון כאחת העורכות
 
עיתון נוסף של אותו מוציא לאור ובתוכו "מטא אנליזה" על דכאון אצל סטודנטים באתיופיה
מאמר על המו"ל מ retraction watch
התכתבות בין חוקרים על ניסיון רכישת עיתון לגיטימי על ידי אותה הוצאה לאור
 
מאגר המידע לזיהוי מחקרים בעייתיים לפי ביטויים מעוותים 
(Guillaum Cabanac- problematic paper screener)
 
 
 

ארגון הביון שפירסם את השיטות שלו

A survey of experts to identify methods to detect problematic studies: stage 1 of the INveStigating ProblEmatic Clinical Trials in Systematic Reviews project
 
בפרוייקט שנועד לסנן מתוך סקירות שיטתיות מחקרים בעייתיים (מחקרים רעים מאוד ומחקרים מכוערים לפי שיטת הסיווג שלנו), בוצע סקר בין מומחים לזיהוי מחקרים כאלו, ונאספו 116 בדיקות שונות לאיתור או זיהוי.  מתוך בדיקות אלו, 76 ניתנות ליישום ממידע גלוי (ללא נתונים גולמיים של המשתתפים במחקר). אלו בדיקות בקטגוריות הבאות: בדיקת תוצאות המחקר, בדיקת הכותבים, בדיקת ניהול המחקר, ובדיקת הטקסט והעיתון.
כאשר סדרת הבדיקות בוצעה על 50 סקירות שיטתיות של קוקרן, כ 31% מהמחקרים המבוקרים הנכללים היו חשודים במידת מה, ו 6% היו חשודים ביותר כמחקרים בעייתיים.
INSPECT-SR
Problematic studies
Individual participant data
Results in the paper
Conduct
Research team
Text and publication

משהו רקוב בממלכת דנמרק

Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research
מיקום דנמרק וישראל במדד השחיתות העולמי
המחקר המצוטט ביותר בתחום זה, שבוצע על חוקרים בפסיכולוגיה.
 
בסקר שנערך בין חוקרים בכירים מכל התחומים בדנמרק ובארצות אחרות התגלה שיעור גבוה מאוד של פרקטיקות מחקר מפוקפקות. הבעיות היו בטווח רחב של חומרה: החל מציטוטים עצמיים דרך מניפולציות סטטיסטיות כדי להשיג מובהקות ועד העתקת רעיונות. 90% מהחוקרים הודו שלפחות פעם אחת במחקריהם האחרונים השתמשו בפרקטיקה אחת מאלו. לחץ לפרסם היה מנבא לפרקטיקות בעייתיות. לעומת זאת נחמדות, נוירוטיות, מצפוניות, וותק אקדמי, ותרבות מקומית של יושרה- הם גורמים מעט מגנים מהפרקטיקות המפוקפקות.
Questionable research practices- QRP
פרקטיקות מפוקפקות במחקר- פמפ"ם
HARKing
P hacking
authorship
 

הרע, הרע מאוד והמכוער

פרק סיכום זמני על מחקרים שלא צריכים להתפרסם. בפרק זה אני מציע שיטת סיווג משלי עבור מחקרים אלו: מחקר רע הוא מחקר בעזרת שיטות לא נכונות או לא מתאימות. המחקר הרע מאוד מתחיל כמחקר לגיטימי, אך מתבצעת בו מניפולציה מודעת בנתונים או בשיטה הסטטיסטית כדי להגיע לתוצאה שהחוקר מעוניין בה, והמחקר המכוער הוא מחקר שמומצאים בו נתונים או מחקר מפוברק לחלוטין. שלושת סוגי המחקרים האלו יכולים להביא לנזק רב, הן ישירות למטופלים והן לאמון במדע וברפואה. החלוקה לשלושה סוגים אלו נקבעה לפי האתיולוגיה (הרע נובע מבורות, הרע מאוד מרצון להגיע לתוצאה מסוימת ולפרסם אותה, והמכוער נובע מנוכלות והונאה)

פשע מאורגן בספרות המדעית

The entities enabling scientific fraud at scale are large, resilient, and growing rapidly
 
מאמר זה מציג עדויות עקיפות לכך שפרסום מחקרים מפוברקים או כוזבים מתבצע בצורה מאורגנת. המחקר בדק מחקרים, עורכים, עיתונים מדעיים וארגונים, ומצא עדויות עקיפות לארגון זה: מיעוט קטנטן מעורכי עיתונים מדעיים שאחראי לקבלה לפרסום של מחקרים רבים שנוהלו בצורה לא תקינה, ארגונים שמכוונים לעיתונים מסוימים לצורך פרסום מאמרים מפוברקים או גרועים, עיתונים שמטרתם פרסום מאמרים ללא ביקורת, ייצור מאמרים מפוברקים באצוות (כמות מוצר גדולה בבת אחת), ועליה חדה בקצב של מאמרים המוסרים מעיתונים מדעיים עקב בעיות אמינות או רמאות.
 
Retraction
De indexing
Paper mills
Fraud
Batch
Image duplication
Plos one
Hindawi
IEEE
ARDA
Retraction watch
Pub-peer

מחקרים גרועים

Tolerating bad health research: the continuing scandal
 
מדגם של מחקרים מבוקרים אקראיים מתחומים שונים ברפואה מציג תמונה עגומה: רובם מחקרים גרועים, עם סיכוי גבוה להטיה. גם רוב המשתתפים במחקרים שנדגמו השתתפו למעשה במחקר גרוע. העלות של מחקרים אלו עצומה, הן כלכלית והן מבחינות אחרות. מחברי המאמר מציעים מספר הצעות לתיקון המצב בעולם המחקר הרפואי.
Meta research
High risk of bias
Bad research
Cochrane systematic reviews

AI and fabrication

הבינה המלאכותית וזיוף מחקרים
 
Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers
AI-generated research paper fabrication and plagiarism in the scientific community
Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened
How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data
 
בפרק זה נשים שני דברים על השולחן: הראשון הוא שישנם חוקרים המזייפים נתונים או אפילו ממציאים מחקרים שלמים, ולא מדובר באחוז זניח של החוקרים. השני הוא שהיום בעזרת מנועי בינה מלאכותית ניתן לייצר בקלות רבה מאמרים מומצאים על מחקרים דמיוניים. יכולת של סוקרים אנושיים או דיגיטלים לזיהוי מאמרים כאלו היא חלקית בלבד. שילוב שני הגורמים האלו יכול להביא אותנו לתקופה בה רבים מפרסומים הרפואיים יהיו מומצאים או מזוייפים.
Fabrication
Falsification
Large language models
ChatGPT
Detection of fabricated articles