רפואה נתמכת ראיות

עקומת ניתוח החלטות

Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests
Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
הרווח הנקי מבדיקה תלוי בערך הסף ממנו ומעלה אנו קובעים שהבדיקה חיובית. במודלים לחיזוי, ערך הסף הזה קובע הן את הסבירות לבדיקות חיוביות כוזבות או אמיתיות, והן את "שער החליפין הערכי", ולכן אפשר לחשב לפיו את הרווח הנקי מבדיקה. אך ערך הסף הוא סובייקטיבי מאוד. יהיה מצב שבו רופאה ומטופל יבחרו ערך סף אחד לפעולה ורופא ומטופלת אחרים ערך סף אחר. עקומת ניתוח ההחלטות עוקפת את הבעיה הזו, בכך שהיא מציגה לנו את הרווח הנקי מהבדיקה עבור טווח רחב של ערכי סף. בציר האופקי נמצא ערך הסף, ובציר האנכי של הגרף, הרווח הנקי מהבדיקה. ככל שהגרף גבוה יותר, כך הרווח הנקי גבוה יותר. עליה בערכי הסף (התקדמות בציר האופקי) מייצגת שער חליפין שבו יש משקל גדול לנזק מהבדיקה (בדיקות חיוביות כוזבות מקבלות יותר משקל), וכמעט תמיד תהיה קשורה לירידה ברווח הנקי מהבדיקה. על אותה מערכת צירים ניתן לבדוק מודל חיזוי אחד לעומת מודל אחר וגם לעומת ברירות מחדל (למשל, לטפל בכולם, או לא לטפל באף אחד).
Decision curve analysis
Net benefit approach to testing
Threshold for a positive test
Exchange rate
True positives/false positives
 
רווח נקי של בדיקה=
 שיעור בדיקות חיוביות אמיתיות (מבין כלל המשתתפים)
פחות
[שיעור בדיקות חיוביות כוזבות (מבין כלל המשתתפים) X שער החליפין*]
 
*היחס אותו אנחנו מוכנים לסבול בין מספר בדיקות חיוביות אמיתיות למספר בדיקות אמיתיות כוזבות
 

רווח נקי מבדיקה

Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests
Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
 
הרווח הנקי מבדיקה הוא מידת התועלת של הבדיקה, המתבטאת בבדיקות חיוביות אמיתיות, פחות הנזק מהבדיקה, המתבטא בבדיקות חיוביות כוזבות. כדי לבצע חישוב של ההפרש בין שני אלו, צריך לבצע המרה לאותן יחידות. הדרך לבצע את זה היא קביעה (בעזרת מומחיות קלינית, הכרת הנושא, ערכים ומטרות של המטופל) של "שער חליפין ערכי": כמה בדיקות חיוביות כוזבות אנחנו מוכנים לסבול עבור כל בדיקה חיובית אמיתית. שיעור הבדיקות החיוביות הכוזבות מוכפל בשער החליפין כדי שיחידת המדידה תהיה גם שם "יחידות של בדיקות חיוביות אמיתיות", ואז מחסירים ערך זה משיעור הבדיקות החיוביות האמיתיות. רווח נקי חיובי, משמעותו שהמטופל ירוויח מביצוע הבדיקה. במודלים של חיזוי, ערך הסף שמעליו נבצע התערבות או המשך בירור קובע לנו גם את שער החליפין (למשל, אם ערך הסף במודל הוא 2.5%, שער החליפין הוא 1/39) וגם, בעזרת מחקר, מאפשר לנו לדעת מה יהיה שיעור הבדיקות החיוביות האמיתיות ושיעור הבדיקות החיוביות הכוזבות.
רווח נקי של בדיקה=
 שיעור בדיקות חיוביות אמיתיות (מבין כלל המשתתפים) 
פחות
[שיעור בדיקות חיוביות כוזבות (מבין כלל המשתתפים) X שער החליפין*]
 
*היחס אותו אנחנו מוכנים לסבול בין מספר בדיקות חיוביות אמיתיות למספר בדיקות אמיתיות כוזבות
 
Net benefit (of testing)
True positives/ false positives
Exchange rate

קליברציה

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
מלבד הדיסקרימינציה , יש לנו שאלה נוספת כדי להחליט האם מדד חיזוי הוא מדד מוצלח: האם הסיכוי המחושב דומה לסבירות האמיתית כפי שנצפתה בהמשך המעקב. התאמה כזו נקראת קליברציה. אי אפשר לדעת מה הסבירות האמיתית עבור מטופל בודד- מטופל בודד יחלה או שלא יחלה, זאת אומרת הסבירות האמיתית שיחלה היא או אפס או מאה אחוז. לכן קליברציה משתמשת בקבוצות. בכל קבוצה הסיכוי המחושב (התחזית) נמצאת בטווח מסויים, והממוצע של הסיכוי המחושב באותה קבוצה מושווה לשיעור האנשים באותה קבוצה שחלו בסופו של דבר. מדד ה CORE  הוא בעל קליברציה מצויינת בערכים עד 17-18%, אך בערכים גבוהים יותר נתן הערכת יתר.
Calibration
Probability
Calculated risk

המפרש שממשיך לשוט

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
SCORE2 risk prediction algorithms: new models to estimate 10-year risk of cardiovascular disease in Europe
השטח תחת העקומה מתייחס לעקומת הרוק, והוא נמדד כיחס בין שני שטחים ולא ביחידות שטח. היחס הזה מקבל ערכים שבין 0.5 לבין 1, כאשר ככל שהערך גבוה יותר, כך יכולת ההפרדה של הבדיקה (דיסקרימינציה) טובה יותר. ערך של 0.88 אומר לנו שהסבירות שמטופל שיפתח שחמת בעתיד יקבל ציון חיזוי גבוה יותר ממטופל שלא יפתח שחמת היא 88%. חיזוי זה הוא עבור עשר שנים קדימה, אך מה לגבי חיזוי לזמנים קצרים יותר?  שטח תחת העקומה תלוי זמן מציג לנו מהו השטח תחת העקומה עבור זמני תחזית שונים. למשל, בקוהורט המקורי עבור סולם הקור- 0.94 עבור תחזית של שנה אחת קדימה, ו 0.88 עשר שנים קדימה.
Time-dependent AUC
ROC curve
AUROC
Discrimination
CORE prediction model
SCORE2 prediction model
FIB4
 

קור לניבוי שחמת

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
שיקולים שונים בסקירה ברמת האוכלוסיה לשחמת- מאמר סקירה
קווים מנחים אירופאיים- המלצה לבצע סקירה באנשים בסיכון
קווים מנחים- עדיין אין התוויה לסקירה למחלת כבד על רקע סטאטוזיס מטבולי (מכרס"מ © )
 
במחקר קוהורט ענקי בשוודיה, התגלה ששימוש בחמישה מדדים בלבד- שלושה אנזימי כבד, גיל ומין, מאפשר חיזוי של שחמת כבד בעשר השנים הקרובות. המודל לחיזוי אומת בשני קוהורטים בארצות אחרות, ולפי מחקר זה, יכולת הניבוי של מדד זה טובה יותר מאשר יכולת הניבוי של מדד ה FIB4.
 
CORE
Prediction model
Liver cirrhosis

לחסום או לא לחסום

Latin trial
Scandinavian trial
במטופלים לאחר אוטם שריר הלב וללא הפרעה בתפקוד חדר שמאל, האם טיפול בחסם בטא מונע בעיות עתידיות? ננצל את השאלה כדי להבין כיצד לנתח תוצאות של מחקרים סותרים, ולהחמיא הן למדע, הן לספרות הרפואית והן לעזרה של מודל בינה מלאכותית לניתוח מחקרים.
 
Differences in: Population
Method
Intervention
Outcome measurement
Confidence interval
Evidence based medicine

משחקי בילוש

ביטוי מעוות יכול לשמש כחכה בדיג של מחקרים מפוברקים. שימוש בביטוי כזה העלה בחכה מחקר חשוד. בעזרת הצלבת נתונים וחיפוש סימני אזהרה הקשורים לחוקר, לטקסט, לתוצאות המחקרים, לעיתון ולמו"ל, הגעתי לעיתונים חשודים נוספים של אותו מו"ל ולהתכתבויות ברשת המתארות ניסיון לסחיטת חוקר וניסיון השתלטות על עיתון מדעי.
 
לקריאה מומלצת: בעיה ושמה זיוף- יהונתן ברקהיים, מכון דוידסון.
 
"מאמר מדעי" על פרקינסון
דף האורכיד של "מחבר" המאמר 
העיתון המדעי לכאורה
Int. J. of School and Cognitive Psychology
 
חוקרת לגיטימית שהוזכרה בדף הבית של העיתון כאחת העורכות
 
עיתון נוסף של אותו מוציא לאור ובתוכו "מטא אנליזה" על דכאון אצל סטודנטים באתיופיה
מאמר על המו"ל מ retraction watch
התכתבות בין חוקרים על ניסיון רכישת עיתון לגיטימי על ידי אותה הוצאה לאור
 
מאגר המידע לזיהוי מחקרים בעייתיים לפי ביטויים מעוותים 
(Guillaum Cabanac- problematic paper screener)
 
 
 

ארגון הביון שפירסם את השיטות שלו

A survey of experts to identify methods to detect problematic studies: stage 1 of the INveStigating ProblEmatic Clinical Trials in Systematic Reviews project
 
בפרוייקט שנועד לסנן מתוך סקירות שיטתיות מחקרים בעייתיים (מחקרים רעים מאוד ומחקרים מכוערים לפי שיטת הסיווג שלנו), בוצע סקר בין מומחים לזיהוי מחקרים כאלו, ונאספו 116 בדיקות שונות לאיתור או זיהוי.  מתוך בדיקות אלו, 76 ניתנות ליישום ממידע גלוי (ללא נתונים גולמיים של המשתתפים במחקר). אלו בדיקות בקטגוריות הבאות: בדיקת תוצאות המחקר, בדיקת הכותבים, בדיקת ניהול המחקר, ובדיקת הטקסט והעיתון.
כאשר סדרת הבדיקות בוצעה על 50 סקירות שיטתיות של קוקרן, כ 31% מהמחקרים המבוקרים הנכללים היו חשודים במידת מה, ו 6% היו חשודים ביותר כמחקרים בעייתיים.
INSPECT-SR
Problematic studies
Individual participant data
Results in the paper
Conduct
Research team
Text and publication

משהו רקוב בממלכת דנמרק

Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research
מיקום דנמרק וישראל במדד השחיתות העולמי
המחקר המצוטט ביותר בתחום זה, שבוצע על חוקרים בפסיכולוגיה.
 
בסקר שנערך בין חוקרים בכירים מכל התחומים בדנמרק ובארצות אחרות התגלה שיעור גבוה מאוד של פרקטיקות מחקר מפוקפקות. הבעיות היו בטווח רחב של חומרה: החל מציטוטים עצמיים דרך מניפולציות סטטיסטיות כדי להשיג מובהקות ועד העתקת רעיונות. 90% מהחוקרים הודו שלפחות פעם אחת במחקריהם האחרונים השתמשו בפרקטיקה אחת מאלו. לחץ לפרסם היה מנבא לפרקטיקות בעייתיות. לעומת זאת נחמדות, נוירוטיות, מצפוניות, וותק אקדמי, ותרבות מקומית של יושרה- הם גורמים מעט מגנים מהפרקטיקות המפוקפקות.
Questionable research practices- QRP
פרקטיקות מפוקפקות במחקר- פמפ"ם
HARKing
P hacking
authorship
 

הרע, הרע מאוד והמכוער

פרק סיכום זמני על מחקרים שלא צריכים להתפרסם. בפרק זה אני מציע שיטת סיווג משלי עבור מחקרים אלו: מחקר רע הוא מחקר בעזרת שיטות לא נכונות או לא מתאימות. המחקר הרע מאוד מתחיל כמחקר לגיטימי, אך מתבצעת בו מניפולציה מודעת בנתונים או בשיטה הסטטיסטית כדי להגיע לתוצאה שהחוקר מעוניין בה, והמחקר המכוער הוא מחקר שמומצאים בו נתונים או מחקר מפוברק לחלוטין. שלושת סוגי המחקרים האלו יכולים להביא לנזק רב, הן ישירות למטופלים והן לאמון במדע וברפואה. החלוקה לשלושה סוגים אלו נקבעה לפי האתיולוגיה (הרע נובע מבורות, הרע מאוד מרצון להגיע לתוצאה מסוימת ולפרסם אותה, והמכוער נובע מנוכלות והונאה)