רפואה נתמכת ראיות

קור לניבוי שחמת

Use of new CORE risk score to predict 10 year risk of liver cirrhosis in general population: population based cohort study
CORE Calculator
שיקולים שונים בסקירה ברמת האוכלוסיה לשחמת- מאמר סקירה
קווים מנחים אירופאיים- המלצה לבצע סקירה באנשים בסיכון
קווים מנחים- עדיין אין התוויה לסקירה למחלת כבד על רקע סטאטוזיס מטבולי (מכרס"מ © )
 
במחקר קוהורט ענקי בשוודיה, התגלה ששימוש בחמישה מדדים בלבד- שלושה אנזימי כבד, גיל ומין, מאפשר חיזוי של שחמת כבד בעשר השנים הקרובות. המודל לחיזוי אומת בשני קוהורטים בארצות אחרות, ולפי מחקר זה, יכולת הניבוי של מדד זה טובה יותר מאשר יכולת הניבוי של מדד ה FIB4.
 
CORE
Prediction model
Liver cirrhosis

לחסום או לא לחסום

Latin trial
Scandinavian trial
במטופלים לאחר אוטם שריר הלב וללא הפרעה בתפקוד חדר שמאל, האם טיפול בחסם בטא מונע בעיות עתידיות? ננצל את השאלה כדי להבין כיצד לנתח תוצאות של מחקרים סותרים, ולהחמיא הן למדע, הן לספרות הרפואית והן לעזרה של מודל בינה מלאכותית לניתוח מחקרים.
 
Differences in: Population
Method
Intervention
Outcome measurement
Confidence interval
Evidence based medicine

משחקי בילוש

ביטוי מעוות יכול לשמש כחכה בדיג של מחקרים מפוברקים. שימוש בביטוי כזה העלה בחכה מחקר חשוד. בעזרת הצלבת נתונים וחיפוש סימני אזהרה הקשורים לחוקר, לטקסט, לתוצאות המחקרים, לעיתון ולמו"ל, הגעתי לעיתונים חשודים נוספים של אותו מו"ל ולהתכתבויות ברשת המתארות ניסיון לסחיטת חוקר וניסיון השתלטות על עיתון מדעי.
 
לקריאה מומלצת: בעיה ושמה זיוף- יהונתן ברקהיים, מכון דוידסון.
 
"מאמר מדעי" על פרקינסון
דף האורכיד של "מחבר" המאמר 
העיתון המדעי לכאורה
Int. J. of School and Cognitive Psychology
 
חוקרת לגיטימית שהוזכרה בדף הבית של העיתון כאחת העורכות
 
עיתון נוסף של אותו מוציא לאור ובתוכו "מטא אנליזה" על דכאון אצל סטודנטים באתיופיה
מאמר על המו"ל מ retraction watch
התכתבות בין חוקרים על ניסיון רכישת עיתון לגיטימי על ידי אותה הוצאה לאור
 
מאגר המידע לזיהוי מחקרים בעייתיים לפי ביטויים מעוותים 
(Guillaum Cabanac- problematic paper screener)
 
 
 

ארגון הביון שפירסם את השיטות שלו

A survey of experts to identify methods to detect problematic studies: stage 1 of the INveStigating ProblEmatic Clinical Trials in Systematic Reviews project
 
בפרוייקט שנועד לסנן מתוך סקירות שיטתיות מחקרים בעייתיים (מחקרים רעים מאוד ומחקרים מכוערים לפי שיטת הסיווג שלנו), בוצע סקר בין מומחים לזיהוי מחקרים כאלו, ונאספו 116 בדיקות שונות לאיתור או זיהוי.  מתוך בדיקות אלו, 76 ניתנות ליישום ממידע גלוי (ללא נתונים גולמיים של המשתתפים במחקר). אלו בדיקות בקטגוריות הבאות: בדיקת תוצאות המחקר, בדיקת הכותבים, בדיקת ניהול המחקר, ובדיקת הטקסט והעיתון.
כאשר סדרת הבדיקות בוצעה על 50 סקירות שיטתיות של קוקרן, כ 31% מהמחקרים המבוקרים הנכללים היו חשודים במידת מה, ו 6% היו חשודים ביותר כמחקרים בעייתיים.
INSPECT-SR
Problematic studies
Individual participant data
Results in the paper
Conduct
Research team
Text and publication

משהו רקוב בממלכת דנמרק

Is something rotten in the state of Denmark? Cross-national evidence for widespread involvement but not systematic use of questionable research practices across all fields of research
מיקום דנמרק וישראל במדד השחיתות העולמי
המחקר המצוטט ביותר בתחום זה, שבוצע על חוקרים בפסיכולוגיה.
 
בסקר שנערך בין חוקרים בכירים מכל התחומים בדנמרק ובארצות אחרות התגלה שיעור גבוה מאוד של פרקטיקות מחקר מפוקפקות. הבעיות היו בטווח רחב של חומרה: החל מציטוטים עצמיים דרך מניפולציות סטטיסטיות כדי להשיג מובהקות ועד העתקת רעיונות. 90% מהחוקרים הודו שלפחות פעם אחת במחקריהם האחרונים השתמשו בפרקטיקה אחת מאלו. לחץ לפרסם היה מנבא לפרקטיקות בעייתיות. לעומת זאת נחמדות, נוירוטיות, מצפוניות, וותק אקדמי, ותרבות מקומית של יושרה- הם גורמים מעט מגנים מהפרקטיקות המפוקפקות.
Questionable research practices- QRP
פרקטיקות מפוקפקות במחקר- פמפ"ם
HARKing
P hacking
authorship
 

הרע, הרע מאוד והמכוער

פרק סיכום זמני על מחקרים שלא צריכים להתפרסם. בפרק זה אני מציע שיטת סיווג משלי עבור מחקרים אלו: מחקר רע הוא מחקר בעזרת שיטות לא נכונות או לא מתאימות. המחקר הרע מאוד מתחיל כמחקר לגיטימי, אך מתבצעת בו מניפולציה מודעת בנתונים או בשיטה הסטטיסטית כדי להגיע לתוצאה שהחוקר מעוניין בה, והמחקר המכוער הוא מחקר שמומצאים בו נתונים או מחקר מפוברק לחלוטין. שלושת סוגי המחקרים האלו יכולים להביא לנזק רב, הן ישירות למטופלים והן לאמון במדע וברפואה. החלוקה לשלושה סוגים אלו נקבעה לפי האתיולוגיה (הרע נובע מבורות, הרע מאוד מרצון להגיע לתוצאה מסוימת ולפרסם אותה, והמכוער נובע מנוכלות והונאה)

פשע מאורגן בספרות המדעית

The entities enabling scientific fraud at scale are large, resilient, and growing rapidly
 
מאמר זה מציג עדויות עקיפות לכך שפרסום מחקרים מפוברקים או כוזבים מתבצע בצורה מאורגנת. המחקר בדק מחקרים, עורכים, עיתונים מדעיים וארגונים, ומצא עדויות עקיפות לארגון זה: מיעוט קטנטן מעורכי עיתונים מדעיים שאחראי לקבלה לפרסום של מחקרים רבים שנוהלו בצורה לא תקינה, ארגונים שמכוונים לעיתונים מסוימים לצורך פרסום מאמרים מפוברקים או גרועים, עיתונים שמטרתם פרסום מאמרים ללא ביקורת, ייצור מאמרים מפוברקים באצוות (כמות מוצר גדולה בבת אחת), ועליה חדה בקצב של מאמרים המוסרים מעיתונים מדעיים עקב בעיות אמינות או רמאות.
 
Retraction
De indexing
Paper mills
Fraud
Batch
Image duplication
Plos one
Hindawi
IEEE
ARDA
Retraction watch
Pub-peer

מחקרים גרועים

Tolerating bad health research: the continuing scandal
 
מדגם של מחקרים מבוקרים אקראיים מתחומים שונים ברפואה מציג תמונה עגומה: רובם מחקרים גרועים, עם סיכוי גבוה להטיה. גם רוב המשתתפים במחקרים שנדגמו השתתפו למעשה במחקר גרוע. העלות של מחקרים אלו עצומה, הן כלכלית והן מבחינות אחרות. מחברי המאמר מציעים מספר הצעות לתיקון המצב בעולם המחקר הרפואי.
Meta research
High risk of bias
Bad research
Cochrane systematic reviews

AI and fabrication

הבינה המלאכותית וזיוף מחקרים
 
Comparing scientific abstracts generated by ChatGPT to real abstracts with detectors and blinded human reviewers
AI-generated research paper fabrication and plagiarism in the scientific community
Artificial Intelligence Can Generate Fraudulent but Authentic-Looking Scientific Medical Articles: Pandora’s Box Has Been Opened
How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data
 
בפרק זה נשים שני דברים על השולחן: הראשון הוא שישנם חוקרים המזייפים נתונים או אפילו ממציאים מחקרים שלמים, ולא מדובר באחוז זניח של החוקרים. השני הוא שהיום בעזרת מנועי בינה מלאכותית ניתן לייצר בקלות רבה מאמרים מומצאים על מחקרים דמיוניים. יכולת של סוקרים אנושיים או דיגיטלים לזיהוי מאמרים כאלו היא חלקית בלבד. שילוב שני הגורמים האלו יכול להביא אותנו לתקופה בה רבים מפרסומים הרפואיים יהיו מומצאים או מזוייפים.
Fabrication
Falsification
Large language models
ChatGPT
Detection of fabricated articles

רמייה במחקר

למרות שמחקר אמור להיות מדויק, והחוקר צריך להיות בעל יושרה ולפרסם אמת ואת כל האמת, ישנם מקרים בהם זה לא כך. מקרים אלו נקראים "התנהלות בלתי הולמת במחקר" אך אפשר להסיר את הכפפות ולקרוא להם גם "רמייה במחקר". הסיבה העיקרית לרמייה במחקר היא הלחץ לפרסם מאמרים. הלחץ הזה יכול לנבוע מסיבות כלכליות, תעסוקתיות ופסיכולוגיות, אך המנוע העיקרי שגורם ללחץ זה הוא המבנה האקדמי שבו יש דרישה וציפייה לפרסום מאמרים.
הרמייה יכולה ללבוש דרכים רבות, ורשימה (אולי חלקית) שלה כוללת המצאת נתונים, שינוי, זיוף או השמטת נתונים, מניפולציה בשיטות ניתוח הנתונים, וספין בפירוש תוצאות מחקר. בנוסף, רמייה מסוג אחר היא אי דיווח על כותבי המאמר האמיתיים, על ניגודי אינטרסים של הכותבים ועל שימוש בבינה מלאכותית בכתיבה.
לאחר שמאמר שבוצע ברמייה כבר התפרסם, יש פעמים נדירות שבהן מצליחים לגלות זאת, ואז ייתכן שהמאמר יוסר מהפרסום (רטרקציה). הגילוי יכול להגיע דרך החוקר עצמו אם הוא הגון ומגלה בעיות בניהול המחקר שפורסם, אך גם על ידי הלשנה, קריאה לעומק של המחקר על ידי קוראים ביקורתיים, וכן שיטות סטטיסטיות מתקדמות כמו זו שהציע קרלייל.
בשנת 2023 כ 10,000 מאמרים בעיתונות המדעית (לא רק רפואית) הוסרו בשל רמייה, וסביר להניח שזהו רק קצה הקרחון של מחקרים שבהם בוצעה רמייה.
Nature- 2023 record in retractions
 
Pubpeer
 
הסרת מאמר על הדיאטה הים תיכונית מהניו אינגלנד
 
Data fabrication and other reasons for non-random sampling in 5087 randomised, controlled trials in anaesthetic and general medical journals
 מאמר המפרט את השיטה של קרלייל לזיהוי מחקרים עם נתונים לא הגיוניים
 
retraction watch
 
Retraction of articles
Research misconduct
Data fabrication
Falsification
incomplete reporting
spin
conflict of interest
publish or perish
authentic authorship