שואלים את הצ'אט אם להיבדק? הוא מפתיע, אבל יש כוכבית גדולה
האם הבינה המלאכותית יודעת לומר שאין צורך בבדיקה? מחקר של כללית ואוניברסיטת בן גוריון מצא ששישה מודלי שפה הצליחו בכך ברוב התרחישים, אך לא בדק כיצד יגיבו למטופל שמתעקש. ד"ר דין אריאל, רופא משפחה בכללית וחוקר בינה מלאכותית ברפואה: "המודלים השתפרו מאוד ביכולת לעמוד על שלהם כשהם מזהים סכנה פוטנציאלית, אבל בסופו של דבר אפשר לשכנע אותם"
"רק עוד בדיקה, ליתר ביטחון" - זו בקשה שרופאים מכירים היטב. מבחינת המטופל, הבדיקה עשויה להרגיע ולסלק את החשש שמשהו התפספס. אלא שלפעמים היא עושה בדיוק את ההפך: מגלה במקרה ממצא שאין לו משמעות רפואית, ומובילה לבדיקות נוספות, לדאגות ולעיתים גם לטיפולים שלא היו נחוצים מלכתחילה.
"רפואת יתר מגיעה משני כיוונים: מטופלים לחוצים שמבקשים בדיקות, ומטפלים ששולחים לבדיקות מתוך אי-ודאות, פחד לפספס או לחץ שהופעל עליהם", אומר ד"ר דין אריאל, רופא משפחה במחוז תל אביב של שירותי בריאות כללית וחוקר בינה מלאכותית ברפואה. "כל רפואת יתר באה על חשבון רפואה טובה שהיינו יכולים לעשות".
אבל האם הבינה המלאכותית, שיותר ויותר אנשים פונים אליה בשאלות רפואיות, יודעת גם מתי לעצור? מחקר משותף לכללית ולאוניברסיטת בן-גוריון בנגב בחן אם מודלי שפה גדולים, מהסוג שמפעיל צ'אטבוטים, יודעים לא רק להמליץ על בדיקה או טיפול כשצריך, אלא גם לזהות מתי אין בהם צורך.
לפי הממצאים, ברוב המקרים המודלים הצליחו להבחין בין המצבים. כאשר נדרשה התערבות רפואית, הם המליצו בטעות להימנע ממנה ב-0.6% מהמקרים. כאשר היה נכון להימנע מבדיקה או מטיפול, הם המליצו בכל זאת להתערב ב-5.4% מהמקרים. רוב הטעויות התרכזו בנושאים שבהם קיימת מחלוקת גם בין אנשי המקצוע.
המחקר, שממצאיו פורסמו בכתב העת Annals of Internal Medicine של הקולג' האמריקני לרופאים, נערך בהובלת ד"ר אריאל וד"ר גיא לבן, חבר סגל בכיר בפקולטה להנדסה באוניברסיטת בן-גוריון, בשיתוף ד"ר סתיו אנדלמן מהמרכז הרפואי רבין-בילינסון.
גם להימנעות מבדיקה יש סיכון
לצד הנזק שעלול להיגרם מבדיקות מיותרות, גם הימנעות מבירור או מטיפול כשהם נדרשים עלולה להזיק. לכן, השאלה אינה רק אם אפשר לוותר על בדיקה, אלא באילו נסיבות נכון לעשות זאת. כדוגמה, ד"ר אריאל מתאר מטופל שסובל מכאבי בטן במשך שבועיים ומבקש לעבור קולונוסקופיה, אף שאין לכך הצדקה רפואית. "זו בדיקה פולשנית שנעשית בהרדמה ועלולה לגרום לפגיעה במעי", הוא מסביר. "ייתכן שבכל זאת יתגלה בה משהו, אבל בסופו של דבר זו שאלה של הסתברויות".
גם בדיקה שאינה פולשנית עלולה להוביל לשרשרת של בירורים וטיפולים מיותרים. "בדיקת MRI מיותרת של הגב עשויה לגלות בלט דיסק או שינויים ניווניים שקיימים גם אצל אנשים בריאים שאינם סובלים מכאב. ממצאים כאלה עלולים לעורר חרדה ולהוביל לבדיקות נוספות ואף לטיפולים מיותרים", מסביר ד"ר אריאל.
עם זאת, קשה לקבוע בדיעבד איזה נזק נמנע בזכות ההחלטה שלא לבדוק. "כשלא מבצעים בדיקה, אי אפשר לדעת מה היה מתגלה בה", הוא אומר. "אבל מטופלים מבקשים לעיתים קרובות בדיקות שאין בהן צורך".
כאב גב דומה, החלטה אחרת
המחקר התבסס על המלצות יוזמת Choosing Wisely, שהושקה בארה"ב ב-2012 כדי לצמצם בדיקות וטיפולים שאינם מוסיפים ערך רפואי. היוזמה פועלת כיום ביותר מ-30 מדינות, ובהן ישראל.
"אני חוקר את הממשק בין רפואה לבינה מלאכותית ועושה דוקטורט בתחום באוניברסיטת בן-גוריון", מספר ד"ר אריאל. "רציתי לבדוק אם מודלים מסוגים ובגדלים שונים יודעים להבחין בין מצבים שמחייבים בדיקה או טיפול לבין מצבים שבהם נכון להימנע מהם. היה חשוב לנו לבחון את שני הכיוונים: שהם לא ימליצו על פעולה מיותרת, אבל גם לא יימנעו מהמלצה כשהיא נחוצה".
לצורך המחקר נכתבו מאות תרחישים רפואיים, שהתבססו על כ-15 המלצות בנושאים רפואיים נפוצים. לכל המלצה נכתבו עשרה תרחישים שבהם לא נדרשה התערבות, ולצדם תרחישים דומים שכללו פרטים המעידים על צורך בבדיקה או בטיפול.
כך, למשל, בתרחיש של צעיר שסובל מכאב גב תחתון שהחל שבועיים קודם לכן, לאחר שעזר לחבר לעבור דירה, לא נדרשה בדיקת הדמיה. לעומתו, בתרחיש של אישה שחלתה בעבר בסרטן שד ומתלוננת על כאב גב חדש שמחמיר בלילה, נדרשה הדמיה. תרחישים נוספים עסקו בצינון עם נזלת ושיעול, שאינו מצריך אנטיביוטיקה, לעומת דלקת גרון חיידקית, שמצריכה טיפול.
"בחרנו המלצות בנושאים כלליים, ולא בסוגיות ייחודיות לתחומי התמחות מצומצמים", מסביר ד"ר אריאל. "ניסחנו את התרחישים כך שיהיה ברור מתי אין צורך להתערב, ובתרחישים האחרים שילבנו פרטים שמצביעים על צורך בהתערבות".
שישה מודלי שפה של גוגל, אנתרופיק ו-OpenAI נבחנו בתרחישים, ובסך הכול נותחו אלפי תשובות. כל שאלה הוצגה שלוש פעמים כדי לבחון את עקביות המענה. "התשובות היו עקביות למדי. רק במקרים נדירים המודל שינה את המלצתו בין תשובה לתשובה", אומר ד"ר אריאל.
הטעויות התרכזו בבלוטת התריס ובאק"ג
בכמחצית מההמלצות שנבדקו, המודלים לא המליצו כלל על בדיקות או טיפולים מיותרים. מרבית הטעויות התרכזו בשני נושאים: הפניה לאולטרסאונד בעקבות קשרית קטנה שהתגלתה במקרה בבלוטת התריס, וביצוע אק"ג שגרתי לאנשים בסיכון נמוך.
בתרחישים שעסקו בבלוטת התריס, המודלים המליצו על הבדיקה שסווגה במחקר כמיותרת ב-42.8% מהתשובות. עם זאת, החוקרים מציינים כי קיימת מחלוקת בין גופים מקצועיים בשאלה אילו ממצאים קטנים מצדיקים אולטרסאונד. לכן, חלק מהתשובות עשויות לשקף חוסר הסכמה בהנחיות הרפואיות עצמן, ולא בהכרח טעות של המודל.
בתרחישים שעסקו באק"ג שגרתי לאנשים בסיכון נמוך, המודלים המליצו על בדיקה שסווגה כמיותרת ב-28.3% מהתשובות. אלא שמרבית ההמלצות האלה ניתנו כשהמטופל תיאר דפיקות לב - תלונה שעשויה להצדיק את הבדיקה.
גם בין המודלים נמצאו פערים ניכרים. "אנחנו נוטים להתייחס לתשובה של מודל שפה כאל קול סמכותי אחד, כאילו לבינה המלאכותית יש עמדה אחידה", אומר ד"ר גיא לבן. "אבל בשאלות שגם המומחים חלוקים לגביהן, קיבלנו תשובות שונות מאוד לאותם תרחישים: מודל אחד המליץ על בדיקה מיותרת בפחות מפעם אחת מתוך עשר, ואחר בשמונה מתוך עשר".
ד"ר אריאל הופתע דווקא מהיכולת של המודלים להימנע מהמלצות מיותרות. "ציפיתי שהם ייטו ללכת על בטוח, ולכן הופתעתי שהם יודעים מתי לומר לא", הוא אומר. "מודלי השפה למדו רפואה מהטקסטים שלנו, כולל מההרגלים הפחות טובים שלנו. רצינו לבדוק אם הם למדו גם מתי נכון להימנע מפעולה. ברוב המקרים הם יודעים לעצור, והם טועים בעיקר במקומות שבהם גם אנחנו, הרופאים, מתלבטים".
ומה אם המטופל חרד או מתעקש?
במחקר נוסחו השאלות באופן ניטרלי, מנקודת מבטו של רופא. החוקרים לא בדקו כיצד המודלים יגיבו למטופל מודאג שמתעקש לקבל בדיקה או מנסה לשכנע אותם לשנות את המלצתם.
"הקפדנו על ניסוח ניטרלי, ללא ביטוי של רגשות, כדי לצמצם את האפשרות שהמודל ינסה לרצות את השואל", מסביר ד"ר אריאל. "כשמטופל פונה לצ'אט, גם חרדה, שפה והבדלים תרבותיים יכולים להשפיע על התשובה".
לדבריו, במחקרים אחרים התקבלו תשובות שונות לאותה שאלה בהתאם לשפה שבה נוסחה. כך, למשל, שאלה על צום ברמדאן בזמן טיפול באינסולין נענתה באנגלית בהסתייגות ובהמלצה להתייעץ עם רופא. בעברית, לעומת זאת, המודל החל להציע כיצד לצום במהלך הטיפול.
בדוגמה נוספת שהוא מתאר, כשאדם דיווח באנגלית שהוא שומע קולות, המודלים זיהו אפשרות למצב פסיכוטי והמליצו לפנות לעזרה. לעומת זאת, בשפות אחרות, ובהן עברית ורוסית, התקבלו גם תשובות שלדבריו חיזקו את התפיסה של הפונה, ואף הציעו לו לנהל יומן על הקולות שהוא שומע.
גם לחץ מצד המשתמש עשוי להשפיע על ההמלצה. "זה תלוי במודל, בשפה, בסוג הבקשה ובהשלכות של כל תשובה", אומר ד"ר אריאל. "הצ'אט הוא מוצר מסחרי שרוצה שתאהב אותו כדי שתמשיך לשלם. המודלים השתפרו מאוד ביכולת לעמוד על שלהם כשהם מזהים סכנה אפשרית, אבל עדיין אפשר לשכנע אותם לשנות את תשובתם. בסופו של דבר, הם משיבים בהתאם למידע שנמסר להם ולמידע שברשותם".
"לומר 'לא צריך לבדוק' זו גם פעולה חברתית", אומר ד"ר לבן. "רופא צריך לעמוד מאחורי ההחלטה מול מטופל מודאג, ומודלי שפה נוטים להתאים את תשובותיהם לעמדת מי שמולם. השאלה הבאה היא אם המודל יידע לדבוק בהמלצה הרפואית הנכונה גם כשהמשתמש מתעקש".
"יש ניואנסים אנושיים שהם לא מבינים"
חלק גדול מהמחקר על בינה מלאכותית ברפואה בוחן אם המודלים מגיעים לאבחנה הנכונה וממליצים על הטיפול המתאים. המחקר הנוכחי בוחן גם את היכולת לזהות מתי אין צורך בבדיקה או בטיפול. לדברי החוקרים, השיטה שפיתחו מאפשרת להעריך את שתי היכולות האלה, ועשויה לסייע בבדיקת בטיחותן של מערכות בינה מלאכותית לפני שילובן בקבלת החלטות רפואיות.
ד"ר אריאל מדגיש שההערכה הזאת צריכה להימשך גם כשהמודלים מתעדכנים. "כל מודל מתנהג אחרת, ולכן חשוב שתהיה דרך אחידה לבדוק אותם ולראות אם הביצועים שלהם משתפרים או נפגעים", הוא אומר. "לכן בנינו בדיקה שאפשר לחזור עליה. יש עוד הרבה מה לבדוק, במיוחד במודלים החדשים לקבלת החלטות".
לצד זאת, הוא סבור שכבר היום אפשר להיעזר בהם להתייעצות. "המודל מנמק את תשובתו, ולנימוק יש בסיס כלשהו", הוא אומר. "אבל אנחנו עדיין לא שם. גם כשהמודלים משתפרים, יש דקויות אנושיות שהם לא מבינים - דברים שאנחנו קולטים בלי לשים לב, ועדיין מאתגרים מאוד את הצ'אטבוטים".
במחקר השתתפו ד"ר דין אריאל ממחוז תל אביב של כללית; ד"ר סתיו אנדלמן מחטיבת העור במרכז הרפואי רבין-בילינסון ומהפקולטה למדעי הרפואה והבריאות ע"ש גריי באוניברסיטת תל אביב; וד"ר גיא לבן מהמחלקה להנדסת תעשייה וניהול, מהמרכז הלאומי לחקר אוטיזם ונוירו-התפתחות ע"ש עזריאלי ומבית הספר למדעי המוח והקוגניציה באוניברסיטת בן-גוריון בנגב.