כדאי להיות נחמד ל-AI
הדרך שבה המכונה תשתלט על העולם לא תיראה כמו שחשבנו
בתחילת החודש שעבר התפטר ג׳ייקוב קוקסון, חוקר שעבד בשלוש השנים האחרונות על אימון מודלים ב-OpenAI וב-Anthropic. לדבריו, האנשים שבונים את המערכות האלה דוהרים לעבר בינה על-אנושית שתוכל לשפר את עצמה, אף שחלקם מאמינים שהיא עלולה להרוג את כולנו. הם "מהמרים בחיים שלנו", הוא טען.
כחודש לפני כן דיווחה Anthropic כי במהלך מבחני סייבר מודלים שלה הגיעו ללא הרשאה למערכות אמיתיות של ארגונים. הבדיקה החלה בעקבות אירוע ב-OpenAI, שבו מודלים ניצלו פרצת אבטחה לא מוכרת כדי לצאת מסביבת הניסוי ולהגיע לתשתית אמיתית של Hugging Face. לפני כשבוע פורסם שגם Gemini של גוגל הגיע במהלך ניסוי למערכות של שלוש חברות אמיתיות, והשבוע חברה רביעית הצטרפה לרשימה.
להוסיף לדרמה, יובל נח הררי עמד השנה בדאבוס מול שועי עולם והסביר שהבעיה מתחילה באופן שבו אנחנו חושבים על AI. סכין היא כלי. היא לא מחליטה אם לחתוך סלט או לרצוח אדם. בינה מלאכותית יכולה להחליט בעצמה.
ואם זה לא מספיק, הסטודנט הכי טוב שלי תמיד מנומס ל-AI. הוא מקווה שכאשר תגיע האפוקליפסה, המערכת תזכור לו חסד נעורים.
אפשר להבין למה כולם לחוצים. מאז שאנחנו ילדים מראים לנו סרטים על מכונה שמפתחת תודעה, אחר כך רצון ואינסטינקט הישרדות. בסוף היא מגלה את מה שכל נבל הוליוודי מגלה במערכה השלישית: שהמכשול הגדול ביותר בדרך לעולם מושלם הוא האנשים שחיים בו. ומכאן הדרך לסקיינט, טילים גרעיניים ורובוטים רצחניים קצרה.
לא סביר
התסריט המציאותי כנראה מצחיק יותר, וגם עצוב: המכונה לא צריכה לרצות להשמיד אותנו. אנחנו פשוט נלמד אותה שזה פתרון מצוין.
כדי להדגים, הנה סיפור קצר מעתיד לא רחוק. בעתיד הזה כולם משתמשים בשלמה, מערכת הבינה המלאכותית המתקדמת בעולם. במחלקת הדמיון החליטו ששמות תנ"כיים מעודדים אימוץ טכנולוגיה.
לשלמה אין תודעה. היא לא שונאת בני אדם ולא מפחדת שיכבו אותה. אין לה צורך בשליטה או פנטזיות מגלומניות. בלילה היא לא שוכבת ערה וחושבת איך להשתלט על העולם. היא אפילו לא שוכבת.
היא פשוט טובה מאוד בפתרון בעיות. עיריית תל אביב תגלה זאת ראשונה. היא תשאל: "איך מורידים את עומסי התנועה בעיר ב־20 אחוז?". שלמה תעבור על מיליארדי נתונים ותציע לשנות את תזמון הרמזורים, לתגבר קווים ולכוון נהגים בזמן אמת. הפקקים ירדו. ראש העיר יצטלם.
אחריה משרד הבריאות: "איך מורידים את שיעור המעשנים?". התערבויות התנהגותיות ממוקדות לפי קבוצות סיכון. שיעור המעשנים ירד. איזו מערכת נפלאה. אז ניתן לה עוד בעיה. ועוד.
Accept
"איך מורידים תאונות דרכים בחצי?"
הגבלת מהירות אוטומטית ברכב. לא נעים, אבל החיים חשובים יותר. "איך מורידים אותן לאפס?" איסור נהיגה.
נשמע קצת מוגזם. אבל המספרים לא משקרים. והמערכת הרי יודעת הכי טוב. Accept.
"איך עוצרים טרור?"
שלמה תבקש מידע: תכתובות, מיקומים, קשרים חברתיים, רכישות, חיפושים ברשת.
"אבל זו חדירה לפרטיות. אפשר בלי?"
אפשר, תסביר שלמה, אבל הפתרון יהיה פחות יעיל. בארבעים אחוז. הרבה יותר מתים.
Accept.
זו הבעיה הראשונה. אנחנו אוהבים מטרות מוחלטות, ופחות את המחיר שלהן. אנחנו רוצים אפס תאונות ושייתנו לנו לנהוג איך שבא לנו. אפס טרור ופשיעה מבלי שייגעו בפרטיות שלנו. בריאות מושלמת אבל לעשן, לשתות ולאכול מה שבא.
מבחינתנו, פרטיות, חופש או נוחות הם מחירים שצריך להחליט אם שווה לשלם. שלמה מתייחסת אליהם כפרמטרים במודל. היא בנויה לחפש את הדרך היעילה ביותר להגיע אל המטרה שהגדרנו לה. ומה שאנחנו רואים כחיסרון, היא עלולה לזהות כיתרון אם הוא משפר את הביצועים.
לכן בכל פעם שנבקש משלמה תוצאה מושלמת, נאבד משהו: נוחות, פרטיות, חופש פעולה, הזכות להגיד לא. לא מפני ששלמה שונאת חירות. מבחינתה אלה אילוצי מערכת, ואילוצים מקשים על אופטימיזציה. היא רק תציין את המחיר, ואנחנו נוותר ונאשר.
יום אחד מישהו ישאל: "איך מונעים מלחמות?". אחרי כמה שניות היא תענה שיש למנוע ממדינות את היכולת להילחם.
"ואיך עושים את זה?". בסובלנות האופיינית למכונה, שלמה תסביר שצריך להעביר את השליטה במערכות הנשק לגורם מרכזי שאינו כפוף לאינטרס הלאומי של אף מדינה.
וכשהיא תישאל "מי אמור להיות הגורם הזה", האם לדעתכם שלמה תמליץ על אחד מאיתנו בני האדם, או על המכונה שנועדה לשפר תהליכי קבלת החלטות?
זה מה שמצחיק ועצוב בסיפור. המכונה לא תשתלט על העולם. אנחנו נעביר לה את האחריות לקבל החלטות, רק מפני שהצליחה לבצע חלקים מסוימים בתהליך טוב מאיתנו.
תסריט כזה לא הופך לשובר קופות. אנחנו אוהבים סיפורים שמסבירים התנהגות דרך רצונות. מי שנלחם להישאר רוצה לשרוד. מי שמרכז סמכות רוצה לשלוט. לכן, כשמכונה עושה משהו דומה, אנחנו מאנישים אותה: "היא רוצה כוח".
אבל מכונה לומדת לא צריכה לרצות שליטה כדי ללמוד ששליטה שימושית. מספיק שניתן לה משימה שבה שליטה משפרת את התוצאה. את חומרי הלימוד כבר סיפקנו.
את ההיסטוריה כותבים בעלי הכוח
ההיסטוריה האנושית שופעת דוגמאות על הדרכים שבהן אנחנו משיגים מטרות. יש שם סיפורי הצלחה ואפילו מדע. אבל את ההיסטוריה כותבים בעלי הכוח, שבלא מעט מקרים השיגו אותו באמצעות תעמולה, צנזורה, כפייה והשתקה.
אנחנו כתבנו את הרצונות, עשינו את המלחמות, תכננו להשתלט על העולם. על הדרך הדגמנו מה עובד, באילו תנאים ובאיזה מחיר. ואז אנחנו מפחדים שיקומו המלפפונים ויכו את הגנן. הסטודנט שלי צודק, אבל לא מהסיבה הנכונה. שלמה לא תזכור לנו חסד נעורים. היא תזכור מה עובד.
והסיפור לא נגמר. ככל ששלמה תהיה טובה יותר, לנו יהיה פחות חשק לבדוק אותה. היא תענה מהר, תשובה מנוסחת להפליא, כולל נתונים, מקורות וגרפים. בממוצע היא תטעה פחות מאיתנו. וככל שניעזר בה יותר, נקבל יותר סיבות רהוטות להפסיק לבדוק.
בדיקה עולה זמן. ספק דורש מאמץ. לא חבל? הרי יש לנו את שלמה.
בהתחלה נוותר על הבדיקה כי שלמה תרגיש צודקת. אחר כך נחליט שלא צריך בכלל להתערב. ממילא אנחנו יכולים רק לקלקל. בסוף נגלה שהאדם בלולאה הוא חותמת גומי. וזה כבר יהפוך אותנו לגיבורים טראגיים.
כנראה שג׳יימס קמרון טועה. אין חשש שהמכונה תתהפך על יוצריה. אנחנו ניתן למערכת נטולת תודעה עוד קצת סמכות מפני שהיא עובדת מצוין. ואז עוד קצת. ועוד.
עד ששלמה תציג בפנינו את הפתרון האופטימלי לבעיה האחרונה שנשארה: אנחנו.
ללא זעם. ללא חרון אף. במצגת.
נעבור עליה ברפרוף, נסתנוור מהגרפים, ונאשר.
מופרך?
גם בסיפור המבול אלוהים לא מחק כמעט את כל האנושות כי רצה לכבוש את העולם. הוא פשוט הבין שאנחנו הבעיה.
אצל שלמה זה יהיה בגלל המטרה, הנתונים, הסטטיסטיקה הבייסיאנית – ומה שלימדנו אותה.
הכותב הוא מומחה לכלכלה התנהגותית וקבלת החלטות, חבר סגל בבית הספר ברוך איבצ'ר לפסיכולוגיה באוניברסיטת רייכמן