פרק 4: כן אדוני הבוט, עם ד”ר ליאור זלמנסון

_{.אנחנו בעצמנו הופכים לסוג של בוטים
.אנחנו הופכים למה שאנחנו דמיינו כמכונה כל השנים
ד”ר ליאור זלמנסון}

בפרק שעבר דיברנו על מלאכים כתקדים לבינה מלאכותית והצענו את האפשרות שאנחנו בעצם סומכים על אלגוריתמים מסיבות תאולוגיות מובלעות. בפרק הנוכחי נדון בנוכחות ההולכת וגוברת של סוכנים אלגוריתמיים המושלים בחיינו ומנהלים היבטים רבים בהם. נבין מדוע אנחנו מקבלים אותם בזרועות פתוחות, מה הם באמת עושים עבורנו ואיפה זה שם אותנו ביחס אליהם, ובייחוד מה המשמעות של כל זה לעתיד התעסוקתי, הפוליטי, והאנושי שלנו. לשם כך נארח את ד”ר ליאור זלמנסון חוקר התנהגות משתמשים בסביבות וירטואליות בפקולטה לניהול ע”ש קולר באונ’ ת”א 

---

ב1944 לאחר מלחמת העולם השנייה, המתמטיקאי ג’ון פון נוימן, ממציא המחשב, כתב יחד עם פרופ’ אחר מאוניברסיטת פרינסטון מכתב אזהרה לממשל האמריקני. הם טענו שאף מערכת אנושית או פוליטית לא הייתה מסוגלת עד כה לקבל החלטות רציונליות שמתאימות לעולם המורכב והמשתנה במהירות שאנו חיים בו (לראיה שתי מלחמות עולם בתוך חצי מאה) ואולי כדאי להסתמך מעתה על מתמטיקה לקבלת החלטות. ג’ורג קינן שהיה מדען מדינה ושגריר ארה”ב ברוסיה, הסכים עם הטענה והוסיף כי בסביבה טכנולוגית מורכבת, לאדם הסביר קשה לדעת מה טוב עבורו. הוא הביע חשש שהדמוקרטיה היא חסרת אונים בפני טכנולוגיות נשק גרעיני חדשות ושיש צורך בהחלטה חותכת מיידית וזריזה, שאינה נתונה לגחמות אנושיות. במילים אחרות, את ההחלטה ללחוץ על הכפתור האדום שמזניק ראש חץ גרעיני אסור להותיר בידי גנרל חמום מזג או פוליטיקאי מבוהל שמנסה לרצות את הבוחרים שלו. ההחלטה צריכה להיות ממוחשבת, אוטומטית, שקולה, ואפילו חשבו אז, ללא מנגנון שמאפשר לבן אדם לעקוף את ההחלטה באופן ידני, כי אז שוב הכנסנו רגשות ושיקולים אנושיים זרים למערכת

היסטוריונים של המדע מזהים את הרגע הזה בראשית המלחמה הקרה, כנקודת ההתחלה המודרנית של ההסתמכות שלנו על אלגוריתמים. בפרק שעבר סיפרנו כי אינטליגנציה היא תכונה שיוחסה מלכתחילה למלאכים ולא לבני אנוש, והנה  גם בני האדם כעת עושים חשבון נפש, מתחילים לפקפק בכך שהם בכלל ישות רציונלית ולא סומכים על עצמם בקבלת החלטה הרת גורל, מה שאכן מקבל מאוחר יותר חותמת אקדמית בדמות פרס נובל למחקרם של כהנמן וטברסקי, שמראים שאיננו יצורים רציונליים במיוחד. החרדה וחוסר הודאות של המלחמה הקרה, דוחפת את האמריקאים לשים את מבטחם במתמטיקה ולהתחיל לפתח את תורת המשחקים ומודלים מתמטיים נוספים עוד לפני שהמחשבים מספקים להם את היכולות הנדרשות. גם בתרבויות הנגד בשנות ה60 וגם כיום בימים של שחיתות שלטונית ומנהיגות בלתי רציונלית זה קל לאבד אמון בפוליטיקה ולשים את מבטחנו במדע, הנדסה ומתמטיקה מתוך מחשבה שהם ניחנים בטבע אובייקטיבי מסוים 

אני פונה לאורח שלנו ד”ר ליאור זלמנסון. מהם התפקידים המרכזיים שאלגוריתמים ממלאים בחיינו כיום? ואלו השלכות כבר יש לכך שאולי לא צפינו

אלגוריתמים בעסקים ובחיינו הפרטיים היו בד”כ בתפקיד המסורתי של לעזור לנו לקבל החלטות יותר טובות. הדוגמא הקלאסית בימינו היא ווייז. האלגוריתם לא נוסע בשבילנו אבל עוזר לנו לקבל החלטה טובה יותר לאן ואיך כדאי לנסוע. אבל בשנים האחרונות אנחנו רואים שאלגוריתמים משחקים בעוד תפקידים שמשפיעים בצורה דרסטית על חיינו. תפקיד ראשון הוא התפקדי של מתווך. אתר בוקינג.קום למשל החליף את הסוכנות בצד השני של הרחוב. פעם היו את כל החברות שמייצגות מוזיקאים וכיום המוזיקאי יכול ליצור לסאונדקלאוס וספוטיפיי ולהיות בקשר ישיר עם הקהל. אבל, וזה אבל ממש חשוב, זה לא שנעלם התיווך. האלגוריתם עדיין מתווך וספציפית הפלטפורמה שהוא עובד בה.  ספוטיפי עדיין מקבלת החלטות שעל פיהן היא מעצבת את האלגוריתם שלה ויכולה לכאורה להפלות אמנים מסוימים ולהתנות את ההמלצה או החשיפה שלהם בתנאים כלשהם, שלא תמיד המוזיקאים מודעים אליהם. למשל היא יכולה להחליט, ואכן הייתה החלטה כזו לא מזמן, שהיא משנה את כמות השניות שצריך להקשיב בשיר על מנת שהמוזיקאי יתוגמל, וכך היא גורמת למוזיקאים לשנות את הדרך בה הם עושים שירים, כי אם אתה מקבל כסף רק אם שמעו את השיר שלך 30 שניות ולא 10 שניות, אז אתה תדאג שבשלושים השניות הראשונות תייצר שיר עם “הוק” מאד חזק, ישר לפזמון, ישר לאקשן, לא תייצר פתיח ארוך ומתמשך. אז זו רק דוגמא אנקדוטלית אחת לדרך שבה האלגוריתם הזה מתווך ובכל זאת משפיע עלינו דרך התפקיד הזה, הוא עדיין סוכן במובן הזה

תפקיד אחר שהאלגוריתם לקח עצמו בעידן הזה זה תפקיד של בוס. וזה דבר מעניין כי במדע הבדיוני אנחנו כן מדמיינים לפעמים את האלגוריתם כאיזה אלוהים, כבוס הגדול, אבל האמת שהבוס שהאלגוריתם מחליף הוא אותו בוס זוטר, ממש מנהל פיתוח או מנהל קו יצור. הדוגמא הנפוצה ביותר היא חברות כגון אובר או וולט. בשתי החברות האלו, לנהגים אין עובד חברה שאחראי עליהם, מנהל תחנת מוניות כמו פעם. הם בעצם נשלטים ע”י מנהל אלגוריתמי לכל דבר, והמנהל הזה קובע את השיבוץ, קובע אם הם עמדו בתנאים של החברה או אם מגיעה להם סנקציה או עונש, כמו למשל העפה מהשירות. כל זה קורה ע”י בוס אלגוריתמי ובד”כ עובדי החברה הבכירים בכלל לא מודעים לכל מה שקורה אלא אם קרתה אסקלציה (הסלמה – כ.ו) והעובד מחליט להתלונן לתקשורת או לפנות לקו פניות לעובדים. בד”כ ההחלטות האלו הן לגמרי של הבוס הממוחשב

כרמל: והבוס האלגוריתמי אולי מדויק וחסר אינטרסים פוליטיים אבל בדיוק בגלל זה הוא גם לא נגיש, לא מסביר את עצמו, לא מתחשב, והנה ממש לאחרונה שמענו שעובדי אובר תובעים את החברה כדי לקבל גישה לקוד של האלגוריתם, כדי להבין את השיקולים שלו ואיך הם מתקבלים על בסיס הדאטא שהוא אוסף עליהם. זו המקבילה הנוכחית של לדרוש שיחת משוב מהבוס ולתבוע הסברים מההנהלה

ליאור: הבוס החדש שלנו בשטח הוא הרבה פעמים האלגוריתם והוא מפעיל אותנו כמו שהפעילו פעם בפורד ובטיילוריזם וכל הגרסאות האלו של העבודה – שהעובד הוא סוג של רובוט משוכלל

כרמל: כל ה”גיג אקונומי” הזה באמת מרתק כי במאה ה19 הפועלים חששו שהם יוחלפו על ידי מכונות אבל בפועל, כמו שציינת, דווקא הדרג הניהולי הוא זה שמוחלף ובני האדם דווקא נדחקים למעמד הפועלים, לעבודות פיזיות שאלגוריתמים לא יכולים לעשות בהעדר גוף, והרובוטיקה עוד לא מספיק מתקדמת ו/או יקרה מדי מכדי לעשות את זה. הגוף האנושי הוא המשאב הזול עכשיו. אנחנו עלולים להגיע למצב שהטכנולוגיה מאד יקרה ושומרים דווקא עליה, בעוד שחיי אדם, חיי הפועלים, הם אלו שהופכים זולים וברי תחליף. אבל סטיתי פה. בוא נחזור רגע לאלגוריתמים, הסוכנים חסרי הגוף לעת עתה, ונדבר רגע על המושג הזה סוכנות, אייג’נסי– עד כמה באמת אפשר להתייחס לאלגוריתמים כסוכנים

ליאור: האלגוריתם משמש כסוכן שלנו במובן המסורתי שהוא מייצג אותנו ויוצא לפעול באופן אוטונומי. תשאלו למה אוטונומי הרי יש לו מתכנת או אדון שפועל לפי רצונותיו, אבל לרוב המתכנתים מגדירים רק את כללי הקצה או הכלליים ביותר, בעוד שהאלגוריתם צריך לתפקד בקצב עצום לתפעל מספר גדול של גורמים ופרמטרים ועובדים בשטח, ויוצא לא מעט שהוא צריך לקבל החלטות שהמעביד שלו לא שיער. זה יכול להיות בתחום של אלגו-טריידינג, אלגוריתמים בשימוש של בנקאות ובורסה, שאלגוריתם צריך להחליט עכשיו תוך מילי-שניות אם לקנות או למכור אז כן בהחלט יש חוקיות מסוימת שתוכנתה לו ע”י האדם, אך המהירות, הקצב, וההיקף של העסקאות, מייצרות מציאות חדשה, ואז אנחנו שומעים לפעמים על קראש שהאלגוריתם יצר בבורסה. לפעמים האלגוריתמים מדברים ומתממשקים ביניהם וכתוצאה מהאינטראקציות הלא צפויות הללו יכולה להיות התנהגות שלא ציפינו לה כשעשינו את בדיקות המערכת על האלגוריתם. אז קשה לדבר על האלגוריתם כבעל רצון חופשי במובן הפילוסופי, אבל בסופו של דבר יש לו איזושהי אוטונומיה, הוא מביע את הרצון שלו, שכן תוכנת לו בבסיס, אבל בפועל יכול להגיע למקומות שלא צפינו אותם

כרמל: דוגמת המסחר האלגוריתמי בבורסה שנתת, היא דוגמא לכך שיצרנו עולם של מורכבות, מהירויות וקני מידה שהם באמת על אנושיים ואנחנו באמת לא מסוגלים לנהל את זה בכוחות עצמנו כבר, זה מחוץ לשליטתנו. אז מה המשמעות של עולם כזה

ליאור: המשמעות היא שאנחנו מסתובבים בעולם ואלגוריתמים מייצגים אותנו, והרבה פעמים האלגוריתם שלי והאלגוריתם שלך יצטרכו לדבר ביניהם ולהגיע להבנה לגבי המצב של שנינו. זה הופך להיות עולם של ייצוגים וסוכנויות. תחשבי למשל על האלגוריתם שגוגל השיקו לא מזמן, גוגל דופלקס, והוא יקבע פגישות עבורנו. אז אנחנו נותנים המון אמון והופכים תלויים ברצון ובכוונות של האלגוריתם הזה שכאמור לא נעשה בהכרח על ידינו אלא תוכנת ועוצב על ידי פלטפורמות ענק. וגם לא תמיד האדם השני מודע, בדוגמא הזו של גוגל שהאלגוריתם הזה עשה שיחת טלפון, כמדומני קבע פגישה לספר או מקום במסעדה, לא תמיד יש גילוי נאות אם אני מדבר עכשיו עם אדם או מכונה. הדבר הזה בעיני מעלה המון שאלות סביב הוגנות והטעיית הציבור וגם במובן הפילוסופיה הרחב ביותר הוא מאתגר את ההבדלים בינינו לבין “אחינו” הלא אנושיים  

You don’t know what you seek
but you just want me to believe
But I see the world much different than you see
So why don’t you take those countering believes
and stick’m when the sun won’t see
Cuz you are such a different breed than me
You know, you are such a different breed than me
So take a walk on down the street, let’s see if we ever meet

Daniel tyler Pohnke

יש לנו פה עסק עם זן אחר באמת, שרואה את עולמנו אחרת, אם אפשר בכלל להשתמש בפועל ראייה

הוא לא משתמש באינפוט חושי או רגשי בשלב הזה. אחת הבעיות שנהגי אובר מתמודדים איתם למשל זה שהטיעון חייב להישאר מאד רציונלי. האלגוריתם מבין דאטה, אתה רוצה להוכיח שהאלגוריתם טעה? תראה שהדאטה לא נכון, תראה דאטה שסותר, במובן הזה זה קצת דומה לאיך שמדענים מתווכחים זה עם זה ויש בזה משהו טוב שזה לא מוטה בקלות, זה רציונלי, ענייני, ולא פתוח למניפולציות. אבל אם מסתכלים על מה שקרה בעולם העבודה של המאה ה20 ובטח במאה ה-21, זה עולם מאד רגשי ותקשורתי. כל הנושא של משאבי אנוש מקדש את העובד ואת זה שהוא ירגיש בנוח, כלומר שיח הרגשות מאד נכנס, והדבר הזה עלול להיעלם כי האלגוריתם, לפחות כרגע, לא מדבר בשפה רגשית ולא באמת טוב בלזהות רגשות, ולכן אם לעובד האובר אין טיעון רציונלי, הוא פשוט נפגע ומרגיש אפליה, עבור איש משאבי האנוש של ימינו זה מספיק חשוב, כי הוא רוצה עובד מרוצה שירגיש בנוח ומייצג את החברה באהבה, נאמנות, ומחויבות. אבל עבור האלגוריתם זה ממש לא משנה, ולכן האלגוריתם כנראה יפלה אותו או יתייחס אליו בצורה שאנחנו מגדירים לא אנושית.

ובמובן מסוים הסוכן הזה באמת מונע מאתנו הרבה אי נעימויות, יש את מי להאשים, יש תמיד למי לפנות אם משהו לא היה בסדר, לא צריך להגיע לסיטואציות לא נעימות. לדוגמא אני חושב אפילו על האלגוריתם שעוזר לי לבקש כסף מחברים, כל המימון המונים, הוא בעצם נמצא שם באמצע ושולח בשבילי את ההודעה “האם תרצה להשתתף בקמפיין שלי?” אני לא צריך לעשות את זה בצורה אישית, שוב, לפחות לא באותה מידה של אנרגיה. אז הסוכנים מאד עוזרים לנו אבל המחיר שאנחנו משלמים (או לפחות המחיר שאנחנו יודעים עליו, כי אני חושב שאנחנו לא יודעים עדיין את המחיר המלא) זו איזושהי מידה של אתגר של האנושיות שלנו, ואיזושהי הפחתה בחשיבות של התחושה והרגש בקבלת החלטות, שלפחות כשזה נוגע לאינדיבידואלים זה דבר מאד חשוב

כרמל: זה עניין מוסרי. יובל דרור כתב על זה שקבלת החלטה במובן הפילוסופי מערבת מעבר דרך אי ידיעה עמוקה וחוסר וודאות תהומי, ההחלטה היא הרת גורל כמו ההחלטה התנכית של אברהם האם לעקוד או לא לעקוד את הבן שלו, זה יש מאין, זה מתקבל בחלל כאוטי ואולי לעולם לא תדע אם זה היה הדבר הנכון. זה לא מה שאלגוריתם עושה. הוא “מחליט” במירכאות בלבד במובן המטאפורי, בוחר בין אפשרויות שכבר קיימות את הנתיב או התמהיל האופטימלי, יש לו מודל חישובי, אין להחלטה שום משמעות מוסרית, שזה מה שבונה והורס בני אדם, וזה משהו שאם לוקחים אותו מהאדם אז אתה צודק, הוא נעשה פחות אנושי. ומהמקום הזה גם מגיעים הדיונים עד כמה ניתן, אם בכלל, להטיל אחריות מוסרית על אלגוריתם. אז זה באמת לא חדש שיש לנו סוכנים כאלה בעולם אבל אולי מה שחדש פה זה כמה אנחנו יותר ויותר נאציל להם סמכויות ונבזר בעצמנו את הסוכנות שלנו – אנחנו בעצם עושים אאוטסורסינג ליכולת הפעולה המוסרית שלנו בעולם

ליאור: ככל שיש יותר סוכנויות אלגוריתמיות אנחנו למעשה פחות “פועלים” ופחות מפעילים את הסוכנות שלנו. אנחנו בעצמנו הופכים לסוג של בוטים. אנחנו הופכים למה שאנחנו דמיינו כמכונה כל השנים. במחקרים עכשיו על בוטים והפצת שקרים בטוויטר, רואים שהרבה פעמים אלו שמפיצים הכי הרבה הם לא בוטים טהורים, הם אנשים כבר שמופעלים על ידי תוכנות ששולחות להם ע”י פוליטיקאים או לוביסטים כל מני מסרים, והם הופכים להיות צינור העברה. הם לא רובוטים במאה אחוז אבל הם בוטים לכל דבר ועניין. האלגוריתמים אמורים לחסוך לנו בעולם המורכב והמהיר בו אנחנו חיים, אבל זה גם במהירות יכול לעבור את הגבול כי הם עלולים לחסוך לנו את מה שצריך כדי לחיות את כל החיים, לחיות חיים טובים יותר, כדי לממש את משמעות החיים. ואז באמת אנחנו יכולים להיות הפועל הפשוט שלא מפעיל את המוח שלו. ואנחנו בפועל יכולים להיות אותם בטטות כורסא שיושבות על הכורסאות הממונעות העפות בסרט וול-אי ומתמכרות לנטפליקס ולכיופים בשעה שהאלגוריתמים והרובוטים שולטים בכל אספקט בחייהם

אבל בינתיים לפחות, אנחנו עדיין אלו שמתכנתים את המודלים שהאלגוריתמים מפעילים, על פי עקרונות מוסר, משילות, ונורמות אנושיות. אבל השאלה אלו מהן בדיוק? הרי אנחנו לא ממש מסכימים לגבי איך החיים צריכים להיות כמעט באף תחום

כדי לתכנת אלגוריתמים חכמים ולאפשר להם לעשות פעולות מורכבות עבורנו צריך לתת להם חוקים. צריכה להיות כאן חוקיות. ולגבי מצבים חברתיים פוליטיים ומוסריים מורכבים, לא ברור בכלל איך נגיע לכך ואפילו לא ברור לגמרי שזה בכלל אפשרי או רצוי. אולי אנשים מדמיינים איזה עולם אוטופי של מוסר אוניברסלי כמשהו שאין בו טעויות ויותר הרמוניה, אבל זה בסכנה שבסוף ניסגר על איזה שהיא מערכת מאד שמרנית, עם מערכת חוקים אחת שנכפית על הכל ותייצר קפאון חברתי, שככה הדברים צרכים להיות. אז כל אלה שהם פרוגרסיביים וליברלים ומריצים חזון כזה, בעצם יש כאן סיכוי או סיכון גדול לדיסטופיה, שהדברים יהיו דטרמיניסטיים ולא ישתנו ברגע שהם ינעלו במערכת

ואז נשאלת השאלה מי בדיוק יקבע את החוקים הללו, אם ניתן בכלל לקבוע אותם? אז אנחנו יודעים שאנחנו לא רוצים סמכות מלמעלה, אנחנו לא רוצים שזו תהיה ממשלה בהכרח או איזה דיקטטור,  אבל האם חכמת המונים, האם לפעול מלמטה על ידי הקהל, זה פתרון טוב יותר? יש למשל את אתר “המכונה המוסרית” שאמ.איי.טי עשו. האתר נועד לקבל תשובות מרחבי העולם איך מכונית אוטונומית צריכה להחליט במקרה שידוע בפילוסופיה כבעיית הטרולי

כרמל: זו דוגמא טובה כי למעשה מוצגת פה לציבור הרחב בעיה קלאסית מפילוסופיה של המוסר שבה הטרולי, הקרונית, היא רק ניסוי מחשבה לראות את מי תבחר להרוג ואת מי להציל, להיכן תסיט את ההגה. אבל למכונית האוטונומית זו בעיה קונקרטית – היא צריכה להחליט במקרה חירום נתון את מי להרוג על חשבון מי. ובפילוסופיה התשובה לבעיה תלויה באיזו תיאוריית מוסר אתה מחזיק, זה בדיוק העניין, שאין תשובה טובה אחת אובייקטיבית לתכנת לפיה את האלגוריתם. אז אני סקרנית, מה עשו ההמונים

ליאור: מה שהחוקרים דיווחו עליו זה שאין תשובה אחת ברורה בכל העולם, זה מאד תלוי תרבותית. סינים החליטו לחוס על הזקנים כי הם מכבדים מאד את הזקנים, בעוד שבתרבויות אחרות, למשל בתרבות שלנו, תינוקות זה דבר קדוש. אז כל תרבות מסתכלת אחרת על בעלי חיים, על ילדים, על אנשים בדרגות שונות של האוכלוסייה ובמעמדות שונים, אבל קשה מאד להגיע לאיזה שהו סוג של מוסר אוניברסלי, לא ברור אם חכמת ההמונים תהיה פה פתרון. אז יש הוגים כמו יובל נח הררי שאומרים שלא צריך להגיע לאופטימום. נכון שבעיית המכונית האוטונומית זו בעיה מאד קשה שיכולה לגבות חיים של אנשים וצריך לשים את זה שניה בצד, אבל עבור רוב ההחלטות בחיינו אפשר לעצור בזה שאלגוריתם עובד יותר טוב מבני אנוש. קחו את ווייז לדוגמא.  גם ווייז מפשל אבל כולנו עברנו להשתמש בו ובמובן מסוים הוא מחליט כבר עבורנו, אפילו שההגה בידיים שלנו, כי הוא פשוט מחליט יותר טוב, יש לו יותר הבנה של מה קורה כרגע על הכבישים, והוא שכנע אותנו שזה מספיק טוב כדי להאציל את הסמכות לסוכן האלגוריתמי. ואנחנו נראה עוד סוכנים כאלו שלא בהכרח יצליחו לפתור את הבעיה במאה אחוז, אבל הם בהחלט ישפרו את המצב האנושי

השורה התחתונה היא שלא ניתן לעשות לכל הדברים הללו רדוקציה למתמטיקה, אי אפשר למצוא בהכרח את האופטימום, וגם אם כן, המחיר יכול להיות ממש גבוה. אז החלופה לכך היא אולי לנסות למצוא אפשרות לקסטומיזציה, התאמה אישית של הסוכן לערכים של האדם שהוא משרת אותו. אולי אפשר לתת איזשהו אלמנט של קוד פתוח כלומר לאפשר לכל אדם לקבוע איך האלגוריתם שמייצג אותו יראה: האם הוא ייצג ערכים ליברלים, פרוגרסיביים, קונסרבטיביים, וכאשר הוא בא לדיון לייצג אותו –  כי אני באמת מדמיין שהסוכנים האלגוריתמים ייצגו אותנו במשאים ומתנים רבים עם כל הסביבה – האם הוא יוכל לפעול בשמי בצורה מהימנה? ולא רק מהימנה לאינטרסים שלי אלא לרוח שלי, לאני מאמין שלי? אני חושב שזו סוגיה לא פשוטה אבל היא הולכת להעסיק מאד את מדעי המחשב בשנים הקרובות. אני לא יודע אם לפלטפורמות הגדולות יש אינטרס לייצר את הקסטומיזציה הזו אבל לקהילות הקוד הפתוח אני חושב שזה השלב הבא אחרי רק להפוך את הקוד לנגיש ושקוף. לאפשר איזושהי אוריינות לכל אחד לייצר סוכנים, כך שהוא מבין אותם והם פועלים באמת למען האינטרסים שלו

כרמל: אני רוצה לתרגם את מה שאתה אומר למונחים של תיאוריה פוליטית. הכרעה אלגוריתמית, בוא נקרא לה אלגוקרטיה היא גישה אינסטרומנטלית לפוליטיקה, ששם מטרת התהליך הפוליטי הוא להשיג את המטרות שלנו וזה מה שהופך את התהליך לטוב יותר. לכן אם באמת בעזרת אלגוריתמים נוריד פשיעה, נייעל מערכות וכד’ זה מה שנותן לתהליך לגיטימציה. אבל הגישה הזו למעשה היא פוסט אנושית היא מדירה בני אדם מתהליך קבלת ההחלטות על חייהם. זה לא משנה אם ההחלטות שלהם גרועות יותר, מה שמשנה זה שהן שלהם. שלנו. כי הגישה ההפוכה היא הגישה הפרוצדורלית ששמה דגש על הדרך, על התהליך עצמו. המטרה היא לא להשיג את המטרה בכל מחיר, אלא לייצר סיטואציות של דיבור, פעולה, ותגובה, עבור האנשים שההחלטות נוגעות להם. המטרה לא מקדשת את האמצעים. זו גישה הומניסטית שרוצה להשאיר את האנשים מעורבים  בכל מחיר גם אם זו פוליטיקה מעצבנת ולא יעילה, כי מה זה שווה אם זה עלינו אבל בלעדינו? וזו בחירה בין שתי תפיסות פוליטיות שונות לחלוטין, בחירה קריטית שלא מתקיים לגביה שום דיון ציבורי

אבל גם הדמוקרטיה הישירה היא בעייתית כל עוד אנחנו תופסים דמוקרטיה כשלטון הרוב, כי בסוף עדיין מתקבלת הכרעה אחת שהרוב קובע אותה. זה לא המודל היחיד שיש לנו לדמוקרטיה. יש למשל את גישת הפלורליזם הפולמוסי או הדמוקרטיה המתדיינת של שנטל מופה. היא טוענת שאנחנו חייבים להשלים עם המציאות של אנטגוניזם וקונפליקט ושזה בלתי אפשרי להגיע לקונצנזוס אז זו לא צריכה להיות השאיפה שלנו בכלל. שאפשר ואפילו רצוי שהכרעות פוליטיות יהיו מורכבות ופתוחות וחלקיות יותר ולעיתים יבואו בשני קולות או יותר. אז פרופ’ קייט קרופורד (מיקרוסופט ריסרץ’ ו”אינטלגינציה מלאכותית עכשיו”) תהתה האם אלגוריתם יכול לגלם דמוקרטיה כזו, כי אלגוריתם הרי חייב להגיע להכרעה אחת, וכרגע זו הכרעת הרוב. אבל מה אם הוא יצליח לייצג יותר טוב מו”מ בין קבוצות שונות, את הקונפליקט על ההכרעה, או אפילו ישאר פתוח לתחרות בין הקולות? יציע הכרעה נזילה, זמנית, מתחלפת/מהבהבת, אני יודעת

אחת הדוגמאות שהיא נותנת לחשיבות של זה, זה הסיפור של הפיגוע שהיה לפני כמה שנים במרתון בבוסטון. מיד לאחר הפיגוע נפתח סאב רדיט – פורום באינטרנט למי שלא מכיר – לחיפוש אחר המפגעים. ומישהו עשה איזה קישור בין מודעה על סטודנט נעדר ממוצא הודי מאחת האוניברסיטאות, לבין תמונה של אדם בקהל המרתון שנראה חשוד ועד מהרה נבנה נרטיב שלם עם תימוכין לכאורה והוכחות נסיבתיות שהסטודנט הזה הוא המפגע. במקביל, משתמשים אחרים סתרו את הראיות הללו והובילו נרטיב חלופי וגם זה היה שיח בולט בפורום, אבל בעמוד הראשי של רדיט כיכב הנרטיב הראשי שמאשים את הסטודנט בלבד, בזכות האלגוריתם שם ששיקלל את הדרוגים של המשתתפים לפי גישה של קונצנזוס, הרוב קובע ויש רק תוצאה אחת.  כלי תקשורת רבים ציטטו את הסיפור הזה מרדיט, ואז מה קרה? תוך זמן קצר תפסו את המפגעים האמיתים ומצאו בנהר את גופתו של הסטודנט הזה שהתאבד עוד לפני הפיגוע. זו הייתה מבוכה גדולה וגם פגיעה במשפחתו של הסטודנט. וקרופורד אומרת – תארו לכם שהאלגוריתם יכול היה לשקף מראש  גם את הנרטיב החלופי. הסיפור הוא שהסטודנט הזה הוא המפגע – או שלא. תקראו ותשפטו את הטרנדינג סטורי שלנו ואת הצל שלו שמפריך אותו. אם אפשר היה להציג זאת ככה הכל היה מתגלגל אחרת

ליאור: יש בעיה עם הטענה של קרופורד בכך שהרבה פעמים אנחנו בהחלט רוצים שהאלגוריתם יקבל החלטה בסוף. יש משהו בפלורליזם שמציג גם את הזווית הזו וגם את הזווית ההיא ונותן לנו בסוף להחליט מה אנחנו רוצים לבחור. ובזה יש בעיה במובן הקלאסי שאנחנו שמנו את הסוכן האלגוריתמי כדי להגיע לגביע הקדוש שהוא אוטומציה. כלומר, אנחנו רוצים לחסוך זמן ולקבל החלטות יותר טובות. בסופו של דבר בהרבה מישורים של חיינו, בטח אם אנחנו היום מנהלים מפעל, אנחנו רוצים שהאלגוריתמים והרובוטים ישתלטו עליו ויהיו הרבה יותר יעילים. שוב, רק מהזווית של ראש המפעל לא מהזווית כמובן של ועד העובדים. ולכן שקרופורד מציעה פלורליזם מסוים, ככל שאני מבין את זה, היא בעצם עדיין הולכת לעולם הזה שבו אנחנו צריכים לקבל תמונה רחבה של מגוון החלטות אלגוריתמיות ולהשאיר באיזשהו מקום את הסוכנות לפעול בידי בן האנוש. הדבר הזה אולי טוב כאשר אנחנו מדברים על החלטות עם אלמנט מוסרי והשלכות כבדות על חיי אדם, אבל אני חושב שברוב ההחלטות יש יותר מדי בעלי עניין כלכליים שידחפו לכך שהאלגוריתם פשוט יקבל את ההחלטה בעצמו. כי המהירות היא קריטית, כי ה”אובייקטיביות” במרכאות מכופלות היא קריטית, ולכן אני לא יודע אם זה ישים בכל תחום

כרמל: או! אז זו באמת שאלת מיליון הדולר. כי השאלה מהם גבולות התפקיד של הסוכנים האלגוריתמיים, היא בעצם שאלה רחבה יותר על תפקידה של הבינה המלאכותית בחיינו. השיח על בינה מלאכותית שנפתח בשנות השישים של המאה שעברה בעקבות השאלה של אלן טיורינג האם מחשב יכול לחשוב, היה שיח של החלפת האדם במחשב, שאותו אנחנו מדברים עד היום ודיברנו אותו רוב הפרק הזה. אבל הוא לא היה האפשרות היחידה. ג’ייסי ליקליידר שהיה המנהל הראשון של דארפה ואחד מחוזי המחשב כמדיום תקשורת רשתי, הציע תפיסה חלופית לבינה מלאכותית שאותה הוא כינה “סימביוזת אדם מחשב”. הוא השתמש בדימוי הביולוגי של סימביוזה כדי להציע תלות הדדית מוחלטת בין אדם למכונה. אנחנו לא זזים בלעדיה והיא לא זזה בלעדינו. אף אחד מאתנו אינו אוטונומי. ליקליידר טען שהחוזקה של המחשב היא היכולת שלו לעבד כמויות מידע גדולות במהירות ולגלות בהם דפוסים ומגמות, אבל עד כאן תפקידו בכוח. בשלב הזה האדם מתבונן במגמות והדפוסים ועל בסיס זה מקבל את ההחלטה. מחשב לעולם אינו מקבל החלטה, זה לא התפקיד או החוזקה שלו, בדיוק כמו שאדם לא צריך לחרוש שעות על הררי דאטא כדי למצוא דפוסים הוא איטי ופחות מדויק בזה. אז ככה עובדת הסמביוזה ואדם ומכונה לעולם ישתפו פעולה ויהיו חלק מאותה מערכת.  הוא ממש התנגד לשיח ה”בינה” המלאכותית שמתחרה באנושית מחליפה אותה

אבל מה מעניין בסיפור הזה? במאמר שלו מ1968 “המחשב כמדיום תקשורתי” שבו הוא חוזה את רשת האינטרנט בפרוטרוט, הוא מתאר את הפרוטוקולים והאלגוריתמים ברשת הזו בצורה זהה לאופן שבו סוכנים אלגוריתמיים פועלים כיום בפלטפורמות. הוא מדבר על פונקציה של עוזר אישי שהוא גם נותן לה שם אוליבר – שנשמעת בדיוק כמו סירי/אלקסה/קורטנה למיניהן. והוא מתאר זאת כך: “האוליבר שלך  יתעד מה אתה קונה והיכן, הוא יידע מי חבריך ומי מכרים בלבד. הוא ידע את מערכת הערכים שלך, מי יקר לך, עבור מי תעשה מה ובאיזו עדיפות, ולמי יש גישה למסמכיך האישיים. הוא ידע את מדיניות המידע של הארגון שלך ואת כללי בטחון המידע הקבועים בחוק. חלקים מהאוליבר שלך ישותפו עם חלקים מאוליברים של אחרים (שימו לב זה ממש חזון הענן! ב1968) וחלקים אחרים יהיו תפורים במיוחד עבורך או יתפתחו באמצעות למידה – מילה שהוא שם במרכאות אגב- על בסיס הניסיון שלו אתך  

כלומר ליקליידר מתאר כאן סוכן אלגוריתמי לומד קלאסי בן זמננו אבל אצלו הוא לומד רק במרכאות, הוא מתאר את זה במסגרת חזון הסימביוזה אבל אנחנו קוראים לזה היום בינה מלאכותית! עבורו זה רק ביטוי של יכולת זיהוי דפוסים, ככה זה נראה כשמחשב מזהה דפוסים ויכול להציע לך פעולה על פיהם. כי, הוא מוסיף – אוליבר לא יחליף את המזכירה שלך אלא שלכל מזכירה יהיה אוליבר משלה. זה עוזר לעוזר האנושי. אוליבר מראה את הדפוסים הללו למזכירה ולא פועל מיד על פיו בחוסר שקיפות כדי להעלים לך פוסטים מחברים מסוימים כמו האלגוריתם של פייסבוק

אז יש פה שני חזונות שונים: בינה מלאכותית אוטונומית שנאציל אליה חלק מסמכויותינו לחלוטין או סימביוזת אדם מחשב שבמסגרתה האלגוריתם מציג את אותן יכולות אבל לא מכריע ללא התערבות האדם. אז אתה אומר, אם אנחנו עדיין אלה שמחליטים מה עשינו בזה? בפארפראזה על מירי רגב: מה שווה בוט אם הוא לא שולט בנו, כלומר באמת מחליף אותנו? ואני אומרת לאור כל החששות שאתה עצמך הצגת כאן היום אולי אנחנו רוצים לחזור לחזון של ליקליידר, לא בטוח שהחלפה זה מה שאנחנו מחפשים אולי סימביוזה זו הדרך המתאימה יותר. ובפועל האמת היא שאנחנו יותר בסימביוזה מאשר בבינה. אחד הדברים שהכי שעשעו אותי לאחרונה זה הפרסומות על מברשת השיניים עם הבינה המלאכותית. התחלנו להשתמש במושג הזה של בינה מלאכותית בצורה קצת חופשית מדי. האם מברשת השיניים הפכה לסוכן אוטונומי פתאום? כולה מברשת שיניים חשמלית עם קצת יותר חיישנים שמסוגלת לשדר כמה נתונים לאפליקציה כדי שנוכל לעקוב אחר דפוסי צחצוח. זו דווקא דוגמא קלאסית לסימביוזת אדם-מכונה כי היא לא מצחצחת לבד וגם לא מקבלת שום החלטה לגבי השיניים, אז באיזה מובן מלבישים עליה את שיח הבינה המלאכותית??? 

---

באופן כללי נראה לי שבני אדם מתערבים כל הזמן בפעולת הסוכנים – מתלוננים עליהם, מבקשים תיקונים, מבקשים לפתוח את הקופסא השחורה ולקבל הסברים. מצד אחד אנחנו מבקשים שינהלו אותנו בחכמה גדולה משאנחנו מאמינים שיש לנו בכוחות עצמנו, ומצד שני אנחנו מבקשים לשלוט במי שמינינו לשלוט בנו. ככה אנחנו בני האדם זה כנראה חלק מחוסר ההיגיון חוסר הרציונליות המובנה שלנו ואולי זו לא בעיה שצריך לפתור. אולי זו נקודת החן שלנו 

עד כאן להפעם, תודה רבה לד”ר ליאור זלמנסון. ועד לפרק הבא שיתפרסם בעוד שבועיים, אני מזמינה אתכם להמשיך את השיחה בתגובות כאן למטה ואפשר גם להירשם כאן לעדכון במייל כשמתפרסם פרק חדש, באינסטגרם או בדף הפייסבוק שמשמש כאחורי הקלעים של הפודקאסט ויש בו קדימונים והרחבות על נושאי הפרקים.

!להשתמע בקרוב

?רוצה לקבל מייל כשהפרק הבא מתפרסם

:בואו להגיב, לראות קדימוני וידיאו ועוד הפתעות

• Facebook
• Instagram
• TikTok

:מקורות / להרחבה

הררי, נח יובל. (2018). 21 מחשבות על המאה ה21. כנרת זמורה ביתן דביר. פרק 3

דרור. יובל (2016). להחליט. בתוך: יוחאי עתריה ועמיחי שלו (עורכים). העידן הפוסט אנושי: בין פנטזיה לחיי נצח לבהלה קיומית. הוצאת פרדס. עמ’ 195-206

Crawford, Kate. (2016). Can an Algorithm be Agonistic? Ten Scenes from Life in Calculated Publics. Science, Technology, & Human Values Vol. 41(1) 77-92.

Danaher, J. (2016). “The Threat of Algocracy: Reality, Resistance and Accommodation.” Philosophy & Technology: 1-24

Erickson P, Klein J, Daston L, Lemov R, Sturm T and Gordin M. (2015). How Reason Almost Lost its Mind: The Strange Career of Cold War Rationality. Chicago: Chicago University Press.

Grinberg, N., Joseph, K., Friedland, L., Swire-Thompson, B., & Lazer, D. (2019). Fake news on Twitter during the 2016 US presidential election. Science, 363(6425), 374-378.

Licklider, J.C.R.  and Robert W. Taylor. The Computer as a Communication Device. Science and Technology, April 1968.

Möhlmann, Marika. and Zalmanson, Lior. (2017): Hands on the wheel: Navigating algorithmic management and Uber drivers’ autonomy, proceedings of the International Conference on Information Systems (ICIS 2017), December 10-13, Seoul, South Korea.