פרק 30. מלאכותית ודמוקרטית? פוליטיקה של למידת מכונה עם ד”ר תומר שדמי

_{מכונה שתחזה לנו מראש לפי תווי הפנים אם מישהו הוא מחבל או פושע או לא, או אם מישהו הוא גיי או לא,  אז חלק מהמכונות האלה, אני חושבת שהתגובה אליהן צריכה להיות איסור מלכתחילה. עצם הניסיון להפוך אותם לנוסחה הוא בעייתי}

ד”ר תומר שדמי

היום לפני שנה אירחתי את ד”ר ליאור זלמנסון בפרק שנקרא “כן אדוני הבוט” ודיברנו על סוכנות אלגוריתמית בתחומי ניהול ומשילות. היום אני מארחת את ד”ר תומר שדמי, חוקרת דמוקרטיה וזכויות במרחב הדיגיטלי, ממרכז הסייבר של האוניברסיטה העברית ומהמרכז למחקרי בטחון לאומי, ויחד נעמיק במשמעויות הפוליטיות של מכונות לומדות. בפרק בשנה שעברה סיפרתי על הפנטזיה ההיסטורית להחליף את הפוליטיקה במתמטיקה. בפרק הנוכחי אנחנו עושות “ניתוח לב פתוח” לתחום למידת המכונה, נפריך כמה מיתוסים נפוצים לגבי זה, ונראה מדוע אין נוסחה לדמוקרטיה, אי אפשר לפרמל דיון פוליטי, ומהן הסכנות אם נמשיך לנסות לתת לבינה מלאכותית להחליף תהליכי קבלת החלטות בתחום הזה

תומר: אנחנו מדברים על למידת מכונה או בינה מלאכותית אבל נכון להיום זו לא ממש בינה והיא גם לא ממש מלאכותית

כרמל: אז למה הבינה היא רק “בינה” כבר אמרנו, גם בפרק 24 שבו הבחנו בין בינה מלאכותית כללית לצרה, וגם בפרק 4 היום לפני שנה, כשהצענו שיכולת זיהוי דפוסים זו תכונה סטנדרטית של מחשב ולא באמת תבונה כלשהי. אבל למה היא גם לא מלאכותית? כי היא בעצם אנושית, אנושי מדי

תומר: אז היא לא מלאכותית כי היא נשענת באמת על מידע קיים שבני אדם ייצרו, וחשבו, ועשו, וכתבו, והחליטו החלטות בעבר, ועל סמך החלטות העבר היא מייצרת איזה מודל ואיזשהו דפוס להחלטות בעתיד. אז זה לא מלאכותי, זה לא מישהו שמגיע מלמעלה ואומר ‘הנה תראו, הדרך הכי טובה לפתור את הבעיה הזו זה ע”י ככה וככה’ אלא זו מערכת שלוקחת את כל ההחלטות שעשו בני אדם בעבר, שעשו רופאים בעבר, והופכת את זה למודל

כרמל: אז כשמכונה לומדת היא לא באמת לומדת לבד. אנשים מעורבים בשני שלבים קריטיים של הלימוד. השלב הראשון זה שלב בחירת הנתונים שעליהם תתאמן המכונה. המכונה היא פשוט מנוע מתמטי. היא לא מכירה את העולם, היא צריכה שנתרגם לה אותו, היא צריכה שאנשים יאכילו אותה בדאטה המתאים, היא לא יודעת לחפש בעולם, מה לחפש, בשביל מה לחפש. גבול ההכרה שלה את העולם הוא גבול אנושי וזה יוצר כמה בעיות שונות

תומר: אז אם למשל אנחנו רוצים לדעת על סמך למידת מכונה האם כדאי להעסיק או לא להעסיק אדם, למידת המכונה מאתרת לנו דפוסים בקרב העובדים הקיימים, או בקרב העובדים המצטיינים הקיימים, ואז היא מייצרת איזשהו מודל אבסטרקטי שאי אפשר לקרוא בעיניים אנושיות, שמאד קשה לקבל הסבר מה זה המודל הזה, אבל את אותו מודל הם מכניסים, ואז מכניסים אליו מידע על אדם חדש, והמודל יקבע מה אחוזי ההתאמה שלו למשרה. אז זה ההיגיון, וההיגיון הזה יכול להיות נפלא להמון דברים כמו חיזוי מזג האוויר, לאיתור תאים סרטניים, ולעוד המון דברים אחרים, אבל ככל שאנחנו מתקרבים לליבה של החלטות אנושיות יש לנו הרבה בעיות איתן. כי מה קורה פה בעצם? אני פשוט משכפלת את דפוס העובדים הקיימים. שזה יכול להיות מאד טוב, אבל יש לזה גם הרבה השלכות לא טובות. אם זה כלפי קבוצות מודרות שהן לא חלק מכוח העבודה שלי היום, אם זה היכולת לאתר בכלל אנשים חדשים שיאפשרו לי ערכים חדשים שלא קיימים עכשיו. אז ככל שאנחנו מקבלים החלטות על סמך הלוגיקה הזו אז אנחנו מפספסים אותם

כרמל: אז נכון שיש לנו תמה כזו בפודקאסט שהעתיד הוא העבר? זה באמת מה שקורה לעיתים תכופות עם למידת מכונה, כי הדפוסים שהיא לומדת לזהות הם דפוסי העבר. אז מי שעדיין חולמים להחליף שחיתות וחוסר יעילות פוליטית במתמטיקה, תזכרו שאתם לא מחליפים פה דיסקט, אתם לא מחליפים פה לוגיקה. זו פשוט אוטומציה של כל מה ששנאתם בפוליטיקה, כי אלו הנתונים שיש, ואלו הדפוסים שהמכונה גם תלמד לזהות

תומר: בדיוק. אז אם אנחנו גם במפעל תרגום ענק של החלטות עבר להחלטות חדשות באמצעות הבינה המלאכותית, השאלה איזה התערבויות אנחנו רוצים לעשות בדרך, על מנת שלא נשכפל את כל הרע שראינו בעבר, אלא שכן נאפשר דברים חדשים גם

כרמל: בעיה עמוקה ופחות מדוברת לגבי הדאטה הזה דורשת ניפוץ מיתוס – אין דבר כזה דאטה גולמי. דאטה גולמי זה אוקסימורון – אמרה את זה החוקרת ליסה גיטלמן, שכתבה ספר בשם הזה. תזכרו שהמכונות לא הולכות בעולם וקוטפות דאטה מהעצים. כשבני אדם יוצרים דאטאבייס (מסד נתונים) זה כבר סוג של פעולת מסגור וניקוי, מישהו מחליט מה בפנים ומה בחוץ וזה כבר לא גולמי. שוב, דוגמא פשוטה: רשימת רבי המכר של אמזון זה נשמעת כמו משהו אובייקטיבי, נכון? דאטה גולמי כזה, פשוט אוספים את נתוני המכירות, אין פה אוצרות. אז זהו שלא. אוספים את נתוני המכירות בניקוי של ספרות ארוטית למבוגרים בלבד. זה משהו שגילינו רק ב2009 במקרה, ויש עוד המון דוגמאות כאלה, שאף פעם אף דאטהבייס הוא לא טבעי, הוא תמיד מובנה, דאטה תמיד נוצר, זה אקט פרשני. בדיוק כמו שצלמת מחליטה איזה פריים להקפיא כשהיא מצלמת, היא בוררת דברים לשם יצירת תמונה, ככה גם דאטה. אין בנמצא דאטה גולמי. נתון הוא תמיד תוצר של הנחה מהו ידע ואיך למדוד/לזהות/להגדיר/לייצג אותו במקרה נתון. יש תמיד בני אדם שמחליטים את זה

תומר: מי אוסף את המידע הזה ואיך הוא מבנה אותו, איך הוא מתייג אותו, כי המידע הזה תמיד מתויג. מצד אחד מתייגים הרבה תפוחים כדי ללמד מכונה להבדיל בין תפוחים לאגסים, אז זה בסדר לצורך העניין, אבל ברגע שמתייגים המון אנשים שמחים כדי לתת למכונה לדעת מה זה שמחה, אז עצם ההחלטה הזו מה זה שמחה, מה זה רגש, איזה רגש אנחנו רוצים לתרגם, את מי נדגום על מנת לתרגם אותו ומי יהיה זה שיפרש ויגיד הנה, זה פרצוף שמח וזה פרצוף עצוב – זה המון החלטות ערכיות, פוליטיות, סובייקטיביות – מי אנחנו רוצים שיעשה את ההחלטות האלה? איך עושים את ההחלטות האלה 

כרמל: השלב השני בלמידת מכונה שמערב יד אדם זה שלב המודל, כלומר הגדרת הבעיה, תנאי הפתרון ומה נחשב להצלחה. אנחנו נוטים לחשוב שיש כאן ערכים אובייקטיביים מתמטיים אבל יש כאן הנחות ערכיות מובלעות

תומר: זה לא שרק אוספים מידע והמערכת באופן אוטומטי מייצרת לנו מודל מהמידע. יש המון הכרעות של השאלה מה בעצם אנחנו מחפשים, למה אנחנו רוצים לעשות אופטימיזציה, מה אנחנו רוצים להשיג, איך אפשר להשיג אותו, בחירה בין כל מני אלגוריתמים כאלה או אחרים, יש המון עבודה. זו גם עבודה של המהנדסים, זו גם עבודה של מי שסיפק את המידע, והכל זה אנושי

כרמל: המתמטיקאית קתי אוניל כתבה את רב המכר העיוני “נשק של השמדה מתמטית”, משחק מילים שמדגיש את הכוח ההרסני של האמונה העיוורת שלנו במתמטיקה, ושם היא נתנה דוגמא פשוטה לעניין הזה.  כשאנחנו אומרים ‘בואו נעשה אופטימיזציה לארוחת ערב שלנו’, אין פה ערך מתמטי אובייקטיבי של מה יהיה אופטימלי לארוחה. בני אדם צריכים להגדיר מודל למכונה שיש בו איזושהי הנחה מובלעת מה זה אופטימלי, כלומר מה זאת הצלחה. בשביל הבן שלי, אומרת אוניל, הארוחה האופטימלית היא הטעימה ביותר, רצוי עתירת סוכר, כלומר ארוחת קינוחים. אבל עבורי אולי זו הארוחה המזינה ביותר, או הבריאה ביותר, או הזולה ביותר? אם אלגוריתם רגיל מקבל קלט נתונים מאיתנו, מודל או נוסחה ברורה שאנחנו מתכנתים לו, ואז הוא פולט את התשובה, אז גם מכונה לומדת עדיין צריכה לקבל מאיתנו קלט, ואנחנו עדיין צריכים להגדיר לה תוצאה רצויה. הדבר היחיד שהיא לומדת זה מה הדרך הכי טובה, או קצרה, או רצויה, להגיע לפלט הזה. היא פשוט פותרת משוואה מתמטית עם יותר נעלמים

תומר: היא לא מלאכותית, היא סוג חדש אולי של עבודה אנושית, סוג ארגון חדש של עבודה אנושית, ואיסוף והסקת מסקנות, אבל זה לא מלאכותי

כרמל: אז בכל המובנים האלו, מה שאנו קוראים לו בינה מלאכותית, זאת בעצם אגרגציה של חכמה אנושית. וכדי להבין אם זו באמת בינה, אנחנו צריכים לענות על שאלה עתיקה לגבי התארגנות אנושית – באילו תנאים מתגלמת במכונה תופעת חכמת ההמון, ואז הבינה היא בעצם השלם הגדול מסכום חלקיו של בני האדם? אבל באילו תנאים ההמון הזה הופך לאספסוף חסר בינה, ומושך את המכונה להחלטה בינונית, ממוצעת, שמרנית, אולי אפילו קיצונית? מיקרוסופט למדה את זה בדרך הקשה, כשלפני כמה שנים היא שחררה לרשת את הבוטית טיי. טיי הייתה אמורה ללמוד שיח מהאינטראקציות שלה בטוויטר, אבל היא הפכה לניאו נאצית תוך יומיים ונגנזה לעד. ובינה עדיין אין

אני מקווה שעכשיו זה יותר ברור למה בינה מלאכותית היא לא בהכרח פתרון טוב לכל בעיה. תומר חוקרת לאחרונה את בעיית הפייק ניוז, למשל, שגם אותה מנסים לפתור בעזרת למידת מכונה

אני מאד חשדנית כלפי כל מני מערכות בינה מלאכותית שמנסות לזהות מה זה פייק ניוז ומה זה לא. גם הרמה הנוכחית של למידת מכונה בהבנה של טקסטים באופן עמוק היא מאד מוגבלת. היכולת להבין אירוניה, סרקזם, בדיחות, הקשרים, היא מאד מוגבלת, ולא הייתי רוצה שמכונה כזו בעצם תקבע לנו מה אמת ומה שקר. מה גם שעוד פעם, המכונות האלה, מישהו מתכנת אותם, מישהו מכניס אליהן את הערכים שלו בכל מני דרכים – לא באופן קונספירטיבי אלא כמו כל עבודה שאנחנו עושים ואנחנו בעצם מכניסים אליה את עצמנו, אז גם מי שמתכנת את המכונות האלה מכניס את הערכים שלו – ואני חושבת שזה נושאים שצריכים להיות בסיס לדיון דמוקרטי ולא איזושהי מכונה שתקבע. מה שמעניין אותי כמשפטנית במרחב הזה, זה העובדה שפה יש לנו תאגידים שהם מכריעים היום מה הגבולות הלגיטימיים של חופש הביטוי, הם אחראים היום איך יראה הדיון הדמוקרטי, הדיון האזרחי שלנו. הרגשתי שלא מדברים על הדברים הנכונים, כי אותי לא מעניין אם כן פסלו את טראמפ או לא פסלו את טראמפ, או אמירה כזו או אחרת, אלא איך עושים רגולציה למרחבים האלה, איך עושים רגולציה שתגרום לזה שבניגוד למצב היום – מה שאנחנו רואים במצב היום זה בעיקר את התכנים היותר פופוליסטיים שזורעים יותר שנאה וקיטוב ומייצרים כל מני תאי הדהוד כאלה שאנחנו שומעים רק את החברים שלנו

אז מה שמעניין אותי זה לראות האם יכולה להיות התערבות בארכיטקטורה ולא בתכנים עצמם. כי התערבות בתכנים עצמם היא דבר מאד מסוכן, לא משנה אם עושה אותו פייסבוק או ממשלת ישראל, ואני חושבת שלא פייסבוק ולא ממשלת ישראל צריכה לעשות את זה, אולי רק במקרי קיצון. אבל ההתערבות שכן צריכה להיות זה התערבות במבנה הבסיסי, באיך בכלל מדברים, עם מי מדברים, על סמך איזה הגיונות. אבל לא בהכרעה מה נכון ולא נכון, מה אמת ומה שקר. וצריך להגיד שזה גם מאד שונה מנושאים אפילו של גזענות. בגזענות גם עדיין מכונות מאד קשה להן להגיד ‘זה גזעני וזה לא גזעני’ כי אין להן את ההקשרים התרבותיים החשובים, אבל עדיין אפשר באמצעות מילים מסוימות, יותר קל לאתר גזענות בטקסט מאשר לאתר אם זה אמת או שקר. אז לכן פה אני חושבת שהפתרון לא יכול להיות טכנולוגי, וזה יהיה מסוכן אם נאמץ פתרון טכנולוגי לזיהוי כזה, כי זה בעצם אימוץ הגיון מסוים ולא הכרחי שיקבע לנו מה אמת ומה שקר

ואולי הבעיה הכי מרכזית בכל זה, אם נעזוב רגע את הטכנולוגיה עצמה ואת הלוגיקה שלה, זה ההיקסמות שלנו – אם זה מקבלי ההחלטות ואם זה שוק העבודה – ההיקסמות מהמערכות האלה, התחושה שהנה נעביר את קבלת ההחלטות האלה למכונה והן יהיו החלטות הרבה יותר מדויקות, הרבה יותר נכונות, כשלמעשה יכולות להיות הרבה מאד יתרונות, אבל חייבים להבין גם את המגבלות של המערכות האלה, את האופן שבו הן “חושבות”, את האופן שבו הן מקבלות החלטות, כדי להבין מתי זה מתאים ומתי זה פחות מתאים

אז כדי להבין למה מכונות לא יכולות להחליף פוליטיקה אנושית אנחנו צריכים להעמיק עוד קצת, ולענות על השאלה מה בעצם מכונה לומדת, לומדת? התשובה היא שלרוב מכונה לומדת לסווג נתונים. זה מה שהיא עושה, סיווג. אבל סיווג זו לא סוגיה טכנית, זו סוגיה פוליטית

קודם כל יש בעייתיות בזה שקוראים לזה “אתיקה של בינה מלאכותית”, זה לא אתיקה בכלל זה פוליטיקה, כמו שדיברנו, זה בעצם קבלת החלטות, זה האופן שבו אנחנו מתנהלים בחברה, זה האופן שבו הקשרים שלנו מתנהלים, זה האופן שהזהות שלנו מתנהלת. השכבה המהותית היא כן שכבה פוליטית ולא אתית

כרמל: הרבה אנשים נוטים להתייחס לסיווג כאל אתגר מדעי אובייקטיבי, על בסיס הנחה שיש סדר בעולם ולכל דבר יש הגדרה ברורה. אבל הסיבה שבני אדם לא הצליחו לסווג טוב את העולם עד עכשיו, זה לא בגלל שיש לנו איזושהי מגבלה והמכונות יתגברו עליה. זה בגלל שהעולם שלנו הוא פשוט לא עולם אובייקטיבי ומסודר. מישל פוקו היה זה שהראה לנו לראשונה, שהסיווגים שלנו יחסיים ומשתנים. למשל, הוא חקר מוסדות סגורים בניסיון להבין מה זה שגעון ומיהו משוגע. זה נשמע כמו משהו שצריכה להיות לו הגדרה אובייקטיבית ברורה, אבל פוקו הראה לנו שמה שאנחנו מחשיבים כנורמטיבי, זה תמיד עניין ערכי פוליטי ותקופתי. פעם זה היה הרי הדבר הכי נפוץ לחתן ילדה בת 12 עם גבר בן 40, היום קוראים לזה פדופיליה ושמים אותך בכלא. פעם ממש לא מזמן גם הכניסו אנשים לכלא רק בגלל שהם אהבו את בני מינם, והדבר הוגדר כפשע וסטייה. אז כשאנחנו מבקשים ממכונה לסווג את העולם ולקבל החלטות על בסיס סיווגים, אנחנו מתעלמים מזה שלסווג משהו זו לא בעיה מתמטית, זה עניין פוליטי סבוך שאסורואי אפשר לעשות לו אוטומציה. כבני אנוש תמיד נצטרך להיות במו”מ על הקטגוריות ועל הגבול ביניהן, ואולי בכלל נרצה לחיות על ספקטרום נזיל יותר

תומר: בגלל שמי שעוסק בנושאים האלה הרבה פעמים זה אנשים שמגיעים ממדעי המחשב אז המיינדסט שם הוא הרבה יותר מחפש כל מני יכולות לפרמל, להפוך דיון שלם כזה שאנחנו עושים עכשיו, איך הופכים אותו לאיזו נוסחה מתמטית, שאחרי זה נפעיל אותה בקנה מידה גדול על הרבה מאד מקרים. כי זה בעצם ההיגיון שפועלים שם, לקחת את העולם המורכב ואיך להפוך אותו לנוסחה שתהיה מתאימה להרבה מאד מקרים. בשעה שהבעיות האתיות שאנחנו מדברות עליהן, הן בדיוק בעיות שעצם הניסיון להפוך אותן לנוסחה הוא בעייתי, ונושאים שמה שאפשר לפתור או להתמודד איתם זה ע”י דיון פוליטי דמוקרטי, שנכריע איך אנחנו רוצים שיתקבלו ההחלטות האלה. אין פה איזו תשובה אחת מנצחת, זה לא שצריך לגלות פה איזו נוסחה שתציל אותנו, אלא אנחנו צריכים ליצור פה ולהחליט את ההחלטות האלה ביחד

למשל, אפשר לראות שאחת השאלות שהכי מטרידות בתחום הזה של אתיקה של בינה מלאכותית, זה היחס של מערכות קבלת ההחלטה האלה לקבוצות שונות. זה כן בעיה משמעותית, אבל איכשהו היא גם תופסת את כל הנפח של הדיון על אתיקה של בינה מלאכותית, כי זה גם כן נושא שאפשר מאד בקלות לתרגם אותו למתמטיקה. כי אפשר אחרי זה להסתכל על הפלטים של המערכת ולראות כמה גברים, כמה נשים, כמה שחורים וכמה לבנים, ואז לעשות נוסחה כזו או אחרת שתתערב בזה ותנסה להשיג יותר שוויון, לכן זה מאד נהיר למיינדסט של מדעי המחשב ואנחנו רואים הרבה מאד עיסוק בזה, אבל גם כשמתעסקים בזה צריך לזכור שגם פה לא יכולה להיות נוסחה מנצחת. הרי השאלה כמה נשים צריכות לשבת בסוף בדירקטוריונים או בממשלה, האם אנחנו צריכים לתבוע שזה יהיה חמישים אחוז, או לא צריך להתערב בכלל, או צריך להיות 20 אחוז – עוד פעם, זה שאלות פוליטיות. אז גם כשאנחנו מכניסים את השאלות האלה לתוך המערכות האלה, לא יכולות להיות לנו פה תשובות נכונות, זה שאלות פוליטיות והתשובות להן צריכות להתקבל באופנים של דיון פוליטי, שבו מי שמושפעים מהמערכות האלה חייבים לקחת חלק בקבלה שלהן

כרמל: אנחנו סומכים על מכונות כי אנחנו חושבים שיש להן גישה לסדר גבוה יותר שיגדיר אותנו טוב יותר, אבל ההיסטוריה של הסיווג האנושי היא היסטוריה של דיכוי ואפליה, והעבר הזה מחלחל אל העתיד שהמכונות יוצרות. ואז יכול לקרות משהו כמו שקרה למי שהורידו את אפליקציית ההיכרויות גריינדר, והאלגוריתם שהמליץ להם על אפליקציות בנושאים דומים, המליץ להוריד גם אפליקציה לגילוי פדופילים מורשעים שגרים בשכונה שלך. הנושאים האלה לא באמת דומים, ואף אחד לא הצליח להסביר למה זה קורה. ההערכה היא שאיפשהו בארכאולוגיות של המודלים של הסיווג, נמצא עדיין אותו קשר ישן בין פדופיליה להומוסקסואליות, שפעם ישבו באותה קטגוריה של סטייה, וזה עדיין נמצא שם בכל מני שכבות ארכיוניות עלומות. עכשיו, זאת לא הדוגמא הכי מזעזעת לזה שהעבר האפל של הסיווג מחלחל אל הבטחות העתיד של הבינה המלאכותית

תורת הגזע הנאצית, למשל, התבססה על תחום הפרנולוגיה שנחשב אז למדע. הטענה הייתה שתווי הפנים ומבנה הגולגולת והעצמות, מכתיבים תכונות ונטיות מסוימות, ואנחנו, היהודים עם האף הארוך והאישיות הערפדית, הרי סווגנו לחיסול. פאסט פורוורד לימינו, והנה עשרות סטרטאפים מבוססי בינה מלאכותית טוענים שאפשר לזהות נטייה מינית או נטייה לביצוע פשע באמצעות אלגוריתם זיהוי פנים. חפירה קלה בקוד מעלה שהמודלים שמוגדרים לאותן מכונות מבוססים על אותם עקרונות פרנולוגיים עתיקים. כלומר אלגוריתם זיהוי פנים שפועל בשדה תעופה ומחליט עכשיו שאתה מחבל, עושה את זה על בסיס הנחות יסוד גזעניות מפוקפקות של קריאה בקפה, סליחה, בתווי הפנים. הגדיל לעשות הסטארט-אפ הישראלי פייספשן, שבאתר שלהם תוכלו למצוא פטנט ייחודי – אלגוריתם סיווג שמחליט לפי הפנים שלכם אם אתם מהמרים, אנשי אקדמיה, או מנהלי מוצר. אני מתה לדעת אם אכן נולדתי עם עצמות לחיים של אשת אקדמיה או שפספסתי את ייעודי. אבל אני יותר מתה מפחד מעולם שבו אתם סומכים על החלטות של בינה מלאכותית, שעושה ניו אייג’ במקרה הטוב ונאציזם במקרה הגרוע. וזה רק המקרים שבהם הצלחנו להנדס לאחור ולהסביר משהו שקורה בתוך “הקופסא השחורה” של המכונה

תומר: אז אני חושבת שבאמת סוג התוכנות האלה שמנסים לזהות רגשות, לזהות תכונות אופי, אם זה באמצעות תמונות, אם זה באמצעות דיבור (טון של הקול), הן המערכות הכי מסוכנות כי הן, כמו שאת אומרת, נשענים על פסבדו מדע, והם מאד מסוכנים, אבל אחר כך אנחנו מקבלים תוצאה, שהיא תוצאה מאד חד משמעית, מספרית – בלי להבין את כל המורכבות הקונטינגנטית הזאת שהובילה לאותה הכרעה – ומשתמשים בה. למשל, יש כל מני מחקרים סינים שמזהים מי הולך להיות פושע לפי תווי הפנים שלו, שעוד פעם, גם מבחינה מדעית אין לזה בסיס, גם מבחינת מדעי המחשב יש הרבה מאד ביקורות על המערכות כמו שהן, ובעיקר מבחינה חברתית-פוליטית ההשלכות הן קשות מאד. נגיד יש כל מני מערכות כאלה שעושים את זה בראיונות עבודה, לניתוח מועמדים בראיונות עבודה, והנושא הזה של לעשות את זה לפי זיהוי פנים היה בארה”ב הרבה רעש סביב זה, וחלק מהחברות הורידו בכלל את התכונות האלה סביב הרעש הזה. אז זה הסכנה הגדולה שהיא קשורה באמת להיקסמות שלנו ולתחושה שהמכונות האלה יודעות יותר מאיתנו. זו אולי בכלל איזושהי תכונה אנושית שאנחנו תמיד רוצים שמישהו אולי… מאד מתעניינים בהשתקפות שלנו מרחוק, מאד מתעניינים באיך אנשים אחרים תופסים אותנו. אז בוודאי אם אומרים לנו הנה, זאת מכונה שיודעת לסווג מצבי רוח, אז בוודאי שנתעניין ובוודאי שניתן לה ערך אפיסטמולוגי יותר גדול אפילו משלנו, והיא תשפיע עלינו

אז חלק מהמכונות האלה, אני חושבת שהתגובה אליהן צריכה להיות פשוט איסור מלכתחילה. בדיוק כמו מה שדיברת, מכונה שתחזה לנו מראש לפי תווי הפנים אם מישהו הוא מחבל או פושע או לא, או אם מישהו הוא גיי או לא, או אם מישהו הוא חולה נפש או לא – זה דברים שפשוט צריך להוציא מלכתחילה מחוץ למרחב האפשרי. גם אם לכאורה תהיה טכנולוגיה שבאמת תאפשר פה דיוק. ופה יש בכלל שאלה מה זה דיוק בדברים האלה, שהם משתנים והם דינמיים וברגע שאנחנו מקבעים אותם אז אנחנו פוגעים בדינמיות הזו של החיים. אבל פה אני חושבת שזה צריך להיות פשוט בחוץ

וזה גם כן מוביל אותי בדיוק לבעיה הבאה, שהיא נוגעת להסבריות ולקופסה השחורה. כי נכון לעכשיו באמת, כל הדברים האלה שהם לא פתירים ולא ניתנים לשורה תחתונה, הם נעשים, אבל הם נעשים גם באופן שאנחנו לא מספיק מודעים לזה שהם נעשים. אנחנו לא מודעים למי בסוף הכריע מה זה שמחה ומה זה עצב, ואנחנו לא יודעים איך הוא הכריע את מה שהכריע ולמה הכריעו את מה שהכריעו. אחד הדברים החשובים שצריכים לצמוח זה סוג של דרישה להסבריות ושקיפות של המערכות האלה, ואיך בעצם משתמשי הקצה יכולים לערער על המערכות האלה, לערער על הסיווג ולהציע סיווג אחר. למה סיווגתם אותי עכשיו כשמחה או עצובה? אני רוצה לדעת על סמך איזה מידע? לא לקבל רק פלט אלא לקבל משהו יותר מורכב, אני רוצה לאתגר ולהגיד לכם לא, אני עכשיו לא הייתי עצובה אני הייתי בעצם שמחה. זה כבר יכול להיות עולם חדש ומרתק

ויש כמה מחקרים שמתעסקים בזה, ביכולת של המשתמשים בסוף לתקשר עם המערכת, אבל לא רק במובן שהם סובייקט שכל הזמן נבדק ונעקב, אלא במובן שמציע להם יותר סוכנות, באמת להיות חלק ממערך הסיווג הזה. למרות שגם בפתרון כזה יש הרבה סכנות כי בעצם אנחנו נמצא את עצמנו עוד יותר עובדים אצל החברות האלה. כמו שאנחנו היום משנים את התרגום שאנחנו מקבלים מגוגל אם הוא לא תרגום נכון, ואז ברגע שאנחנו שינינו בעצם עבדנו והוספנו להון שלהם בלי שקיבלנו שום תמורה

כלומר אנחנו לא רוצים שיסווגו אותנו בהעדרנו, אבל אנחנו גם לא רוצים להיות כוח עבודה חינמי שמאמן את האלגוריתמים של התאגידים. שני הדברים האלה קורים היום, זה נבלה וזה טריפה, וזה מראה לנו למה כל כך חשוב שיהיו לנו תשתיות ציבוריות, כי בהן העבודה שלנו תהיה באמת למענינו

אבל נכון להיום בעצם אין לנו שום מגע עם מי שמתכנן את זה, והרבה פעמים גם מי שמתכנן את זה, זה באמת אנשים ממדעי המחשב, הכי חכמים שיש, הכי נבונים ומודעים שיש, אבל הם לא קיבלו את השיעורים האלה על פוקו שאת מדברת עליהם, והם לא מודעים עד הסוף לבעיית הסיווג הזה ולסובייקטיביות הבסיסית שיש בתוך זה, והם כן מנסים להגיע לכל מני נוסחאות זהב שיהיו מתאימות לכל מצב. ואני חושבת שאחד מהאתגרים אולי פה, גם של האקדמיה, היא לחשוף אותם לפוקו ולחשוף את המורכבות הזאת למי שבסופו של יום מתכנת את המערכות האלה  

אז אני לא יודעת מתי מדענים, מהנדסים, ומתכנתים ילמדו פוקו או יבינו לבד את מה שהוא הבין, אבל בינתיים המכונות מסווגות במרץ, ואנחנו בטוחים שהן יודעות משהו שאנחנו לא יודעים עלינו, כי מתמטיקה. ולמרוץ הזה לסיווג יש מחירים גם בדרך. למשל, כדי להגדיר קטגוריה באופן רגיש ובאופן נאמן יותר למציאות, צריך המון דאטה, כמה שיותר משתנים על הקטגוריה. ובשביל זה אנחנו חייבים לאפשר איסוף של כמה שיותר נתונים עלינו, כלומר, להסכים למעקב שהולך והופך פולשני יותר ויותר. ובגלל זה המעקב הוא הבסיס ליישומי בינה מלאכותית

מה שיכול לאפשר את למידת המכונה זה כמה שיותר דאטה, כמה שיותר מידע. כי יש לנו את המערכות המסורתיות של מדעי המחשב שאומרים להן “אם המצב ככה, אז תעשה החלטות כאלה”, אם אתה מזהה שמישהו עומד ליד הדלת תפתח את הדלת. מערכות למידת מכונה, לעומת זאת, לא אומרים להם מראש את הכללים, הן מסיקות את הכללים על סמך המידע, ואחר כך מקבלות החלטות על סמך המידע שכל הזמן נכנס.  אז כדי שמערכות כאלה יעבדו צריך לאסוף המון מידע על הכל. ומה זה בעצם המידע הזה? זה בעצם החיים שלנו. אם חושבים על זה, נעשה פה בשנים האחרונות מפעל תרגום חסר תקדים. לקחת את כל העולם ולתרגם אותו לשפת מחשב. אז ככה אנחנו מתרגמים תמונות, וככה אנחנו מתרגמים רגשות, וככה אנחנו מתרגמים התנהגות, וככה אנחנו מתרגמים בני אדם, ואז השאלה היא האם אנחנו רוצים שכל המידע הזה ייאסף? מה זה עושה לנו שאנחנו יודעים שכל הזמן אוספים עלינו מידע, מה זה עושה להתנהגות שלנו, מה זה עושה ליחסים שלנו? זה דבר אחד. וגם עצם זה שהם נאספים עלינו ואחר כך מוחזרים אלינו בצורת החלטות, שמכריעות האם אני אקבל את העבודה הזאת או הביטוח הזה או לא – בעצם גם פוגעים בפרטיות שלנו, כי הם לוקחים את הנתונים האלה ועושים את זה באופן לא שקוף ולא הכרחי – מקבלים את ההחלטות האלה ולכן מעצבים לנו את הדרך שלנו

אנחנו חוששים ממעקב כי בעבר תפסנו אותו כבסיס לדיכוי. אבל היום זה הפוך כמעט – פוטנציאל הפגיעה בנו גדול יותר אם אין עלינו מספיק מידע וסווגנו כחשודים בגלל זה, או סווגנו לא נכון בגלל זה, על כל ההשלכות המערכתיות שיש לזה. זה ה”מלכוד 22″ שלנו בעידן קפיטליזם המעקב, ולכן אף אחד לא באמת מדבר על הפסקת המעקב עלינו, אלא רק על סוגיות של בעלות על המידע שנאסף

מנגנון הבינה המלאכותית הכי משוכלל, הכי חכם, הכי מתקדם שיש היום, זה המנגנון שמפעילות הרשתות החברתיות ומנועי החיפוש, שבעצם הם חלק מהבעיות שדיברנו עליהן עד עכשיו. אז היום מי שאוסף את המידעים האלה ומשתמש, זה בעיקר אותן חברות פרטיות שדיברנו עליהן ואז השאלה היא גם לאיזה מטרות המידע הזה מעובד. זה היום מעובד למטרות שהן רווחיות עבורן, אבל יכול להיות שגם אנחנו בתור חברה כן רוצים, יכולים להיות הרבה יתרונות מעיבוד המידע הזה אבל אין לנו שום יכולת לעשות את זה כי המידע שלנו על עצמנו לא נמצא בשליטתנו. ואני חושבת שצריך להיות עוד התערבויות שקשורות ליכולת של רגולטורים, של מחוקקים, לפקח על מנגנון קבלת ההחלטות האלגוריתמיות, להיכנס לקופסה השחורה הזו שקובעת איזה תכנים תראי ביוטיוב ומה יהיה תמיד הסרטון הבא שהילדים או שאנחנו רואים, כדי שנדע איך מתקבלות ההחלטות האלה וכדי שנקבע כמה חוקים כלליים של מה לא צריך לעשות

ויש כל מני יוזמות מאד מעניינות שמנסות גם להחזיר את המידע עצמו למשתמשים ואת יכולת השליטה עליו ואז אולי גם את היכולת לשאול שאלות על המידע הזה, לנסות ביחד להפיק ממנו תובנות, כי אפשר להפיק המון תובנות, השאלה איזה תובנות אנחנו רוצים להפיק, על סמך איזה הנחות? אז ברגע שיהיה לנו יותר בעלות כזאת משותפת ולא רק פרטית על המידע שלנו, על יכולת המחשוב שלנו, אז אפשר לעשות עם זה דברים נפלאים. בברצלונה כל המידע שנאסף בעיר עצמה, אם זה ע”י רשויות העיר ואם זה גם ע”י חברות שפעילות בעיר – למשל חברות קורקינטים, חברות שליחויות – אז כל החברות מחויבות למסור את המידע הזה ויש פלטפורמה משותפת שמכילה את כל המידע שנאסף בברצלונה, מה שמאפשר תשתית לכל מני גורמים – ארגונים אזרחיים, בני אדם נפרדים, סטרטאפים – לקחת את כל המידע הזה ולהפיק ממנו כל מני תובנות, ולהפיק ממנו כל מני מוצרים שייטיבו עם הטוב הציבורי הזה

אז למשל ראינו בדיוק לאחרונה כמה אנשים עברו – או לא עברו מווצאפ לסיגנל אבל נרשמו – לסיגנל, ומה שסיגנל מוכרת זה פרטיות. סיגנל אומרת אנחנו לא במודל של קפיטליזם של המידע, אותנו לא מעניין מה אתם מדברים, עם מי אתם מדברים, איך אתם מדברים, מה שאנחנו מציעים לכם זה ערוץ לשיחות שאנחנו לא עוקבים אחריהן, וראינו נהירה גדולה לעבר הערוץ הזה. אז אני חושבת שכן יש כמיהה מאד גדולה למודלים חדשים, שזה גם מודלים כלכליים, יחד עם מודלים טכנולוגיים חדשים, שיאפשרו סוגים חדשים של תקשורת, סוגים חדשים של אפשרויות. אז אני חושבת שדווקא בנקודת הזמן הנוכחית שאנחנו נמצאים בה היום, זה בדיוק המקום שיש איזושהי כמיהה למודלים אחרים, ודווקא אפשר גם להוון את זה, ולהפוך באמת לרווחים את הצורך של אנשים במרחבים מסוג חדש   

---

חנה ארנדט טענה שהמשטרים הפאשיסטיים, שהיו הדיקטטורות של המאה שעברה, נעצרו רק בגלל שהייתה חסרה להם הטכנולוגיה למימוש החזון שלהם. אבל עכשיו היא כאן. הלוגיקה המתמטית שמתיימרת למדל את העולם, להגדיר אותו, ולהכריע בבירור בענייניו, היא לוגיקה דיקטטורית. משילות אלגוריתמית היא בעלת תאימות אינהרנטית לאוטוקרטיה, וזה מפתה להשתמש בה ככה ולהפוך את העולם לסין אחת גדולה

אז זה נכון. קודם כל, חנה ארנדט בכלל, אני חושבת שגם בנושא הזה של טכנולוגיה, אם לקרוא פילוסופית אחת זה אותה, כי היא באמת חזתה וראתה כבר לפני שישים שנה, בדיוק את המצבים שאנחנו נמצאים בהם היום. יש בזה משהו מפתה, גם כי הטכנולוגיה מתבססת על מעקב, וגם כי הטכנולוגיה מאפשרת להעלים אחריות לתוצאות שלה, “זה האלגוריתם, זה לא אני” ככה כל מנהיג יכול להגיד ולמנוע כל מני חיצים לעברו. לכן אני חושבת (עוד פעם חוזרת לרגולציה, אחרי הכול אני משפטנית) שהרבה מההתערבויות שצריך לעשות היום, זה באמת התערבויות שיגרמו לזה שלא נגיע בסוף לאיזשהו מצב ונגיד “אין מה לעשות, זה המצב”. אם זה התערבויות שיגידו שיש מידע שלא צריך לאסוף עלינו, ויש מרחבים שאנחנו נמצאים בהם שלא צריך לאסוף עליהם מידע, ויש החלטות שלא צריך לקבל באמצעים כאלה. ובכלל השאלות לאן החדשנות הולכת, זה לא רק השוק הפרטי מחליט, יש הרבה מאד התערבויות, גם למה לתת ולמה לא לתת תמריצים, שיש גם למדינות את היכולת להתערב ולהחליט בדברים האלה ולכן אני חושבת שצריך לעשות את זה מלכתחילה

מה לפתח ואיך לפתח אולי זאת השאלה, שאלת האפס הכי חשובה, יותר מאחר כך גם אם יהיה שוויון בין גברים לנשים בהחלטות, הכל יהיה מעולה, אפילו יהיה הסבריות והכל – יש דברים שלא צריך לפתח ויש טכנולוגיות שלא צריך לתמרץ. יש הרבה פעמים דיבור של מרוץ חימוש כזה בנושאים שקשורים לבינה מלאכותית ואנחנו אומרים הנה, סין תשיג את כולם ואם אנחנו לא נתפתח בנושא הזה אנחנו נהיה מאחורה, ולכן כדאי שנפתח אלגוריתמים לזיהוי מצב הרוח, כן כדאי שנפתח כאלה דברים או אחרים, ואני חושבת שמרוץ החימוש לא צריך להיות פה. כי אנחנו יכולים לעשות מרוץ חימוש ואז לעשות חברה דיקטטורית לא פחות, אבל השאלה אם זה מה שאנחנו רוצים. אבל זה לא אומר שאנחנו לא נפתח את הטכנולוגיה. העניין של לאיזה כיוונים הטכנולוגיה תתפתח, איזה טכנולוגיה תתפתח ואיזה לא תתפתח, היא בחירה שאפשר לבחור

אבל בגלל שזו באמת עדיין בינה אנושית ולא מלאכותית, כמו שתומר אומרת, אפשר בהחלט לעצב אותה אחרת, באופן שיתמוך בדמוקרטיה במקום לייתר אותה

אז יש לנו כל מני דוגמאות מעניינות שקורות היום בעולם לכן ניסיונות כאלה לעשות דמוקרטיזציה למערכות האלה. למשל יש לנו שרת דיגיטל בטאיוואן, שמה שהיא מנסה להוביל זה רשת חברתית ספציפית לאזרחי טאיוואן, שהרשת הזאת תאפשר להם ביחד לקבל החלטות וביחד לחוקק חוקים. ומה העיקרון שלה, הלוגיקה מאחוריה? שהבינה המלאכותית תעזור למשתמשים להגיע לקונצנזוס. זאת אומרת, בניגוד לבינה המלאכותית שדיברנו עליה ברשתות החברתיות, שהמטרה שלה לגרום לנו להיות כמה שיותר פעילים, בעזרת אולי תוכן רעיל כזה או אחר, בטאיוואן המערכת האלטרנטיבית הזו נועדה ליצור כמה שיותר קונצנזוס בין האנשים ולקרב בין התפיסות. ולכן אם אני אכתוב שם פוסט שהוא מאד מפלג ומאד מקטב, אני לא אזכה לוויראליות. לעומת זאת, אם אני אנסה כן למצוא מכנים משותפים בין התפיסות שלי ושלך ושל אחרים, ולראות על מה אנחנו כן מסכימים, זה יזכה לוויראליות ויעלה למעלה, ולכן אחר כך יהיה גם בסיס להחלטות הרגולטוריות בנושאים הספציפיים האלה

היום אנחנו רואים יותר ויותר קבלת החלטות ביותר ויותר תחומים שמתבססים על הטכנולוגיה הזאת של למידת מכונה: כמה קרדיט הבנק ייתן לך, איזו פרמייה תקבלי בחברת הביטוח; בדנמרק, למשל, הם מחליטים באזורים מסוימים, האם להוציא ילד מהבית ע”י הרווחה כן או לא, באמצעות מנגנון של למידת מכונה; יש הרבה החלטות שהולכות ועוברות לשם. בסין, למשל, כל המנגנון הזה של פיקוח על תנועה עכשיו בימי הקורונה, נעשה ע”י למידת מכונה. אז אנחנו רואים מעבר של המון מערכות, גם מערכות ציבוריות, לקבלת החלטות באמצעות למידת מכונה. אנחנו מדברים על מרחבים שהם יותר קשורים בקשר אנושי ובמשהו שבאמת קשה לכמת ולתרגם אותו, אז ככל שיותר נסתמך על מערכות כאלה אנחנו נפסיד בדיוק את הערך המוסף הזה שקורה בין אנשים, שקורה במרחבים משותפים, שאי אפשר היה לצפות אותו מלכתחילה, שהוא היה חדש, את החדש הזה נפסיד. אבל השאלה איפה, יש תחומים בחיים שאנחנו לא צריכים את החדש, אנחנו צריכים רק לעשות את הישן יותר טוב. אבל השאלה איך מפרידים ביניהם

אז אוטופיסטים ואוטופיסטיות יקרות, אני ממש מבינה את הרצון להיפטר מהפוליטיקה לטובת קבלת החלטות מבוססת נתונים. אבל יש מקומות שבהם היומרה לשדרג את האנושי בעצם משנמכת אותו. ענייני בני אדם הם תמיד עניינים פוליטיים, לטוב ולרע, ואין באמת נוסחאות שיחליפו את המו”מ המתמיד שהוא תוצר של המסע המשותף שלנו. זה מתיש, כן, וזה גוזל משאבים, וזה לא נוח, אבל אלו החיים עצמם

וזה נורא נוח שיש לנו רק איזה מקום שבו אנחנו רק משתמשים בו (אנחנו הרי “המשתמשים”) ולא לוקחים חלק בקבלת ההחלטות, ואנחנו מתרגלים להיות במרחבים כאלה, לאט לאט כל המרחבים הולכים להיות מרחבים כאלה. אני באופן אישי גם, אני לא קוראת הרבה פעמים את תנאי השימוש, וגם אם אני יכולה אולי להשתתף פה אחרת אז אני לא תמיד גם מתנדבת לוועד הבניין או לוועד הכתה או דברים כאלה, כי אנחנו כל כך עמוסים ואין לנו כוח להשתתף בכל ההחלטות לגבינו. גם אני נורא שמחה שמישהו מקבל החלטות במקומי, שמישהו עושה את הדברים במקומי, יש לנו את המשיכה והכמיהה לזה, אבל יש לנו גם הרבה משיכות וכמיהות להרבה דברים והרבה פעמים אנחנו מרסנים אותם גם, אנחנו חושבים שההשלכות שלהם הן לא כאלה טובות, של אותן משיכות וכמיהות. אני חושבת שפה יש כן איזו משיכה ראשונית, אבל יש פה הרבה גורמים שמנצלים אותה, ובאמת תמורת נוחות בעצם מורידים לנו את היכולת לשלוט בחיים שלנו, בהחלטות שלנו, בקשרים שלנו, בתקשורת שלנו, ולא צריך כל כך מהר להיכנע לזה 

השאלה איך מייצרים גם מערכות ומבנים שיתמרצו אותנו לקחת חלק, כי בסופו של יום אני חושבת שאנחנו כן גם רוצים את זה, להיות במקום שכן מקבל בסופו של דבר את ההחלטות, זה מקומות שהאנושיות שלנו באמת מתבטאת ולי לפחות הם גורמים שמחה. למרות שיכול להיות שהאינסטינקט הבסיסי שלי זה לברוח מהם, בסוף בשביל זה אנחנו חיים. אז הרבה מהמערכות האלה סומכות על זה שאנחנו הולכים דווקא עם האינסטינקטים הבסיסיים שלנו ולאו דווקא מה שיגרום לנו כן להתעצם ולגדול ולשמוח. בוא נזכר ברגעים שהרגשנו מועצמים, ברגעים שהרגשנו כוח ואהבה. זה הרגעים שנכחנו בהם, זה הרגעים שהכרענו בהם. מתי אנחנו חיים, מתי יש לנו זיכרון, מתי קורה משהו? ברגע שאנחנו חורגים מהתבניות האלה, חורגים מהחזוי או מגלים משהו חדש שאין לנו שם עדיין, ואנחנו צריכים להבין מהו. וברגע שכל עולם שלנו רק מתנהל בתוך הנחה שהכול ניתן באמת לקטלוג ולמיקסום ולאופטימיזציה ולתרגום, אז אנחנו מאבדים את היכולת לחללים האלה, שבעצם זה החיים עצמם 

אני נזכרת פתאום בקין והבל מהפרק הקודם, ובאמירה של יותר יזרעאלי, שהטכנולוגיה תמיד תנסה לרצוח את הרוח ותשאף לקבע את מה שאמור להישאר דינמי ומשתנה. אז הנה עוד מקום שבו לא כדאי לשאוף לפתרון מוחלט, וחשוב להישאר פעילים וערים, כי האאוטסורסינג הקל והנוח הזה של ההחלטות שלנו, מסתיים בדיקטטורה של בירוקרטיה אלגוריתמית. זו הנטייה “הטבעית” של הלוגיקה ושל הארכיטקטורה כרגע, וזה לא ישתנה לבד, זה לא ישתנה אם אנחנו ניסחף עם זה ונירדם. אז עד כאן להפעם, תודה לד”ר תומר שדמי על הניעור הזה, ונשתמע בפרק הבא

• Facebook
• Instagram
• TikTok

?רוצה לקבל מייל כשהפרק הבא מתפרסם

:מקורות וקריאה להרחבה

ארנדט, חנה. (2010). יסודות הטוטליטריות. תרגום: עדית זרטל. בני ברק: הקיבוץ המאוחד

פוקו, מישל. (1986). תולדות השגעון בעידן התבונה, בתרגום אהרון אמיר, ירושלים:כתר

פוקו, מישל. (2005). הארכיאולוגיה של הידע, בתרגום אבנר להב, תל אביב:רסלינג

Ananny, Mike. (2011). “The Curious Connection Between Apps for Gay Men and Sex Offenders.” The Atlantic. April 14. 

Barocas, Solon , Kate Crawford, Aaron Shapiro, Hanna Wallach, (2017). ‘The Problem With Bias: Allocative Versus Representational Harms in Machine Learning’, SIGCIS Conference

Bechmann, Anja & Bowker, Geoffrey. (2019). Unsupervised by any other name: Hidden layers of knowledge production in artificial intelligence on social media. Big Data & Society. January–June 2019: 1–11.

Bowker, Geoffrey and Star, Susan L. (2000). Sorting Things Out: Classification and Its Consequences. Cambridge, MA: The MIT Press.

Burrell, Jenna. (2015). “How the Machine ‘Thinks:’ Understanding Opacity in Machine Learning Algorithms. Big Data & Society.

Campolo, Alex and Kate Crawford. (2020). ‘Enchanted Determinism: Power without Responsibility in Artificial Intelligence’, Engaging Science, Technology, and Society, 6, 1-19.

Gillespie, Tarleton. (2014). “The Relevance of Algorithms.” In Media Technologies: Essays on Communication, Materiality, and Society, edited by Tarleton Gillespie, Pablo Boczkowski, and Kirsten Foot. MIT Press, pp 167-194.

Gitelman, Lisa, ed. (2013). “Raw Data” Is an Oxymoron. Cambridge, MA: MIT Press.

Hansen, L. K., & Rieger, L. (2019). Interpretability in intelligent systems–a new concept?. In
Explainable AI: Interpreting, Explaining and Visualizing Deep Learning (pp. 41-49). Springer, Cham.

Lanier, Jaron. (29/5/06).Digital Maoism: The Hazards of the New Online Collectivism. Edge.

O’Neal, Cathy. (2016). Weapons of Math Destruction: how big data increases inequality and threatens democracy. New York: Random house.

Pasquale, Frank. (2015). The black box society. Harvard University Press.

Zednik, C. (2019). Solving the black box problem: a normative framework for explainable artificial
intelligence. Philosophy & Technology, 1-24.

Zuboff, Shoshana. (2019). The Age of Surveillance Capitalism: the fight for a human future at the new frontier of power.  New York: Public affairs, Hachette Book Group.