פרק 24. מתכנתות מחדש: בינה מלאכותית פמיניסטית. אורחת אירית שטרנברג

בחלק הראשון של הפרק הזה, אספר לכם בקצרה את ההיסטוריה הנשית הנשכחת, המפתיעה, האפילו מקוממת בנקודות מסוימות, של תחום התוכנה, ונבין כיצד תחום שהומצא על ידי נשים הפך למזוהה כל כך עם גברים. בחלק השני של הפרק נתבונן על תחום הבינה המלאכותית כיום מפרספקטיבה פמיניסטית, בעזרת האורחת שלנו, אירית שטרנברג, שכתבה תזה על גישות פמיניסטיות לבינה מלאכותית באוניברסיטת ת”א, וכיום מובילה את תחום עיצוב השירות בסטרטאפ מיטיגה ובמקביל יוצרת אמנות. את הפרק הזה רציתי במקור לעשות ליום האישה הבינלאומי, אבל יש בו לא פחות אספקט של תיקון שבועות

---

ההיסטוריה של מדעי המחשב, האלגוריתמים והדיגיטציה, כפי שאנחנו מכירים אותם כיום, מתחילה בערב אחד ב-1834. עדה לאבלייס, בתו בת ה19 של המשורר המפורסם לורד ביירון, נתקלת באירוע חברתי בבחור בשם צ’ארלס בבג’, שמדבר כל הערב על חשבונייה מכאנית שהוא בונה. הוא מכנה אותה “המנוע האנליטי” והוא ממש הביא חלק ממנה למסיבה, שזה חנוני ברמות. אבל עדה שלנו, חנונית לא פחות. היא מבינה בדיוק מה היא רואה ומה הוא אומר, יש הטוענים אפילו שהיא מבינה את משמעות הדבר הזה יותר טוב ממנו. בגלל פער הגילאים והמעמד וזה שעדה מתחתנת עם מישהו בינתיים, רוב העבודה המשותפת שלהם נעשית באמצעות חליפת מכתבים. בבג’ נשבה לחלוטין בקסמיה של עדה, שלה הוא קורא “קוסמת המספרים”, אבל הכתיבה שלה מאד עניינית, היא מפוקסת על המנוע האנליטי. אלמלא עדה, בבג’ היה נותר עוד מתמטיקאי מני רבים, כמו פסקל או לייבניץ, שניסו לבנות חשבונייה אוטומטית בדרך למחשב. בינינו, הוא בכלל לא בנה בסוף את המנוע האנליטי. אבל בזכות המחשבות שהיו לעדה לגבי המנוע הזה, יש לנו את הקונספט של הדיגיטציה, את הרעיון של מדעי המחשב. לפעמים טכנולוגיה משפיעה גם אם היא לא ממומשת

את ההשראה לעקרון שעליו תתבסס לימים הדיגיטציה, עדה קיבלה ממכונה תעשייתית אחרת לגמרי שפותחה באותו הזמן. צרפתי בשם ג’קארד המציא נול אריגה אוטומטי, והדבר הזה עורר המון רעש במעמד הפועלים הצרפתי. ההפגנות האלימות של האורגים הצרפתים בראשות נד לוד, זיכו אותם בכינוי “לודיטים”, והמילה הזו משמשת עד היום ככינוי לדחייה של טכנולוגיה על רקע אידאולוגי. הנול של ג’קארד עבד עם כרטיסיות ניקוב שאיפשרו לארוג באופן אוטומטי כל מני סוגים של הדפסים. עדה ובבג’ נכחו בתערוכה שהציגה הדפסי אמנות, ואפילו פורטרט עצמי שג’קארד ארג בשיטה הזו, ונדלקו על העיקרון. עדה כתבה לבבג’ אחר כך: “המנוע האנליטי אורג דגמים מתמטיים כשם שהנול של ג’קארד אורג פרחים ועלים”. לימים, אגב, כשנבנו המחשבים הראשונים, הם באמת עבדו על אותו עיקרון, עם כרטיסיות ניקוב, ממש כמו הנול של ג’קארד

עדה הבינה וכתבה, שהמכונה הזו תהיה מסוגלת לא רק לחשב חישובים מתמטיים, אלא גם לכתוב מוזיקה ולהפיק יצירות גרפיות. באחד המכתבים האלו, עדה כותבת לבבג’ גם את מה שלימים ייחשב לאלגוריתם הראשון: תיאור של תוכנית לחישוב אוטומטי של מספרי ברנולי, שאמורה לפעול על המנוע האנליטי. אבל כאמור, בבג’ מעולם לא בנה את המכונה שלו, ועדה נפטרה בגיל 36 מסרטן הרחם ונשכחה מלב. אם היא לא הייתה הבת של לורד ביירון והזיכרונות שלה לא היו מתפרסמים, עם המכתבים הללו, בשנות החמישים, סביר להניח שהתרומה שלה הייתה נמחקת או מיוחסת לבבג’ לבדו. שלא תחשבו שאין גם היום נשמות טובות שמנסות להמעיט בערך התרומה שלה ולטעון שבבג’ כתב חלק מהאלגוריתם הזה לבד

בינתיים, המאה ה20 נפתחת עם שתי מלחמות עולם, ואנחנו נוטים לשכוח ששתיהן התקיימו לפני שהומצא בכלל מחשב. היום אי אפשר לדמיין פעילות כלשהי בלי מחשב, ועוד מלחמה! מלחמה הרי מצריכה המון חישובים, ברמה הכי פשוטה של לאן לירות תותח, או לכוון פצצה, או טיל, איך להתחשב במהירות הרוח, מזג האוויר, מה הטווח למטרה ועוד. התותחנים, למשל, היו יושבים בשדה הקרב עם טבלאות של טווחים לכל תרחיש אפשרי, שחישבו עבורם מראש. אבל מי חישב אותן? או! אז פרופ’ דיוויד גריר, למשל, גילה שסבתא שלו הייתה מחשב, וכתב ספר ששחזר את ההיסטוריה של הדור שלה. באנגלית זה נשמע יותר טוב: סבתא של דיוויד גריר הייתה קומפיוטר. בראשית המאה ה-20, המילה מחשב (קומפיוטר) לא הייתה בכלל שם עצם, אלא שם תואר של מתמטיקאיות שחישבו חישובים ידניים, בעיקר עבור הצבא, וזה היה המצב עד שהומצאו מכונות שהחליפו אותן ואז ירשו את השם שלהן

מכיוון שרוב הגברים היו בחזית, מי שחישבו את החישובים הללו היו בעיקר נשים, ולעיתים גם ילדים ובעלי מוגבלויות עם כשרון מתמטי. יש תמונות מדהימות מראשית המאה ה20, של חדרים שלמים עם שורות על גבי שורות של נשים בעיקר, שיושבות אל השולחן עם דף ומעין חשבונייה ידנית שהן נעזרות בה, ומחשבות את החישובים הללו שהניעו בפועל את המלחמה. למרות החיוניות של העבודה הזו למאמץ המלחמתי, להיות קומפיוטר נחשב לעבודה שחורה ופקידותית. וכשהצבא נזקק לחישובים מהירים יותר ויותר ובזמן אמת, אז באו גם המהנדסים שהציעו לבנות מכונה שתחליף את הנשים הללו. אנחנו מכירים את המכונה הראשונה שנבנתה לשם כך בתור המחשב הראשון, אניאק, ראשי תיבות של מחשב ואינטגרטור נומרי אלקטרוני

הבעיה הייתה שאניאק ואפילו מארק1 שנבנה אחריו, היו עדיין חצי מכאניים, עם עשרות אלפי צינורות וואקום וחומרה בגודל של בית. הם היו רק חצי “ברי תכנות”, אבל עוד לא הייתה קיימת פרקטיקה של תכנות. אז באופן תיאורטי, אניאק יכל לחשב ב-30 שניות את מה שלקח לקומפיוטר אנושית 30 שעות לחשב. אבל הלכה למעשה, היה פער בין מה שמהנדסי החומרה רצו שהמחשב יעשה לבין מה שהמחשב יכל לעשות בפועל. והיחידות שיכלו לגשר על הפער הזה, היו המתמטיקאיות שעבדו אותה עת כקומפיוטרס. בלעדיהן לא היה לנו תחום כזה שנקרא תוכנה, ולא בטוח שאף אחד מהמחשבים הראשונים הללו היה מצליח לפעול

ג’ין ג’נינגס ברטיק הצטיינה בלימודי המתמטיקה שלה באוניברסיטת פנסילבניה וגויסה ע”י צבא ארה”ב במלחמת העולם השנייה לתפקיד מחשב אנושי, קומפיוטר, שתחשב ידנית מסלולים של טילים בליסטיים. כאשר האניאק נבנה, ג’יין גויסה לעבוד עליו יחד עם צוות של מתמטיקאיות נוספות: אדל גולדשטיין, קיי מקנאלטי, בטי הולברטון, מרלין ווסקוף ופראן בילאס. הצוות הזה המציא למעשה את תחום התכנות על הדרך, תוך כדי פתרון בעיות נקודתיות באניאק. כלומר, תחום התוכנה נולד כקראפט, אלתור, סוג של האקינג של החומרה אפילו. והטכניקות והעקרונות שהן פיתחו, כמו שגרות וקינון פונקציות, מהוות עד היום את הבסיס של התחום. מה שהן המציאו היה בעצם סוג של שפת מכונה בינארית, הרובד הכי בסיסי של תכנות שעדיין היה מאד קרוב לחומרה. אז לעיתים תכופות מדי המתמטיקאיות הללו היו צריכות לזחול ממש לתוך הקרביים של המחשב, כדי להחליף בעצמן צינורות וואקום או לתקן באגים באופן ידני

המהנדסים של האניאק כינו את העבודה של המתמטיקאיות “סופטוור”, מילה שמתארת עבודה רכה יותר, קלה יותר, פחות חשובה אולי, ביחס למילה הארדוור, חומרה. המתכנתות הללו נתפשו כפקידות כמעט, מי שאמורות לתרגם את ההנחיות של המהנדסים למחשבים ותו לא, וזאת למרות שגם הן היו מדעניות, והעבודה שלהן דרשה מתמטיקה ברמה גבוהה והרבה מאד אלתור. כינו אותן “נערות המחשב” ומדדו את שעות העבודה שלהן ב”קילו גירלז”, בחיי, זה מופיע בספר של גריר במקורות של הפרק כאן למטה (בעמ’ 285). במשך שנים רבות, אף אחד לא ידע ולא פרסם את השמות שלהן, ואת כל הקרדיט קיבלו מהנדסי החומרה. יש אפילו צילום רשמי מפורסם של צוות המתכנתות הזה ליד האניאק, שבמשך שנים, רוב האנשים חשבו שמדובר בדוגמניות שהביאו כדי להציג את המחשב. אף אחד לא ידע שהמציגות הינן מתמטיקאיות והן אלו שאחראיות לביצועים בפועל של המחשב הזה. עד שהאניאק כבר היה מוכן, מלחמת העולם השנייה נגמרה, אבל עכשיו נאס”א רצתה את הטכנולוגיה. ואת החלק הזה של ההיסטוריה אתם מכירים משנת 2016 אולי, מהסרט “מאחורי המספרים“, שמבוסס על הביוגרפיה של הקומפיוטרס האפרו-אמריקאיות בנאס”א. אם לא, אני מאד ממליצה לראות את זה

אז בעצם מחשבים קיבלו חפיפה אנושית ארוכה מאד ממחשבות אנושיות, מתכנתות צמודות, שעבדו כקומפיוטרס עד 1964! היבמ 360 היה דגם המחשב הראשון שבתוכו הוטמעו בהצלחה ועברו אוטומציה מלאה כל הדברים שהמתכנתות האנושיות עשו בגופן, ורק אז דור המתכנתות החלוצי הזה נשכח. המילה תוכנה (סופטוור) נכנסה לשימוש שוטף רק ב1958 והמורשת המזלזלת של המילה נשכחה מהר, כי בינתיים תאגידים גדולים החלו להטמיע מחשוב והיה ביקוש רב להתמחות בתוכנה. השכר בתחום הרקיע שחקים וזה משך לתחום גברים רבים ודחק את רגלי הנשים ממנו. הגברים הללו גם כן כונו בארגונים של שנות ה50 וה60 בהתחלה “נערי המחשב”, אבל מהר מאד הם הפכו לקריטיים לארגון ופלשו לתחומי הניהול הבכיר, ושם גם נוצרה היוקרה הטכנית של התחום שסומן כעת כתחום גברי

דור המתכנתים השני הזה הוא שהמציא את שפות האסמבלי השונות, וגם זה היה כל שפה בהתאמה לצרכי הארגון שהם עבדו בו באותו רגע, באותן טכניקות אלתור של נשות האניאק. כשג’יין בארטיק חיפשה את העבודה הבאה שלה בשלהיי שנות החמישים היא לא הצליחה כבר להשתלב בתחום שאותו המציאה. לימים היא עסקה בניסיון להנגיש את מקצוע התכנות לנערות ולמשוך נשים ללימודי מדעי המחשב, אבל היא לא זכתה להכרה על תפקידה הקריטי בהמצאת התחום ובהפעלת האניאק, עד שעיתונאי מהוול סטריט ג’ורנל כתב עליה סדרת טורים בשנות התשעים. ממש כמו שהתהליכים הפנימיים של המחשבים שלנו היום הם בלתי נראים, חבויים ומובנים מאליהם, גם הנשים שפעם ביצעו בגופן את התהליכים הללו היו שקופות, בלתי נראות, נשכחו ונלקחו כמובנות מאליהן עד ממש לא מזמן

לסיפור הזה יש עוד מערכה קצרה. חוקרת החינוך ג’יין מרגוליס ודיקן הפקולטה למדעי המחשב בקרנגי מלון, אלן פישר, כתבו יחד ספר שניסה גם הוא להבין איך הנשים שהיוו את לב מהפכת התוכנה נדחקו לשוליים של מהפכת המחשוב. בין הנתונים שאספו ממגוון מוסדות רשמיים בארה”ב הם שמו לב לנתון מעניין: מספר הנשים שמסיימות לימודי רפואה, עריכת דין, וכל מני מקצועות יוקרתיים אחרים, עולה בהתמדה משנה לשנה. רק במדעי המחשב, המגמה הפוכה ומספר הנשים דווקא יורד. המגמה מתהפכת למעשה בחדות בשנה מאד ספציפית: 1984. אבל זו השנה שבה אפל מצליחה להכניס מחשב כמעט לכל בית, אז מה קרה שם? מרגוליס ופישר מראים שהאסטרטגיה השיווקית והפרסומית של המחשבים טירגטה בבירור גברים צעירים

הם ראיינו נשים שנשרו מהלימודים באותן שנים וגילו שהלימודים היו בנויים כך שהיה מאד קשה להצליח בהם ללא ניסיון קודם כלשהו של לשחק עם מחשב בבית. הם שמעו סיפורים מרתקים מפי סטודנטיות לשעבר, שסיפרו, למשל, שההורים שלהן קנו מחשב בייתי לבקשתן, אבל שמו אותו בחדר של האח שלהן ואז הן לא קיבלו מספיק גישה אליו. הספר של מרגוליס ופישר מדגים איך מדיה ותרבות פופולרית יכולות לייצר תודעה ציבורית ולחולל שינוי מהותי בבית, כזה שיסביר את המפנה יוצא הדופן שהם מצאו בגרף. באוניברסיטה שלהם, קרנגי מלון, הם עשו ניסוי קטן במטרה לנסות לתקן את הדבר הזה: הם הוסיפו קורס היכרות מקדים עם מחשב למי שלא הייתה להם חשיפה מוקדמת, וזה עבד. בשנת 2000, 42 אחוז מהסטודנטים למדעי המחשב בקרנגי מלון היו סטודנטיות, ואחוזי הנשירה של גברים ונשים היו זהים למדי

ב1950, המתמטיקאי אלן טיורינג פרסם מאמר בכתב העת מיינד והעלה לראשונה את השאלה, האם מחשב יכול רק לחשב או גם לחשוב? אותה תקופה ממש התפרסמו זיכרונותיה של עדה לאבלייס וכולם נחשפו למכתבים שלה לבבג’. גם טיורינג קרא אותם. “יש להיזהר מהנטייה להגזים בציפיות שלנו מהמנוע האנליטי” כתבה עדה, “המנוע האנליטי לא מתיימר ליצור שום דבר מקורי. הוא יכול לעשות רק את מה שאנחנו יודעים לצוות עליו לעשות. הוא יכול לעקוב אחר הניתוח אך לא יכול לצפות יחסים אנליטיים או אמיתות”. טיורינג לא מתרשם ומנסח טיעון נגד ללאבלייס, הוא מציע שמכונה מסוגלת ללמידה, ובכך הוא מניח את היסודות לשיח על בינה מלאכותית. כיום יש לנו מערכות לומדות כפי שטיורינג טען, אבל השיח הנלהב על בינה מלאכותית משכיח מאיתנו את העובדה שכל מה שמחשבים עושים, זה מה שהם עשו מאז ומעולם – לחשב. גם המערכות הלומדות הכי מרשימות פשוט עושות מתמטיקה מאד מורכבת במהירות. אבל אנחנו מדמיינים את האפשרות להפצעה של חשיבה מתוך החישוביות, מודעות מתוך המתמטיקה. אולי אפילו אנחנו מאמינים היום שגם חשיבה ומודעות הן לא יותר מסוג של פעולה חישובית

בעשור האחרון מתפתחת גישה ביקורתית פמיניסטית לכל השיח הזה על בינה מלאכותית ועל היישומים שלה. אירית שטרנברג כתבה על זה תזה. אז בואו נתחיל בלהבין את ההבדל בין הבינה מלאכותית שטיורינג דיבר עליה לבין מה שיש לנו היום

כמושג הוא התייחס בעבר בעיקר למה שאנחנו קוראים לו היום בינה מלאכותית חזקה או כללית, שזה בעצם מערכות מחשב שמשתוות או עולות על היכולת הקוגניטיבית האנושית. עם השנים, ככל שהחלום הזה התחיל להראות הרבה יותר רחוק, והבינו שלא מצליחים לייצר את החזון הזה של תודעה מלאכותית בקלות, התחילו להשתמש במושג בינה מלאכותית כדי לתאר משהו הרבה יותר צנוע, מערכות ממוחשבות שפותרות בעיות הרבה יותר צרות וממוקדות, בדומה לבני אדם או בחלק מהמקרים באמת טוב יותר מבני אדם. ומשם גם מגיע השם “בינה מלאכותית צרה”. אנחנו רואים את זה בדברים כמו זיהוי פנים, או ניהול של שיחת שירות, או זיהוי דפוסי צריכה של משתמשים, אבל אנחנו לא מדברים כאן על משהו שהוא טוטאלי, שהוא כל הכישורים האנושיים ביחד

מאז שטיורינג הפיל את הפצצה, פילוסופים רבים כתבו ספרים וניהלו דיונים על בינה מלאכותית. אז מה ייחודי לנקודת המבט הפמיניסטית על הנושא? אליסון אדם, החוקרת הבריטית הראשונה שכתבה על זה כבר ב1995 הגדירה את זה כך: השיח עד כה היה עסוק בשאלת ההיתכנות של בינה מלאכותית ובאילו תנאים היא תתאפשר. אבל השאלה החשובה אינה פילוסופית אלא תרבותית: איך המערכות הללו ישמשו בפועל? איזה מן ידע הן ייצגו? של מי יהיה הידע הזה ואיך הוא ייוצג? אלו השאלות החשובות לפמיניסטיות. אני מבקשת מאירית לנסות לחדד במה שונה הגישה הפמיניסטית מגישות ביקורתיות אחרות שמוכרות לנו היום

כמו שלצורך העניין, ביקורת מרקסיסטית, תתחיל מנקודת מוצא מעמדית או כלכלית, גם כאן בסיפור הפמיניסטי נקודת המוצא תהיה מגדרית. כן מחפשים את הזווית הזו של המקומות שבהם נשים נפגעות תחילה. אבל באמת מה שקורה די מהר זה שהביקורת הפמיניסטית הופכת למשהו יותר רחב, וזה לא שהמגדר הולך לאיבוד, פשוט מתחילים לראות איך הוא מצטלב עם הרבה מאד צירי דיכוי או צירי זהות אחרים. אז בגדול יש כאן את הרעיון שמערכות שליטה, דיכוי, אפליה, הן שלובות. יש קשר בין מגדר לבין גזע, לנטייה מינית, למעמד סוציואקונומי, להשכלה. מה שמדאיג, מדכא, עובר על אישה לבנה שעובדת באיזשהו תאגיד בינלאומי, הוא מאד שונה ממה שמעסיק את המנקה בת המיעוטים שלה. מי שנמצאת בעמדת המדוכאת בסיטואציה אחת תמצא את עצמה בעמדת המדכאת בסיטואציה אחרת. ברגע שאנחנו מבינים שהדבר הזה שלוב, המטרה היא כל הזמן לחשוף את המנגנונים האלה. ובהקשר הזה ספציפית, זה לחפש את המנגנונים האלה של סוגי האפליה השונים בתוך ההקשר הטכנולוגי, בתוך ההקשר של יישומים מעשיים של בינה מלאכותית

דוגמא מאזור 2014/2015 באמאזון, בהתמודדות עם קורות החיים הרבים שמוגשים למשרות טכנולוגיות, באמאזון מנסים לבנות מערכת קבלת החלטות אוטומטית והם עושים את באמצעות אימון שלה על הדאטה של עובדים קיימים. ואחד הדברים שקורים, למרות שזה בכלל לא היה בכוונה, זה שהמערכת לומדת בעצם שהמאפיינים שמזהים נשים הם פחות עדיפים. וזה לא כי מישהו הגדיר לה את זה, אלא כי המידע הקודם תופס קורות חיים בעיקר של גברים, פשוט כי באמת הסיטואציה הקיימת היא סיטואציה שבה יש יותר גברים במקצועות טכנולוגיים. ואז נוצר מצב שאיזושהי הטיה אנושית מבנית שכבר קיימת שנים ונאבקים בה בכל מני דרכים, מקבלת אמפליפיקציה, העצמה, באמצעות המערכת שאמורה להיות ניטראלית. המערכות האלה חוזות את העבר במקום את העתיד, והן משמרות את העבר

במובן הזה השאלה של איך מייצרים כאן פתרונות לבעיות שמרחיקות נשים משוק העבודה, שמייצרות אי שוויון בינלאומי, אי שוויון בין גזעים. זאת אומרת, שאלו יהיו בכלל המטרות שאותן מנסים לחקור, לתקוף, לפתור. ולא מצב הפוך שבו מחפשים רק לתת מענה לצרכים מסחריים, ועל הדרך מעמיקים אי שוויון מכל מני סוגים

כל הנושא של הטיות בלמידת מכונה זה באמת רק קצה הקרחון של הגישה הפמיניסטית ואני לא רוצה שתחשבו שזה המסר שלנו ובזה סיימנו, למעשה רק התחלנו. גישה פמיניסטית היא הרבה מעבר ללחשוב על נשים כמגזר. זו בעצם נקודת מבט אלטרנטיבית על ההיסטוריה של המדע ועל פרקטיקות של ידע, שנוצרו בעבר על בסיס ארכיטיפים של חשיבה זכרית והוצגו לנו כטבעיים, אבל כולנו יכולים להפיק היום תועלת מלהטיל בהם ספק. אתוס האובייקטיביות של הטכנולוגיה והמדע הוא דוגמא מרכזית כאן, והוא רלוונטי במיוחד ללמידת מכונה   

אולי השאלה הכי מעניינת כאן היא למה כל כך קשה לנו לזכור שהמערכת מוטית. למה אנחנו מייחסים לה איזושהי ניטראליות או אובייקטיביות? למה אנחנו חושבים שיחסי הכוח שיש לנו בחברה באופן אינהרנטי, פשוט נעלמים ברגע שמדובר במערכת טכנולוגית? גישה פמיניסטית לדאטה ולפיתוח של מערכות בינה מלאכותית תבוא ותגיד, שאנחנו חייבים לוותר על הרעיון המסורתי של אובייקטיביות כאיזה סטטוס נשגב שלא קשור במאפיינים חברתיים או רגשיים. הרעיון של דאטה כאובייקטיבי הוא בגדול בלוף, ומאחורי הדבר הזה יש טיעון פמיניסטי שכבר קיים כמה עשרות שנים, שמתעסק בשאלה למה סוג האובייקטיביות הזה, הנקי מכל הקשר סובייקטיבי אנושי-חברתי-גופני, הוא פשוט לא אפשרי. הטענה היא שהמדע המסורתי שראה את עצמו כחותר לאיזושהי אמת אובייקטיבית, פספס במשך מאות שנים עד כמה הוא מושפע מהמאפיינים הסובייקטיביים הפרסונליים של העוסקים בו. היה איזשהו נרטיב של “אנחנו הולכים לעבר מבט משומקום”, אם נמשיך ונתקדם במדע, נצליח להגיע לנקודת מבט אלוהית, לא מוטית, רואה את הכל כמו שהוא באמת. ואחד הדברים שהמפעל הפמיניסטי ביחס למדע (האפיסטמולוגיה הפמיניסטית) התחיל להתעסק בו, זה לראות שבעצם היה כאן מנגנון של מחיקת התרומה והידע הייחודי של כל מי שהודר מצוות המחקר

מרבית המחקרים הרפואיים שמתיימרים להגיד משהו על כל בני האדם מתבצעים אך ורק על גברים, ואז מחלות נפוצות אצל נשים הן לא חקורות ולא מובנות ואין להן טיפול, וכל הדבר הזה היה באיזשהו מעטה של אובייקטיביות מדעית, כשבכלל לא נלקח בחשבון שגברים לא רואים את ההטיה שלהם עצמם. אז בשנות ה90 סנדרה הארדינג, שהיא פילוסופית פמיניסטית של המדע, טבעה את המושג “אובייקטיביות חזקה”. היא אמרה: אני לא רוצה ליפול לרלטיביזם ולהגיד שאין דבר כזה בכלל אובייקטיביות, אנחנו רוצים להגיע לאובייקטיביות הרבה יותר טובה, משודרגת, חזקה, באמצעות הכנסה של יותר נקודות מבט. ואז משהו מעניין קורה כאן, שהאובייקטיביות מפסיקה להיות חלוקה בינארית (שדבר הוא או אובייקטיבי או לא אובייקטיבי) – מתחילה להיות סקאלה – ככל שיש יותר נשים בחדר, במחקר, האובייקטיביות תהיה חזקה יותר. ככל שיהיו יותר בני מיעוטים במחקר, האובייקטיביות תהיה חזקה יותר, ויהיה יותר קל לגלות הטיות ולתקן אותן. ובעצם תהיה יכולת להסתכל בצורה ביקורתית על המכנה המשותף של הקבוצה הדומיננטית ולייצג חוויות של הרבה יותר שחקנים

אם לוקחים את הדיון הזה באובייקטיביות לבינה מלאכותית ודאטה, אנחנו מתחילים להבין שיש מאמצים ממש גדולים להציג ולבנות מערכות שמוגשות לנו כאילו הן על-אנושיות. כי הן מבוססות על דאטה שבני אדם לא יכולים להכיל, הן מסוגלות לעשות איזושהי החלטה מאד מהירה, הן מאומנות על דאטה שאולי אנשים אפילו לא יכולים לעבד מרוב שהוא מורכב… וזה לא המצב. כי גם הדאטה הזה יכול להיות חלקי, והוא יכול להיות מקיף אבל לתפוס פערים ואז להציג אותם כעובדות. הממשק המדעי הקר הזה של מערכת שמזינים אליה כמה פרטי מידע ומקבלים המלצה, או עושה ויזואליזציות וגרפים נקיים וכאילו-מדעיים למידע אנושי, הוא פוגע בנו בדיעבד, כי הוא רק משמר את הדבר הזה. ואז אם אנחנו ממשיכות את הקו הזה, אנחנו רואות כאן ערכים חדשים שעולים. אז נגיד שקיפות הופכת להיות הרבה יותר חשובה מאובייקטיביות. שקבוצת מחקר תבוא ותפרסם את הפערים בדאטה שלה, את הדברים שהוא לא מכסה, את ההטיות שהתגלו, הצגה מציאותית של המערכת

מתוך המקום הארכיטיפי הזכרי הזה של חשיבה מופשטת ואידאליסטית, מגיעה גם החתירה לממוצע, לאדם הסביר, הדאגה למיינסטרים. החשיבה הפמיניסטית מושכת לכיוון קרקע המציאות, למגוון שקיים בפועל, לתשומת הלב אל השוליים דווקא

יש עוד כיוון שאפשר ללכת בו מהסיפור של אובייקטיביות חזקה. כשמבינים שיש ערך לעמדות שוליים, עמדות של מיעוטים, כי מה שרואים משם לא רואים מכאן, כי זה מה שהופך את האובייקטיביות לחזקה, אז אפשר גם לדבר על פלורליזם בפיתוח טכנולוגי כערך פמיניסטי. אז מצד אחד (וזה הצד היותר בנאלי או המוכר) פלורליזם בצוות העבודה. ככל שהצוות יהיה מגוון יותר, צרכים של יותר אנשים יילקחו בחשבון. אבל מצד שני, יש כאן ממש עקרון משמעותי לתהליך עיצוב: עיצוב מהשוליים, עיצוב עבור מגוון. זאת אומרת, לחשוב על המערכת הטכנולוגית, כשמשתמשים שנמצאים בשוליים, או אנשים שנמצאים בשוליים החברתיים, הם אלה שמעניינים קודם כל

ניקח דוגמא: אם נגיד יש לנו איזשהו סיווג מגדרי במוצר, והוא מותאם למכנה המשותף הרחב ביותר, לממוצע, הסיווג יהיה באופן טבעי לגבר ואישה. זה אומר שלאנשים נון-בינאריים תהיה בעיה אוטומטית עם המערכת הזאת. ואם המחשבה על מקרה הקצה הזה הייתה מנחה את התהליך והיינו חושבים כאן על המיעוט הנון-בינארי, בגלל שהוא מיעוט, התוצאה הייתה יכולה להיות גם נעימה יותר, כי  אנחנו מדברים כאן על קבוצת אוכלוסייה שהייתה מרגישה שלוקחים אותה בחשבון ולא מוחקים את הזהות שלה, אבל בעיקר הוגנת יותר, כי בחלק מהמקרים בכלל הם לא יכולים להזדהות ע”י המערכת או למלא איזשהו טופס, או לבוא איתה במגע בגלל שהם לא עונים על השיוך המגדרי הממוצע הזה

וכדי להסתכל על האובססיה שלנו לממוצעים ולפרק אותה, שווה אולי להסתכל על ההיסטוריה של הסטטיסטיקה קצת. זאת אומרת, זה תחום שצמח עם המודרנה, עם מדינות הלאום, במידה רבה ככלי שליטה של מדינות חדשות באוכלוסייה שלהן, והיו סיבות מאד טובות להתמקד בממוצעים ובקביעת מה זה נורמלי. הצרכים של אוכלוסיות השוליים לא היו מתועדפים. אז עשייה פמיניסטית תתמקד באיתגור המנגנון הזה, היא תחפש מענה צודק לאוכלוסיות רחבות ככל הניתן, עם מיקוד בקצוות ובשוליים ולא באלה שקרובים לממוצע, זה כי הממוצע מקבל את המענה האוטומטי ובדיוק בקצוות נמצא אי הצדק. ואולי נשאל מה הדבר הכי גרוע שיכול לקרות? מי האנשים שעשויים הכי להיפגע? וזה מנוגד במובן מסוים לנטייה הטבעית שהיא להיות עסקיים, ענייניים, מהירים, ולכוון להצלחה כמה שיותר מהירה, בלי ביקורת בדרך. יש איזה סיפור נפוץ שאומר שאנחנו בונים בינה מלאכותית כדי שזה יקל לנו על החיים, יחסוך לנו קבלת החלטות, וזו הגישה שלנו לכל מערכת. כאילו ברור שצריך להטמיע אותה, ברור שצריך להכניס אותה, היא משפרת הכל. ואני מציעה לא למהר לקנות את הסיפור הזה

אבל גם אם נחזור לרגע לרעיון העתידני הספקולטיבי יותר של בינה מלאכותית כללית או חזקה, יש לפמיניזם מה לומר על זה. אם הרעיון בבינה מלאכותית הוא לחקות מאפיינים אנושיים, מהו דגם האנושיות שלה? מהי אבן הבוחן להצלחה שלה? האם הכיוון שאנחנו הולכים בו כרגע בכלל רלוונטי

אם אנחנו מסתכלים על החזון המקורי של בינה מלאכותית כללית, הדוגמאות שיש לנו היום לעיסוק בנושא הזה הן די מטורפות בעיני, כאילו עד כמה הן רחוקות מהתפיסה הפמיניסטית. ואני אתן שתי דוגמאות. אז אחת, זה נגיד המקרה של דיפ מיינד, שזו באמת קבוצת המחקר מהמובילות ביותר שיש היום בעולם סביב בינה מלאכותית כללית. הם בגדול תוקפים את הבעיה הזו באמצעות פיתוח מערכת שיכולה לנצח במשחקי מחשב. ואני מסתכלת על זה ושואלת מה זאת אומרת, איך זה יכול להיות? כי אם היו שואלים אותי מה הופך אותנו לבני אדם, מה עושה אותנו אנושיים ומה מעניין להשיג באמצעות בינה מלאכותית חזקה, הייתי חושבת על דברים כמו תקשורת בינאישית עשירה, שפה חוש אסתטי, יצירתיות… אני לא בטוחה מתי בכלל ברשימה הייתי חושבת על סקיל (כישור) כמו לשחק במשחקי אטארי או לנצח ב”גו”. יש פה שאלה של מה סוג הבנאדם שהמערכת הזו מדמה, מי זה הבנאדם הזה שעליו היא מתעלה? ואם אני אעשה לזה איזושהי הפשטה, אז למה בעצם האנושיות שבחרנו זה דמות של, נגיד, בחור צעיר שתקוע במשחק מחשב 12 שעות, ולא הדמות של הסבתא עתירת הידע וחכמת החיים שלו – ולעשות אוטומציה לכל הידע שלה

עם כל טכנולוגיה חדשה יש לנו גם הזדמנות ללכת בכיוון חדש ולא בהכרח לשעתק יחסי כוח ישנים, מדוע אנחנו לא לוקחים אותה

כל העולם הזה של רובוטיקה ושל הגפנה זה תחום שלא דיברנו עליו כל כך, למרות שהוא מאד פופולרי באופן שבו מציגים בינה מלאכותית גם מבחינת מה תופס: רובוטיות נשים מאד יפות וגם מוזרות, וגם ייצוגים קולנועיים ב”היא”, ב”אקס מאכינה”. זאת אומרת, למה חייבים לתת את המגדר? כאילו יש לנו כבר הזדמנות לייצר משהו שהוא לא ממוגדר, לצורך העניין, ואנחנו הולכים ונוטים להלביש על זה את האבחנות הדיכוטומיות הבינאריות האלה שאנחנו מכירים מהיומיום. אם אני ממשיכה את הקו הזה של עיצוב מהשוליים ושל חשיבה על השוליים, בא לי לראות בינה מלאכותית נון-בינארית כדי להתמודד עם הדבר הזה. זאת אומרת, אין כאן אילוצים ביולוגיים, אנחנו יכולים ללכת לאיזשהו מקום שהוא באמת לא ברור מבחינה מגדרית. והדבר השני זה שבאמת זה מייצר איזו מחשבה על מה קורה כאן מבחינת היכולת או הניסיון הזה לנטרל את הפחד מבינה מלאכותית, באמצעות לשים אותה בגוף שהוא כאילו נשלט. מה קורה ברגע הזה של היצירה של מערכת מעניינת, מסוכנת, מאיימת, שאנחנו גם כל כך ממהרים לתת לה גוף, ספציפית גוף נשי

את הפן החביב עלי בביקורת הפמיניסטית שמרתי לסוף, ואולי “פה קבור הכלב” של כל מה שדיברנו עליו. זו ביקורת על אחת התמות המרכזיות בפילוסופיה פוליטית – תמת השליטה. האופן שבו אנו תופסים את עצמנו כלכודים ביחסי שליטה, יחסי עבד ואדון, עם הטבע, עם הטכנולוגיה, בינינו לבין עצמנו. האם אולי אפשר לחשוב על זה אחרת

הרעיון הזה של אינטליגנציית-על שאנחנו רואים את זה אצל ניק בוסטרום, אנחנו רואים את זה בוודאי בקולנוע במדע בדיוני, יש פה איזה דימוי של בינה מלאכותית חזקה שמאיימת על האנושות כולה והיא מחפשת להשתלט. ואז כאילו אני תוהה לגבי זה: למה שהיא תהיה חייבת לרשת מאיתנו את הנטיות האגרסיביות ואת הרצון הזה לשלוט בטבע? למה הרעיון הזה שחכמה ושליטה הם שזורים אחד בשני הוא כל כך הכרחי? אולי בינה מלאכותית חזקה יכולה לדמות אנושיות שהיא לא של הגבר המערבי הסטריאוטיפי שיוצא למלחמה נגד כל מי שמפריע לו ומסתכל על העולם כמשחק סכום אפס. יש כאן איזשהו מודל אחר, למשהו שהוא באמת מוכוון שיפור חיים של כמה שיותר אנשים בעולם. אם יש תקווה לזה אז אני באמת משוכנעת שהיא מתחילה מתיאוריה פמיניסטית, ומהמאמץ הזה לעולם שהוא יותר הוגן ושהוא מצליח לשחרר את כולם באותה מידה. אין פה איזה ניסיון לבוא ולהגיד: היי גברים, אתם שלטתם עלינו כל כך הרבה שנים, עכשיו תורנו לשלוט. יש פה ניסיון להעלות את האוכלוסיות שהיו מוחלשות ומודרות לרמה שהיא שווה,  לאו דווקא מאיימת

ובבינה מלאכותית זו באמת הזמנה לצאת מהמחשבה על בהכרח בינה מלאכותית כמשהו שאנחנו שולטים בו או הוא שולט עלינו. אני חושבת שפוטנציאל הנזק הגדול הוא הרבה יותר סביב שימושים אנושיים לא הוגנים ולא צודקים, מאשר בינה מלאכותית שתשתלט עלינו ותמשיך ותשמר את הדינמיקה הזו של העבד והאדון ופשוט תהפוך אותה. יש כאן איזושהי התנגדות להסתכל על מדע, על החקירה המדעית, על הפיתוח הטכנולוגי, כאמצעים שמכוונים אך ורק להשגת שליטה על הטבע. זאת אומרת, כל הזמן הפמיניזם יפנה את המבט אל סיפור יחסי הכוח, סיפור חיפוש השליטה. האופן שבו המדע הגברי חיפש להחיל שליטה על הטבע, דומה מאד לאופן שבו בהרבה מאד מנגנונים אחרים, גברים חיפשו להחיל שליטה על נשים, והמערב ניסה לבסס שליטה על מדינות שהוא כבש ברחבי העולם. והסיפור הזה של להגיד שאנחנו לא עושים מדע וטכנולוגיה לטובת שליטה אלא לטובת שיפור, לטובת יותר צדק, לטובת חיים טובים יותר של כמה שיותר אנשים – הוא בעצם הסוויץ’ המחשבתי. היעד הוא אחר לגמרי. ואז באמת המבט שמחפשים הוא לא ממש לא האלוהי, והאובייקטיביות החזקה מגיעה מהמקום המרחבי הזה של כמה שיותר אנשים יקבלו גילום וייצוג בקבוצת המחקר, וגם ירוויחו מהתוצאות של המחקר ומהתוצאות של הפיתוח

כרמל: בפרק חמש כשהצגנו את הפוטוריזם האיטלקי, הזכרנו בקצרה את הבוז לנשי שאפיין אותו. זה לא היה בוז לנשים אלא לנשי כארכיטיפ. הנשי ייצג את הטבע, הגוף, העבר, קרקע המציאות וקול ההיגיון השקול, כל מה שהפוטוריסט ביקש לבעוט בו ולצאת ממנו אל הטכנולוגי, המהיר, החדש המסוכן והמרגש. בתנועה הפוטוריסטית היו חברות הרבה נשים שביקשו גם הן לבעוט במה שהנשי ייצג, כמו שהיום יש הרבה גברים שלא חושבים בכלל דרך מה שהגברי הארכיטיפי אמור לייצג. אבל ההתפתחות הטכנולוגית מוזנת כיום מאותה חשיבה גברית ארכיטיפית, אנחנו רוצים להיות מוקסמים מהאפשרויות של הבינה המלאכותית ונדמה שהביקורת הפמיניסטית, על הנשים והגברים שמזדהים עם קול ההגיון שלה, פשוט באה לבאס

אירית: לגמרי. כאילו יש פה ניסוח הרבה יותר צנוע, הרבה פחות מגלומני, של איזה מטורף זה שיש לנו את היכולת לייצר כלים טכנולוגיים כל כך חזקים,  בואו נזהה בעיות אנושיות אמיתיות, נפתור אותן, ולא ננסה לייצר כאן איזה קרב בבינה מלאכותית מטורפת פוטנציאלית שתשתלט עלינו כמו במטריקס, בזמן שאנשים בני מיעוטים לא מצליחים להגיע להלוואות, להשכלה גבוהה, נשים מודרת ממקצועות טכנולוגיים ועוד מלא סוגי אי צדק ממשיכים לקרות מתחת לכל הדיון הפילוסופי-טכנולוגי-מתוחכם הזה

---

שימו לב שלכל צד בדיון הזה יש תפיסה פוסט-הומניסטית שונה. הצד הזכרי הולך על ארכיטיפ אל, על-אנושי, בלתי פרסונלי, מופשט, ואילו הצד הנקבי מבקש טשטוש גבולות, ללכת מעבר לבינאריות של המגדר. בשניהם יש משהו פוסט אנושי בעצם. בניתי את הפרק הזה על המתח בין הפרגמטיות שהחלה עם עדה לאבלייס לגבי תוכנה ככלי אנושי לפתרון בעיות, לבין החלום של טיורינג על מכונה עם תודעה. אבל אני רוצה לסכם את הפרק הזה עם סיפור מתוך הביוגרפיה של טיורינג, שיש לו משמעות מגדרית, והוא יטלטל לנו את הרצף הזה. בגלל נסיבות חייו, טיורינג לא יכול להיות הנציג של החשיבה הגברית הארכיטיפית, והלקח מהסיפור שלו מורכב יותר

אלן טיורינג היה גיי והוא לא הסתיר זאת, בתקופה שבה הדבר נחשב לפשע בבריטניה. ממשלת בריטניה העריכה מאד את תרומתו המקצועית ולכן ניסתה לעזור לו, ושלחה אותו ל”טיפולי המרה” כימיים. אותה תקופה האמינו שהנטיה המינית שלו נגרמת בגלל עודף טסטוסטרון ויש לאזן אותה עם הורמון נשי, אסטרוגן. את זה לא הראו לכם בסרטים הדוקומנטריים על טיורינג, אבל אתם יכולים לקרוא על זה בויקיפדיה ובביוגרפיה שלו. בשנותיו האחרונות טיורינג הסתגר בבית, סבל מהשמנה, דכאון, וגדלו לו שדיים בגלל האסטרוגן שחייבו אותו לקחת. כולנו יודעים איך זה נגמר, שככל הנראה הוא נטל את חייו

בספר “אתה לא גאדג’ט” ג’רון לניר מפנה את תשומת ליבנו לכך, שטיורינג כותב את החיבור הכי משמעותי שלו – השאלה אם המחשב יכול לחשוב ומבחן טיורינג לבדיקת היכולת הזו – ממש באותן שנים שבהן הוא חווה משבר זהות מגדרי עצום. רבים לא יודעים שמבחן טיורינג המקורי לא כלל רק אדם מול מכונה, אלא היו שם גבר, אישה, ומכונה. טיורינג תהה אם אפשר לדעת מרחוק, בלי גוף, מי גבר, מי אישה, ומי אינו אנושי בכלל. אולי המבחן הזה בכלל לא היה על המחשב, אלא על גבר ואישה. סביר להניח שטיורינג ראה את גופו משתנה ותהה לגבי מהותו ועד כמה היא קשורה לגוף. אז בהקשר הזה ועל הרקע הזה, לפני שהוא נוטל את חייו, בעיצומו של משבר מגדרי-זהותי שכזה, כשטיורינג שואל האם מחשב יכול לחשוב, האם הוא באמת התכוון לזה? לניר חושב שאולי זו תהייה אבסורדית, שנובעת ממשבר זהות, ועצם זה שדורות אחר כך אנחנו עדיין מתייחסים ברצינות לאפשרות הזו, זו בדיחה על חשבוננו, הוא אומר. בדיחה של אדם טראגי, שאולי רק רצה להבין מה צריך להיות כדי לקבל יחס אנושי בעולם הזה

אז אם כבר יצא לנו פרק לחג, הנה לכם רעיון להגות בו בתיקון השבועות, ולתקן את כל הסיפור הזה של בינה מלאכותית, זו המשימה שלנו. עד כאן להפעם, נשמח לתגובות על הפרק מתחת לתמלול כאן, בפייסבוק או באינסטגרם, נשתמע בעוד שבועיים וחג שמח

• Facebook
• Instagram
• TikTok

?רוצה לקבל מייל כשהפרק הבא מתפרסם

:מקורות וקריאה להרחבה

שטרנברג, אירית (2017). “פמיניזם ובינה מלאכותית: דיון מהאפיסטמולוגיה הפמיניסטית בהוגנות והטיות בלמידה חישובית”. עבודת תזה במכון כהן להיסטוריה ופילוסופיה של המדעים והרעיונות, אוניברסיטת תל אביב

Adam, Alison. (1995). A Feminist Critique of Artificial Intelligence. The European Journal of Women Studies, Vol 2: 355-377.

Adam, Alison. (1998). Artificial Knowing: Gender and the thinking machine. Routledge.

D’Ignazio, K. and Klein, L.F. (2020). Data Feminism (Strong Ideas). Cambridge, Massachusetts: The MIT Pres

Essinger, James. (2014). Ada’s Algorithm: How Lord Byron’s Daughter Ada Lovelace Launched the Digital Age. Melville House: Brooklyn, New York.

Ensmenger, Nathan. (2010). The Computer Boys Take Over: Computers, Programmers, and the Politics of Technical Expertise. Cambridge, MA: MIT Press.

Grier, David Alan. (2005). When Computers Were Human. Princeton, NJ: Princeton University Press.

Harding, Sandra. (1993). Rethinking standpoint epistemology: What is strong objectivity? In L. Alcoff, & E. Potter (Eds.), Feminist epistemologies. London: Routledge.

Harding, Sandra. (1986). The science question in feminism. Ithaca: Cornell University Press.

Lanier, Jaron. (2011). You Are Not a Gadget: A Menifesto. Penguin Random House.

Light, Jennifer, S. (1999). When Computers were Women. Technology and Culture, Vol. 40, No. 3, pp. 455-483.

Margolis, Jane & Fisher, Allan. (2002). Unlocking the Clubhouse: Women in Computing. Cambridge, MA: MIT Press.

Wajcman, Judy. (2004). TechnoFeminism. Cambridge, UK: Polity.