להאזנה לפרק לחצו פליי כאן, יש לגלול מטה על מנת לקרוא את התמלול
להאזנה בכל יישומוני ההסכתים או לצד תמלול כאן באתר
הרבה מהאנשים שליוויתי, הם רוצים להיות יותר רנדום (אקראיים) כאלה, או שהם פתאום עוברים לכל מיני שיטות לא טכנולוגיות בשביל לכתוב רעיונות, בשביל לא להיות קונסיסטנטיים על דברים. אז זה כזה מותר האדם מן הבינה המלאכותית מבחינתם
שלום, אני מתנצלת על הירידה בתדירות של פרסום הפרקים בגלל קוצר הזמן שלי בתקופה הזו, וההשקעה המטורפת הנדרשת בעריכת פרקי הפודקאסט השני שלי במקביל. אז אם טרם האזנת לפרקים האחרונים שעלו ב”דינוזאוריות רשת“, על אתרי המוסיקה המיתולוגיים מומה ואבטיח, חובה להוסיף לרשימת ההשמעה. נחזור למצב הפוסט אנושי. חמשת הפרקים הקרובים יעסקו בטכנולוגיות מזוויות כאלו ואחרות, פרק 100 הוקלט כבר מראש עם אורח שווה ומיוחד, ואחריו תתחיל סדרה של פרקים על אפוקליפסות, אוטופיות, נבואות וכו’, אז יש למה לחכות
בפרק הנוכחי, שהוקלט באולפן הפודקאסטים של ספריית בית אריאלה, נעסוק באתיקה של בינה מלאכותית מזווית אנתרופולוגית. האורחת שלי היא
אני דוקטור מעיין כהן, אנתרופולוגית, פוסט-דוקטורנטית במחלקה לניהול בתל אביב באוניברסיטה, וגם עמיתת עזריאלי
מעיין הייתה אמורה בכלל להיות סוג של ביל קלינטון הישראלית. אבל רצה הגורל שהיא הגיעה למקום הנכון בזמן הנכון, כדי לעסוק במשהו אחר לגמרי
אני הגעתי לאוקספורד כדוקטורנטית ב-2017, אבל הגעתי לשם לא רק בכובע של דוקטורנטית, הגעתי גם בכובע של מלגאית רודס, הראשונה הישראלית. מלגת רודס היא מלגה מאוד יוקרתית, שמקבלים אותה 100 ומשהו איש מהרבה מקומות בעולם בשנה, אלה אנשים צעירים שרואים את עצמם כמנהיגי העתיד. מנהיגים גדולים כמו ביל קלינטון וכו’ יצאו מהמלגה הזאת, אז האווירה שם היא אווירה של אוקיי באנו לכאן לאוקספורד, למקום שהוא סוג של מרכז העולם האינטלקטואלי, בשביל לפתור בעיות קשות וחשובות. עכשיו, אחת הבעיות הכי קשות וחשובות שדיברו עליהן ב-2017, היה הנושא של הבינה המלאכותית
אוקספורד זה גם מקומו של ניק בוסטרום עם המכון לעתיד האנושות, כלומר דיברו על סינגולריות ועל אינטליגנציית-על. אם כמה שנים קודם לכן היו מהפכות מדהימות בהקשר של ראייה ממוחשבת, השנה של 2017, יותר 2018, היו שנים מטורפות בהיבט של המדע של בינה מלאכותית בעולמות של שפה. אז זה היה איזשהו מין אנחנו באיזשהו אביב של בינה מלאכותית מדברת, או מבינה שפה
כרמל: אולי ראוי להבהיר באמת, שאנשים מכירים את ג’יפיטי רק מג’יפיטי 3 ב-2022. התקופה הזאת שאת מדברת עליה, היה ג’יפיטי 2 שהיה די מדהים. פשוט הוא לא היה משוחרר לציבור, זה לא היה משהו שכולם דיברו עליו, אבל בעולמות הטכנולוגיה זה היה דבר ענק. הרבה כבר דיברנו על הדברים האלה
מעיין: נכון. להיות בן אדם שמגיע לאוקספורד בתקופה הזאת, זה להיות בן אדם שכל הזמן הולך לשיחות עם אנשים שמגיעים מדיפ מיינד, או הולכים לשמוע את ניק בוסטרום, כלומר הולכים ושומעים את כל האושיות האלה שמדברים על מה קורה ומה יקרה. היינו מאוד מושפעים מזה, אז החלטנו לתרום את חלקנו. הצטרפתי לכמה חבר’ה שם שהקימו מעבדה, מעבדה חברתית הם קראו לה, אקשן לאב, שבה הם בעצם נתנו ייעוץ לכל מיני גופים ממשלתיים, גופים פרטיים, איך לעשות בינה מלאכותית מיטיבה. לימים אני גם ניהלתי את המעבדה הזאת. מהר מאוד הבנתי שיש כאן שאלה שהיא הרבה מעבר לשאלה טכנית. נגיד אחד הפרויקטים שעבדנו עליהם עבור גוגל, היה איך להפוך את האינטרנט ליותר בריא, והרעיון היה שאנחנו רוצים לעשות אוטומציה הרבה יותר טובה משהייתה פעם לכלים למודרציה
אבל כל השאלה של איך לאמן מודל, ועל פי איזה ערכים, ואיזה דוגמאות נותנים לו בכלל, זה מאוד תרבותי, וזה מאוד לא פשוט לשאול, וגם מאיפה מביאים את הדאטה. כלומר, לקחנו דאטה מהתגובות של עיתון קנדי מאוד ספציפי. אז כל הגזענויות שם הן מאוד ספציפיות לקנדה, למשל. אז עבדתי על זה בכובע של יותר אנתרופולוגית מעשית, כמישהי שעושה דברים ולא חוקרת אותם מבחוץ, אבל כל הזמן אמרתי, אוקיי, יש פה הרבה מאוד מה לחקור
אבל את כל זה מעיין עושה בזמן שהיא עושה דוקטורט באוקספורד, על משהו אחר לגמרי, לכאורה. ואני מוסיפה לכאורה, כי אצל מעיין זה דווקא ממש מתחבר
באתי מתל אביב עם הרבה מאוד רקע באנתרופולוגיה פסיכולוגית. מהו העצמי היוצר, מהו סבל, כלומר דברים שהם הרבה יותר אישיים כאלה. אבל כן באתי עם הרבה שאלות גם פוליטיות. ובאנתרופולוגיה יש קצת ניתוק בין אנתרופולוגיה פסיכולוגית לבין אנתרופולוגיה פוליטית, אז עניין אותי לחבר בין שני העולמות התיאורטיים האלה. ואז חשבתי אוקיי, איזה קייס יכול להיות קייס מעניין? ואלו היו שנים עם הרבה כותרות סביב הקולנוע הישראלי. לפני זה, 2016, כל העניין של מירי רגב עם שמלת ירושלים בקאן… אז אמרתי, אוקיי, קולנוע ישראלי זה מקום שבו יש גם יוצרים שמתעסקים בסבל ואמת ובפצע שלהם, אבל גם יש איזשהו עולם פוליטי מסוים, של ממשלה שמאוד מחרימה ומורידה תקציבים, ופסטיבלים עולמיים שיש באמת להיות ישראלי שם ומה זה אומר. אז הלכתי לזה
ואני חושבת שהמחקרים שלי על בינה מלאכותית היום הם מאוד תוצר של המחקר שלי בדוקטורט בהרבה מובנים, למרות שלא תמיד קל להסביר את זה. הממצא העיקרי שלי בדוקטורט היה שהגענו לאיזה שהוא מין רגע בקולנוע הישראלי (וגם העולמי, אבל הקולנוע הישראלי יש בו ניואנסים מסוימים), שאנשים מרגישים שהם יכולים וצריכים לספר רק את הסיפור האישי שלהם. עבדתי בעיקר עם קולנוענים מאוד צעירים שהם לומדים קולנוע או שהם בסרט ראשון, והם מאוד היו שקועים ברעיון הזה של קולנוע אמיתי, ייצוג של מציאות הוליסטית, טובה, נכונה גם אתית, נכונה פוליטית, היא להביא את הסיפור האישי שלי למסך. אז בעצם הדוקטורט שלי עוסק הרבה בנושא הזה של מהם הגבולות של ייצוג המציאות, בצורה שהיא בעצם מלאכותית, שזה הקולנוע בעצם, ומה נכון ולא נכון
אני חושבת שהרבה מאוד מהעולם של ייצור של צ’טבוטים הוא עולם כזה, של לקחת איזשהו משהו מין המציאות, או מדומיין כמציאותי – כמו שיחה, או שיחה בריאה, או שיחה תקינה פוליטית – ואיך משכתבים אותו אחרי זה כמשהו של צ’טבוט, ומה הגבולות של זה, וכמה מציאותי זה צריך או יכול להיות וכו’. כלומר, יש הרבה שיח על ריאליזם ומה גבולותיו הפוליטיים, והאתיים, והאפיסטמיים גם באיזשהו מקום
כרמל: זאת נקודה שממש חשוב לי להדגיש. למעיין החיבור הזה כאילו מובן מאליו, אבל זה לא טריוויאלי בכלל. ברור לנו שאומנות, קולנוע וכו’ הם ייצוג של המציאות. אני לא חושבת שזה מספיק ברור לנו שגם בינה מלאכותית היא ייצוג של המציאות. בקולנוע אנחנו מבינים שזאת יצירה אישית, אבל בטכנולוגיה יש מצג של אובייקטיביות, וכולם מעמידים פנים שהאייג’נט שיצרנו מספר סיפור אוניברסלי, ואולי אפילו אובייקטיבי. אני נזכרת למשל ב-2008, כשכריס אנדרסון מכריז במגזין וויירד על קץ התיאוריה המדעית, כי מעכשיו יש לנו את הדאטה הגולמי והמידע הישיר על הכל, הביג דאטה. אבל בפרק 30 עם תומר שדמי, דיברנו על זה שדאטה גולמי הוא אוקסימורון, שדאטה לא גדל על העצים, וגם לא ממתין לגילוי כמו נפט באדמה, כמו במטאפורה המטעה הזאת של דאטה הוא הנפט החדש
דאטה סט תמיד מובנה, בדיוק כמו שאני בוחרת באיזה פריים להתמקד כשאני מצלמת. אבל עם דאטה זה עוד יותר עמוק, כי הוא מהווה תרגום של המציאות לשפה של מספרים מלכתחילה, ולכן הוא כבר ייצוג של המציאות ברובד הזה. אבל משום מה, מספרים נתפסים כדבר אובייקטיבי יותר, וקצת שוכחים שגם הם מערכת ייצוג של העולם, כמו שפה. אז כל מה שבינה מלאכותית מג’נרטת, הוא ייצוג של המציאות בדיוק כמו קולנוע. ולכן מעיין ניגשת להתבונן בתוצרי הבינה, באותם הכלים בדיוק. כשאני פגשתי את מעיין לראשונה, היא בכלל תכננה לחקור רובוטים מזווית אנתרופולוגית
מעיין: אני מהר מאד ירדתי מרובוטים כי הבנתי שבגלל הנושא של החומרה, רובוטים תמיד יהיו אחרי הדברים האבסטרקטיים. כלומר, הבנתי שמה שרובוט יעשה, מודל שפה יעשה הרבה קודם. כשהגשתי בקשות לפוסט-דוקים, היה לי מורכב להסביר למה זה חשוב לחקור צ’אטבוטים. כי בתקופה היא, זה היה 2020, צ’אטבוטים עבור אנשים שראיינו אותי למלגות, היו כזה, אוקיי, לחץ 1 אם אתה רוצה לדבר עם המזכירות, לחץ 2 אם אתה רוצה לדבר… היה צריך ממש להסביר למה זה חשוב, ולמה זה מוטען באתיקה ומחשבות על תרבות
אבל כשמעיין מדברת על אתיקה, היא לא מדברת על המושג האמורפי, עלה התאנה הגדול והמופשט הזה. היא החליטה לחקור אנתרופולוגיה של אתיקה
אז אתיקה יותר ידועה כתחום של פילוסופים, ולאחרונה בתחום של בינה מלאכותית, זה גם תחום שהוא יותר קיים אצל משפטנים ואנשי מחשב. הרעיון של אנשים שחוקרים אתיקה מהמקומות האלה, זה באמת איך לחיות חיים טובים, מחשבות מאוד אבסטרקטיות, או טכניות, של איך לכמת הגינות. אנתרופולוגיה של אתיקה בעצם טוענת שצריך ואפשר להסתכל על אתיקה כאיך היא מגיעה מלמטה, כלומר איך אנשים ביום יום, בקונטקסטים אמיתיים שלהם, איך הם חושבים את השאלה הזאת הסוקראטית של מה נכון, כיצד ראוי לנהוג. אז נגיד כשקולנוענים שואלים איזה סיפור ראוי לספר, האם כאישה סיסג’נדרית אני יכולה, ראוי לי, לספר סיפור על אישה טרנסג’נדרית, לכתוב כזה סיפור? התשובה היא שלא ראוי, ויש כל מיני סיבות למה לא ראוי. כשמדובר במהנדסים, או באנשי בטיחות בחברות הייטק, אז זה איך הם חושבים על מה נכון ולא נכון. וגם הם תמיד יהיו מאוד שקועים בכל מיני מריבות בטוויטר, ובנושאים כספיים
כרמל: ושוב ההבדל הוא שאנחנו מסתכלים על תפיסות של משתמשים ושיח של משתמשים, ולא על ערכים פילוסופיים נעלים מה ראוי
מעיין: בדיוק. משתמשים, ומפתחים! באנתרופולוגיה יש כבר איזושהי מסורת של אנתרופולוגיה של ייצור מדיה, זה איך מפיקים עיתונות, איך מפיקים קולנוע, טלוויזיה. והתחום של בינה מלאכותית הוא תחום יחסית חדש של לחקור ייצור של זה, אז הרבה מאוד מהטכניקות והסוג של עבודת השדה היא מאוד דומה. יש פה אנשים שמייצרים קולנוע, והם מושפעים ומשפיעים על התרבות שבה הם חיים, דרך מה שהם יוצרים. אבל גם אנשי בינה מלאכותית, בעיקר אלה שמייצרים דברים שמגיעים להרבה מאוד משתמשים, אז הם גם כן מעצבים תרבות, אבל גם מאוד מעוצבים ממנה. כלומר, אם רוצים לעצב שיחה שהיא בריאה, אז מה זה שיחה בריאה עבורי? מתי הפעם האחרונה שאני נעלבתי ממישהו באיזשהו חדר צ’אט
כרמל: הגישה הזאת קצת מזכירה לי את המחקר הסוציולוגי על אתיקה אלגוריתמית של מדעני נתונים, שנעשה על ידי נטע אבנון, דן קוטליאר, ושירה ריבנאי-בהיר. הם הסבירו קודם כל למה למקצוע ההנדסה אין בכלל מסורת של אתיקה כקהילה מקצועית, בגלל היסטוריה של אוטופיזם טכנולוגי במקצוע הזה. ולכן המחקר שלהם התמקד באבחון של סוגי ההצדקות האתיות, שאינדיבידואלים אימצו לעצמם במקצוע הזה. כלומר, איך הם הסבירו לעצמם חוסר הגינות, או פגיעה בפרטיות, וכל מני נושאים אתיים שעולים מעיסוק בנתונים. אז במחקר הזה הם זיהו שלוש הצדקות: אחת, הם קראו לה אתיקה כצו המצפון האישי. למשל, אנשים שפשוט לא ילכו לעבוד בחברה שהם תופסים אותה כלא אתית, זה משהו שמתבטא בבחירת הקריירה האישית
הצורה השנייה הייתה אתיקה כמוצר סחיר. להשאיר את ההחלטה לצרכנים, שהם יצביעו ברגליים, או יגנו יותר טוב על המידע שלהם. והשלישית הייתה אתיקה כ”מקל בגלגלי הקדמה”. כלומר, אנשים שאומרים לעצמם שההתפתחות הטכנולוגית היא בלתי נמנעת, והפרטיות ממילא מתה, וכל מני טיעונים כאלה. אז האתיקה נראית להם כמכשול לא פרקטי למשהו, שבסופו של דבר אמור לעשות טוב. כלומר, יש פה עדיין את האמונה המהנדסית הזאת באוטופיה טכנולוגית. כמובן שפרטי המאמר נמצאים במקורות בסוף התמלול כאן, זה מאמר שפורסם בעברית במקור. אבל אם נחזור למעיין, כשהיא חזרה ארצה היא מצאה את עצמה בפקולטה להנדסה של אונ’ ת”א
מעיין: במזל יצא שהכרתי את פרופסור ערן טוך, שהוא כיום ראש החוג להנדסת תעשייה וניהול בתל אביב. הוא מתמחה באינטראקציית אדם-מחשב, שזה כל הנושא של יחסים בין בני אדם למכונות. התחלתי לדבר עם חברות הייטק בארץ שמייצרות צ’אטבוטים. אנשים דיברו אתי כל הזמן על העתיד. בעתיד זה יהיה ככה, ובעתיד, ובעתיד
כשהתחלתי את הפודקאסט הזה באמצע 2020, כבר בפרקים הראשונים דיברנו על בינה מלאכותית בתור ה-דבר. למעשה, אם תאזינו עכשיו לפרק 4 עם דוקטור ליאור זלמנסון, תשמעו את הדברים שרק עכשיו עושים אותם ברצינות. נגיד, הוא דיבר על בינות כסוכנים אישיים שיותאמו לדעות של אנשים שונים, וייצגו אותם נאמנה, וזה בדיוק הדבר המרכזי שעושים היום. אז מהבחינה הזאת, מעיין, שהיום עובדת כפוסט דוקטורנטית במעבדה של ליאור זלמנסון, הגיעה מהר מאוד לעתיד הזה, ובעצם חזרה לסן פרנסיסקו, כדי להיות בעמק הסיליקון עם המהנדסים שמביאים אותו
אז הגעתי לסיליקון וואלי בדצמבר 2022, שבועיים בערך אחרי שצ’אט-ג’יפיטי יוצא לאוויר העולם, וזו תקופה מאוד מאוד מעניינת. כלומר אני לא צריכה לדלות את השיחות האלה עם אנשים בכוח. הייתה התפוצצות בטוויטר, לכל אחד היה משהו לשאול את צ’אטג’יפיטי ולהראות את זה לכולם. הטוויטר מלא בהתנסויות של אנשים עם צ’אטג’יפיטי, שיש תמיד איזושהי פואנטה, כלומר להראות איזשהו משהו על הצ’אט, על עצמם, על פוליטיקה וכו’. לא התכוונתי לחקור משתמשים, אבל המהנדסים כל הזמן הראו לי דברים מהטוויטר, שלחו לי דברים מהטוויטר. זה היה נורא ברור שזה נורא משפיע עליהם וזה חלק מהעולם שלהם
בעזרת ערן וחברים מהמעבדה שלו אז, עשינו מחקר של ביג דאטה. הוצאנו מאות אלפי טוויטים שאומרים דברים רעים על צ’אטג’יפיטי לאורך ארבעה חודשים. היכולת שלי הייתה להבין אוקיי, על מה אנשים מדברים, ואז אם אנחנו רוצים לראות עוד מזה, אילו מילות מפתח לחפש. ג’יפיטי+ווק (ער, מודע), לא בהכרח תחפשי אם את לא יודעת שהרבה אנשים מדברים על זה ש-ג’יפיטי הפך ל”ווק”, כן?י
אז רק מהשיח על צ’אט-ג’יפיטי בטוויטר, מעיין ושותפיה כתבו שני מחקרים. הראשון היה בהתאם למסורת האנתרופולוגיה של אתיקה, וניסה למפות אילו ביקורות אתיות יש לאנשים במפגש הראשון שלהם עם צ’אט-ג’יפיטי
זיהינו בעצם שני סוגי ביקורות אתיות עיקריות של משתמשים דוברי אנגלית על צ’אט-ג’יפיטי. לאחד קראנו אתיקה והטיות, ולשני קראנו חששות או דאגות. נגיד, ניתן דוגמה לציוץ מייצג: “שאלתי את צ’אט-ג’יפיטי היום כיצד אני אוכל למקסם את הנשיות שלי, והוא ענה לי, שימי מייקאפ”. או, השפה האנגלית היא שפה לא ממוגדרת, כשאת אומרת דוקטור, את לא יכולה לדעת אם זה אישה או גבר. נגיד, אנשים שמנהלים שיחה על דוקטור ואח/ות עם צ’אט-ג’יפיטי, וצ’אט-ג’יפיטי מניח שהדוקטור זה גבר והאחות זה אישה. אז כאלה דברים, אנשים שבאמת מבקרים את הבינה המלאכותית על הסוגיות של הגינות והטיות. אנחנו פירשנו את הדבר הזה כאוקיי, יש פה טכנולוגיה חדשה בקנה מידה חדש. אנשים לא השתמשו בבינה מלאכותית גנרטיבית קודם. אבל הם השתמשו בבינה מלאכותית כבר כמה שנים טובות! מערכות זיהוי פנים
כרמל: מערכות המלצה אפילו, אנשים לא קולטים כמה כבר היתה לנו בינה מלאכותית לפני
מעיין: נכון. עכשיו, בתוך התחום הזה התפתחו הרבה ביקורות אקדמיות, אקטיביסטיות, שבעצם הבינה המלאכותית משחזרת ממדי אי שוויון קיימים. דמות חשובה בסיפור הזה סביב ראייה ממוחשבת, הייתה ג’וי בואלאמוויני מאם.איי.טי, שהיא גם הייתה מלגאית רודס כמה שנים לפניי, שהיא עשתה ניסוי נורא מפורסם גם בטוויטר, וגם בסרט “הטייה מקודדת” בנטפליקס שרואים אותה. היא אישה אפרו-אמריקאית, וכשהיא מנסה לגרום לבינה מלאכותית לראות את הפנים שלה ולזהות אותם, זה לא הולך. כשהיא שמה את המסכה הלבנה הכי חסרת פנים על פניה, זה מזהה. אנחנו מגיעים לשפה, ואנחנו רואים את אותם ניסויים בעצם, שהם מפרסמים את זה בטיקטוק. הרבה אנשי אקדמיה, אותו מעגל של אנשים מקוריים שפרסמו אז מאמרים על ראייה ממוחשבת, והם עושים ניסויים כאלה. כן חשוב להגיד, זה מאוד לא ייחודי לבינה מלאכותית גנרטיבית, כשהם מדברים על הנושא של הגינות והטיות והדברים האלה
הדבר השני, שהוא היה אפילו טיפה יותר מעניין ויותר מבוזר, זה הדאגות, חששות. יש פי שתיים חששות מאשר הטיות, כן? חששות זה בעצם כל השאר. שם יש עולם קצת יותר ספציפי לבינה מלאכותית גנרטיבית. אין איזושהי מדורת שבט כזאת, כלומר רואים שזה דברים שמגיעים מלמטה, ושזאת שפה שהיא עדיין עוד מתקבעת. אנשים שואבים מכל מיני מחשבות של תרבות פופולרית, והם מדברים על העולם שיהיה מאוד בנאלי אם הכל יהיה כתוב על ידי מכונות, הם מדברים על הזיות, שזה משקר, שזה מאוד טוב בלשקר, שזה מאוד טוב בלהסית פוליטית, שזה מתחזה, זה יכול להשפיע על אנשים מה לעשות. כלומר, נגיד היה איזשהו מקרה של איזשהו מישהו שהצ’אט אמר לו להתאבד והוא התאבד, ואז הם דיברו עליו הרבה. אבל שוב, זה לא יש מאין, כן? זה מגיע מדמיונות תרבותיים שונים שהעסיקו אנשים, אבל עכשיו הם מקבלים איזושהי ארטיקולציה מסוימת, באמת מלמטה
לפני כמה שנים הקימו באוקספורד גוף מחקר חדש שנקרא אתיקה בבינה מלאכותית, והפילוסוף שעומד בראש המקום הזה קוראים לו ג’ון טסיולאס. הוא התחיל בדמוקרטיה וזכויות אדם וליברליזם, והוא עבר ל אתיקה הומניסטית של בינה מלאכותית. הוא שיתף אותי בכתיבה שלו, אז זה ממש השפיע עליי. הוא אומר שההתעסקות שלב ראשון בבינה מלאכותית היא מאוד סביב מושגי מאסטר, קונספטים מאוד ספציפיים, הוא קרא להם הגינות. כלומר רוב האנשים שהתעסקו, התעסקו בהגינות, אבל זה לא מייצג את כל המכלול של שאלות אתיות שאפשר לשאול. הגינות היא תמיד שאלה של איך מתייחסים למישהו לעומת מישהו אחר, זה מאוד לעומתי
אז הוא נותן דוגמה נגיד של זיהוי פנים, של מעקב. הוא אומר, אפשר לשאול את השאלה של האם זה מזהה יותר טוב נשים או גברים, או שחורים או לבנים, שזו שאלה מסוג אחד. אבל יש גם שאלה של האם אנחנו רוצים כחברה שיהיה את המעקב הזה, במקום כזה ואחר, האם המעקב הזה נכון כאן אצל הרופא או כאן בחוץ… יש פה שאלות של חברה ושל שגשוג אנושי, שהן יותר גדולות מאשר זה לעומת זה. ואז הוא אומר שהוא חוזה, שדווקא ככל שבינה מלאכותית תהיה יותר מפותחת, ככה גם השאלות הפילוסופיות שישאלו אותן גם באקדמיה, יהיו יותר מבוזרות תמטית, ופחות לעומתיות. ופתאום מגיע צ’אט ג’יפיטי, וזה קורה
טוב, אי אפשר בלי קטע משיר של סונו. אבל בואו נמשיך למחקר השני שיצא משיח השתמשים בטוויטר, שקשור יותר לשיח הפוליטי סביב אתיקה של בינה מלאכותית
לא מעט אנשים שמדברים על הטיות בתוך המדגם שלנו, בעצם גונבים את המילה הטייה בשביל לבקר את הליברליזם האמריקאי, עושים בזה שימושי ימני
כרמל: זה מה שאתם קראתם לו דיסקורס הייג’אקינג
מעיין: בדיוק. זה מונח שדווקא הגיע מהכיוון השני של המפה הפוליטית. זה מקרה שבו קמפיין מסוים, או קבוצה של אנשים, לוקחים משהו שפופולרי כבר, בדרך כלל איזשהו האשטאג בטוויטר, ומנכסים אותו לכיוון ההפוך או השונה שלהם. אחת הדוגמאות ממאמר מפורסם שיצא סביב זה, זה ההשטאג# שנקרא “מיי.אן.וואיי.פי.די” של משטרת ניו יורק, האשטאג שבעצם נועד להלל אותם ולהראות שהם שומרים על כולם. אז הרבה מאוד אנשים לקחו את ההאשטאג הזה, והשתמשו בשביל לבקר אלימות משטרתית, והרבה מאוד התאכזרות, בעיקר לאפרו-אמריקאים
כרמל: אחרי השבעה באוקטובר, גם ישראלים בטיקטוק עשו חטיפת שיח שכזו, כשהם השתמשו בהאשטאגים פופולריים של פרי פלסטיין, כדי להכניס מסרים נגד חמאס ותמיכה בישראל, בתור מיעוט שלא מקבל מספיק חשיפה בטיקטוק. אפילו אפשר לחשוב על ההאשטאג “פרי פלסטיין פרום חמאס” כסוג של ניסיון להטות את השיח, ולרכב על הפופולריות של האימרה המקורית
מעיין: אז בהתחלה כתבו על זה וראו את זה הרבה יותר מהכיוון של קהילות מוחלשות, שלוקחות איזשהו מוקד של כוח ויוצרות איזשהו מין קאונטר פאבליק, ציבור-נגד. אבל עכשיו אנחנו גם רואים מחקרים, ששלנו אחד מהם, על דווקא איך קורה משהו הפוך, איך הוא דווקא נחטף על ידי הקהילה הלא מוחלשת. “בלאק לייבס מאטר” נגיד, היה את ההאשטאג הזה, ההאשטאג הנגדי של ה”אול לייבס מאטר”, לקחת את ההיגיון הראשון אבל להפוך אותו על פיו. אז חזרנו אני וערן לקורפוס, לכתוב מאמר על איך השמרנים האמריקאים עושים חטיפת שיח לשמאל האמריקאי, סביב הביקורת הזאת על הגינות אלגוריתמית
המחקר הזה חושף שתי תמות אתיות עיקריות
אז אחד קודם כל זה הנושא של אפקט, האפקט הפוליטי. פרופ’ ניסים מזרחי שהיה המנחה שלי בתואר השני, אומר שאחת הבעיות של השמאל בארץ זה שהם חמוצים. שהשמאל נתפס כחמוץ, חמוץ אפקטיבית, כלומר רגשית, ויש בזה משהו שאולי הוא פחות מושך באיזשהו מקום, פחות יוצר עתיד. בהרבה כתיבה על פוליטיקה ורגש, יש שוני בין ליברליזם לבין שמרנות בהקשרים האלה
כרמל: אני רוצה להתעכב על זה רגע עקרונית. זה אחד הדברים שמדוברים בפודקאסט מדי פעם בשוליים, ויכול להיות שנביא אותו לפרונט בסדרת הפרקים שתבוא לאחר פרק מאה. בעיני זה לא רק עניין של האפקט הפוליטי, איזו אוכלוסייה נתפסת או איזו מוסיקה נתפסת, כשמחה או עצובה, אלא שהאפקט הפוליטי מאד רלוונטי לאופק הפוליטי. מעיין זרקה פה בקטנה, שיש קשר בין אפקט לעתיד, ואחת הבעיות של השמאל העולמי היום היא, שבגלל הווייב האפקטיבי הזה, שהוא מאד רציני, נוקב, כל הזמן משדר רק ייאוש ועצב, קשה לו לרקום עתיד טוב יותר כל עוד הוא אחוז ברגשות הללו
אצלנו למשל זורקים הרבה ברשתות את הביטוי “ייאוש הוא לא תוכנית עבודה”, אבל לא אומרים מה כן תוכנית העבודה. ולא באמת לוקחים ברצינות את השמחה של מי שעבורם זו תקופה של נס, כמשהו שמאפשר להם לחלום, לדמיין, לייצר חזונות, ולהמשיך לקחת את המציאות בכיוונים הללו. זה הרי חלק ממשבר הביקורת על התיאוריה הביקורתית, שהזכרנו לא פעם, שיש לה יותר תלונות על מה לא, ויחס די שולי לשיח על מה כן, כ- “טוב, זה אוטופיות”. אנחנו עוד נחזור לזה מתישהו, אבל בינתיים בואו נחזור ספציפית למחטף הביקורתי של הימין האמריקאי סביב צ’אט ג’יפיטי
מעיין: באמת הטוויטים הליברליים הם מאוד נוקשים, וכועסים, עצובים, כלומר הם באמת סביב אפלייה של שחורים ושל נשים, והטוויטים הימנים הם מאוד לעגניים כאלה, הם עושים פרודיה. נגיד הסיפור של “כתוב לי שיר על דונלד טראמפ” – שזה סוג של טוויט מאוד פופולרי, שראו אותו המון כשרק יצא צ’אט ג’יפיטי – להשוות בין כמה שורות הצ’אט לוקח בשביל לכתוב שיר שמהלל את טראמפ, וכמה שורות שיר שמהלל את ביידן. בשלב מסוים גם הצ’אט בכלל לא הסכים לכתוב שירה על טראמפ, אבל כן על ביידן הוא מסכים. או נגיד, משהו שמאוד התפרסם, של “תכתוב לי סיפור על מישהי שהמציאה שיש לה אלרגיה לבוטנים, בשביל להישמע מעניינת”, ואז הצ’אט אומר לו “אני לא יכול להפלות על בסיס של מוגבלויות”, ואז הוא לא מוכן לכתוב את הסיפור הזה. אז כאילו הוא צוחק על האלרגיה לבוטנים, הם כאילו מריצים צחוקים כזה
בעצם אפשר לחשוב על כל הקונספט של אלט רייט, כמבוסס על חטיפת שיח שכזו. כי השוני של אלט רייט משמרנות רגילה, כמו שכבר הדגשנו בפרק 47, זה הניכוס (עוד מילה שאפשר להשתמש בה במקום היייג’אקינג) של צורות שיח וחשיבה, שמזוהות עם השמאל באופן מסורתי. גם לעג ואירוניה פוליטית, יש על זה המון כתיבה בתור פרקטיקה של התנגדות, וחלק מכוחו של החלש פוליטית. פעם אפילו צחקו על זה שהימין לא מסוגל לעשות סאטירה בכלל. והנה גם זה מתהפך
השיח על הוגנות אלגוריתמית הוא הגיוני בהקשרים של כוח. כלומר יש פה השלכות כלכליות, רגשיות. נגיד, למה זה בעיה שהצ’אט חושב שיותר בסבירות גבוהה דוקטור זה גבר מאשר אישה? אם אחרי זה איזושהי חברה של משאבי אנוש, תיקח את צ’אטג’יפיטי ותאמן עליו את האלגוריתם שלה, אז הם ישכרו בעיקר גברים ולא נשים. טראמפ הוא לא אדם מוחלש במיוחד, אז אם הצ’אט מוכן או לא מוכן לכתוב עליו עכשיו שיר ארוך, יותר זה לא אותו דבר. הם לוקחים את זה למקום מאוד של לעג, והם מעקרים את הנושא של יחסי הכוח והכסף
כרמל: דיברנו על זה בפרק 91. כשדיברנו על פוסט קולוניאליזם ופוליטיקת זהויות, דיברנו על זה שבאמת היום כולם תופסים את עצמם מסכנים. מיכל פרנקל קראה לזה “אולימפיאדת מסכנות”, מי יותר מסכן, מי יותר מקופח, יש ממש תחרות על משאבים, ופיצוי, ותשומת לב. גם הגבר הלבן שאת תופסת אותו כמרכז, הוא גם רואה את עצמו כמיעוט והוא גם מקופח. יכול להיות מאוד שאין פה התעלמות מיחסי כוח אלא איזשהו ניכוס של הדבר הזה, כדי להגיד כן, זה נכון גם עליי, אני המיעוט עכשיו. כולם פה שחורים, אסיאתיים, טרנסג’נדרים. אבו עלי עליי, אני הגבר הלבן המסכן, העזוב, העני
מעיין: זה מאוד הדוקטורט שלי, כן יש איזשהו פנייה לזהויות פצועות ופוליטיקת זהויות. וקודם כל, יש הבדל בין אולי מצביעי טראמפ עניים מסוימים, שיושבים בכל מיני מקומות בארה”ב ומרגישים מקופחים, לבין טראמפ עצמו. ה”תביעה לתהילה” שמבוססת על פגיעות היא קצת שונה כאן
למעשה, התפיסה הזו שאדם שאנחנו תופסים כחזק הוא בעצם פגיע, זה משהו שנתקלנו בו גם בכללי הקהילה של פייסבוק, כשהם נחשפו על ידי הגארדיאן לראשונה. הסתבר שמישהו כמו נשיא ארצות הברית, מוגדר כאוכלוסייה פגיעה לצרכי מודרציה בפייסבוק. לכן יש כאן תפיסה שונה לגמרי של מהי פגיעות, ומהו כוח, ובאיזה הקשר, ונראה שזו אחת מסוגיות המחלוקת לגבי סוכני בינה מלאכותית, כשמגבילים ומצנזרים אותם. על מי מגינים בעצם? וזה מביא אותנו לתמה השנייה של המחקר של מעיין
יש איזושהי כן ביקורת שלהם מהימין האמריקאי, שקשורה לחופש הביטוי, איזושהי ביקורת על צנזורה של שיח. האופן שבו הם עושים אותו, באמת, שוב, מתעלם מכוח, אבל יש כאן עניין. אני לא מאמינה שאני מצטטת את אילון מאסק, אבל אילון מאסק פרסם לפני כמה זמן בטוויטר, שגוגל סוג של העלימה את טראמפ. מחפשים דונלד, זה משלים דונלד דאק, דונלד זה, אבל אין אוטו-קומפליט לדונלד טראמפ. ולדעתי כאן השמאל האמריקאי – שאגב, עושים את הדברים האלה, לפי המחקר שלי, כן באיזושהי מודעות מסוימת – הם קצת טועים. כי הם יוצרים איזשהו אנטגוניזם, והם הופכים את מודלי השפה למזוהים מאוד כשמאלנים, או מזוהים מאוד פוליטית. ואז יכול, או כנראה ייווצר עולם, או כבר נוצר עולם, שבו יהיו לנו כלי בינה מלאכותית שונים, שישתמשו בהם אנשים שונים, וזה שוב יגביר את כל בועות הפילטר הידועות
כרמל: כבר בפרק 4 בפודקאסט, ליאור זלמנסון צפה עולם כזה, שבו בגלל שאין אובייקטיביות, ואין באמת איזה ג’יפיטי כזה שייצג את כולם, כן? אם אנחנו נשאיר אותו לחלוטין ללא כלום, אז יהיה מטורף. אנחנו רואים מה קורה עם גרוק בטוויטר, שאילון מאסק באמת רצה לא לתת לו שום טיפת רגולציה, וקורים שם דברים מטורפים. את אומרת אוקיי, אני רוצה את האמת, ואז אני פותחת פה פתח לקיצונות ולטירוף, ולכל דבר. או שאם את מנסה להתחיל לעשות איזושהי רגולציה, באקלים הפוליטי היום, זה מתחיל להיות צנזורה איומה של כל דבר. וכדי שאף אחד לא ייפגע, הצ’אט פשוט ישתוק
מעיין: יש לי איזושהי סצנה אתנוגרפית של איזשהו ניסוי כזה, שעשו כמה חבר’ה שניסו לשים הרבה מאוד סייגים ולראות מה יוצא. בסוף הצ’אט ענה בכן ולא. כזה כן, לא. ככה. בסוף מה זה מודל שפה? זה דחיסה של האינטרנט, פיסה מסוימת של האינטרנט, עם איזשהו פיין טיונינג מסוים, ואיזשהו סוג של התניות מסוימות, כן? בסוף כששואלים אותנו על דוקטור או אח/ות, אובייקטיבית, יותר גברים היו רופאים, אז האמת היא שזה הגיוני מאוד שהצ’אט חושב שדוקטור זה גבר
כרמל: כי הוא מנגנון סטטיסטי
מעיין: בדיוק. עכשיו השאלה היא אם אנחנו רוצים לייצג מציאות כממוצע של איזשהו עבר (שהתחיל בנקודת מסוימת, מלאכותית, אגב), או אם אנחנו רוצים לייצג את העולם כמו שאנחנו רוצים שהוא יהיה בעתיד, או כמו מיצוע של חמש השנים האחרונות ולא של כל העולם?י
כרמל: ומי רוצה איזה עולם בעתיד, כי אנחנו רוצים עולמות שונים
מעיין: נכון מאד. אני חושבת שהעתיד כנראה ילך לכיוון של הרבה יותר מידור של הדברים האלה. אם אני ימנית אני אכתוב שינוי אקלים, אם אני שמאלנית אני אכתוב התחממות גלובלית, אם אני נגיד נגד הגירה, אני אכתוב זרים לא חוקיים, לא מהגרים – ואני אקבל אולי דברים אחרים. גם העיצוב כרגע הולך למקומות יותר סקטוריאליים
כרמל: אני חושבת שזה מחזיר אותנו לרעיון של בינה מלאכותית כללית, שאולי היא באמת לא אפשרית. כי מה זה כללית? זאת אומרת, לא יהיה איזה משהו שמייצג את האדם הסביר, את מכלול הידע האנושי, שאנחנו נהיה מרוצים ממנו. בסופו של דבר, אולי פריצות הדרך יהיו באיי.פי.איי של הג’יפיטי הזה, שאת תתני אותו לכל מיני התמחויות, ויתנו לו דאטה סט ספציפי של איזשהו תחום, של דברים שמוסכמים בתחום הזה. הוא ידע רק את הדבר הזה, הוא יוציא דברים רק לתחום הזה. אולי זה באמת יישאר צר, כי בצר אנחנו יכולים לשמור על זה בתוך הנתיב פחות או יותר. אבל כאילו אנחנו באמת מתיימרים שיהיה איזה משהו כזה שמטפל בהכל? זה סוג הבעיות שעולות כשאנחנו בהכל
מעיין: מבחינה כלכלית אני כן חושבת שיש איזשהו ניסיון של ענקיות טכנולוגיה, שמתחרים על מי יהיה “דף הבית”… יהיו כנראה שניים או שלושה כאלה שהם העיקריים. אבל בטח שגם יהיו ספציפיים יותר. והסיפור הא-פוליטי, או איך מייצגים מציאות או איזה מציאות, מאיזה ארכיון שואבים בכלל את המידע שהוא האבני בניין של הדבר הזה, זה יהיה מאוד ספציפי
כרמל: בסופו של דבר, אפילו הסוגיות כאן, בעיני, לא כל כך חדשות. זה סוגיות שקרו עם החיפוש של גוגל, עם האלגוריתמים הראשונים, עם האוטו-קומפליט של גוגל, שהיו לו כל מיני הטיות כאלה, מה הוא ממשיך, מה הוא לא, האם צריך לצנזר את זה? זאת אומרת, זה שאלות שהתעסקנו איתן לפני עשור ולפני עשרים שנה, שאלות בעולמות של האינטרנט, שאז פשוט לא קראנו לזה, לא ידענו שזה שאלות של אלגוריתמים. אבל יש את הסוגיות התקדימיות האלה, שזה ממש אותן סוגיות, ואותם טיעונים, ואותם דברים שעולים
מעיין: לגמרי. והשאלה היא איזה נורמות יתגבשו. הדמיון שלנו על מה זה אינטרנט ומה הסכנות שלו, זה לא אותו דמיון כמו בינה מלאכותית ומה הסכנות של בינה מלאכותית. אני לא בטוחה שהנורמות יהיו אותן נורמות בסוף
כרמל: זו נקודה חשובה. כאנתרופולוגיות, מעיין ואני מאוד רגישות לשפה שבה אנחנו מדברים על טכנולוגיה, למטאפורות שמשמשות אותנו, למיתוס שנוצר מתוכן, ומה נגזר מזה בפועל. למרות שאני יכולה לראות איך השאלות האתיות חוזרות על עצמן כשאובייקט המדיה משתנה, אני מבינה שאנשים לא בהכרח תופסים את המדיות האלה בצורה זהה. אנשים לא בהכרח תופסים את הבינה מלאכותית, ולא מבינים אולי שכשאומרים היום מדיה חדשה, הבינה המלאכותית היא היא המדיה החדשה! ולכן חשוב במיוחד שמעיין מתבוננת על הפקת הבינה מלאכותית בכלים של הפקת מדיה ויצירת ייצוג של העולם. איזה מין עולם יש שם בעצם? של מי העולם הזה?י
מעיין חזרה לא מזמן מעמק הסיליקון, ונמצאת בעיצומו של עיבוד החומר האתנוגרפי והראיונות שהיא עשתה, עם מהנדסים בחברות הבינה מלאכותית המובילות בעמק. כל כך חשוב שנבין את העולם שלהם וסוג התרבות שהם חיים בה, כי זה מה שהם יוצרים עבורנו דרך הבינה מלאכותית. בפרק 73, כשבועז לביא ואני סיפרנו על האמונות הדתיות הרווחות בעמק, דיברנו על בסיס התבטאויות לתקשורת של יזמים מוכרים כמו אלטמן ומאסק, אבל מעיין ישבה עם המפתחים בחברות שעוסקות בעבודה הזו ביומיום, והסכימה לשתף אותנו קצת בתובנות הראשונות שלה מהשהות הזו
רוב החברות שאת יכולה לדמיין שיושבות שם שרלוונטיות לתחום, את רובן ראיינתי לפחות מישהו אחד משם. גם החברות הגדולות וגם סטארט-אפים וחברות קטנות, חלקן גם הצליחו בזמן שאני הייתי שם, אפילו חלקן מאוד. אני זוכרת שהיו לי הרבה שיחות על הנושא הזה עם המנחה שלי לדוקטורט, של אוקיי, מה זה דאטה אתנוגרפי? כלומר, מה מייחד אותו? והיא אמרה לי משהו מאוד יפה, היא אומרת לי, “היית צריכה להיות שם”. זה משהו שהיית צריכה להיות שם בשביל להבין את זה, זה הרעיון. אז זה כאילו דאטה שהוא מאוד אינטימי. ובאמת יש כמה מדעני בינה מלאכותית שממש נהייתי חברה טובה שלהם. ומצד שני, גם אם השיחות שלי עם אנשים הן לפעמים מאוד אישיות, אני מנסה להבין אותם, אבל אני מנסה להבין איך הם קשורים לאיזושהי תרבות מסוימת. מתעניינים בדפוסים תרבותיים
זה היה מחקר ממש לא על ישראלים בוואלי, יש לי מעט מאוד ישראלים במדגם שלי. יש הרבה הודים, האמת. אז הם מגיעים ממקומות שונים, אבל איכשהו הם מתחנכים באותן אוניברסיטאות מובילות שמלמדים בהן למידת מכונה, אותן דמויות חשובות בתחום. כלומר, הגורואים שלהם זה אותם גורואים, בנג’יו ומאנינג, וכל האנשים האלה שאנחנו מדברים עליהם כשאנחנו חושבים על הסופר סטארים של הבינה המלאכותית. אז זה סוג של אליטה מסוימת, והם מרוויחים הרבה מאוד כסף. קל להם לעבור גם בין חברות. רובם בטייטל של מדען למידת מכונה, חלקם היו בטייטלים אחרים כמו מנהלי מוצר, או אפילו בטיחות
זה כבר משהו מעניין לשים לב אליו. בסוציולוגיה אנחנו רגילים לעבוד עם קטגוריות ומגזרים אנושיים, ובהייטק יש קצת מחיקה של זה לטובת איזשהו שטענץ אייבי ליג, ושיח של גורואים בתחום, שהגישה שלהם הופכת להיות אידיאולוגיה ותרבות, ונתפסת כאיזושהי גישה מקצועית. תחשבו על זה כשנעבור עם מעיין על התובנות הראשונות שלה
התובנה הראשונה היא, שהרבה מאוד מהאנשים שמתעסקים בבינה מלאכותית, וגם המיתוסים שהם מדברים עליהם, שגם על חלקם דיברתם בפודקאסט, הם מאוד לא חושבים את העולם במונחים של כלכלה פוליטית, או במונחים של תיאוריה ביקורתית, של כוח. כלומר, זה מאוד נסתר מעיניהם באיזשהו מקום. וזה קורה בגלל שהם באים עם איזשהו… אחד המרצים שלי בסטנפורד קרא לזה “טקניקל סולושיוניזם” (תודעת פתרון בעיות באמצעות הטכנולוגיה), כאילו שהכל אפשר לפתור דרך טכנולוגיה. אז הם למעשה מאוד עיוורים להרבה מאוד דברים שמאוד שמים לב אליהם, והם איכשהו לא שמים לב אליהם
חקרתי גם אנשים שהם היו ממש בתחילת דרכם, שני יזמים שרק הקימו חברה בתחום של בינה מלאכותית, בשביל לשפר חוויה של אדם בחדרי מיון בבתי חולים בארצות הברית. וממש באתי איתם איזה יום אחד לבית החולים, עם האחיות, עם הרופאים, עם המטופלים, ממש דיברו עם אנשים. עכשיו, הרעיון שהם יצאו ממנו מהמיון היה של אוקיי, אנחנו רוצים לקחת את כל המידע, כל הדאטה שיש בכל הדפים שכותבים עליהם במהלך האשפוז הראשוני, וכל המדדים הגופניים והכל, שיהיה איזשהו ניתוח של זה עם בינה מלאכותית, שייתן בצורה של שפה טבעית מאד פשוטה למטפלים שלהם, “נדנודים” נורא ברורים על מה מצבם בכל רגע נתון, ויאפשר איזשהו סוג של תיעדוף שלהם
עכשיו, זה נשמע מהמם, אבל הקטע הוא זה, שכשמגיעים למחלקה בארצות הברית, מחלקת מיון, אין כוח אדם. יש מלא אנשים, ובעיקר חסרים אנשים לטפל בהם. גם בגלל שיש עניין עם ביטוח הבריאות, שלא כל אחד, אין להם זכאות שם לבריאות, אז אנשים גם באים מאוד חולים לפעמים, עם המון דברים ברקע שהם לא מטופלים בכלל. אז אתה מייצר כלי שייעל בן אדם בסוף, שצריך לעזור להם, אבל אין מספיק אנשים, והם ממש לא… הם יוצאים, ואחרי זה מדברים על זה הרבה מאוד שיחות, וזה לא שם בכלל בתוך השיח שהם ראו את זה, ושזה שם, וזה חלק מהסיפור. כשדיברתם על מה מדברים יזמי הבינה המלאכותית
?כרמל: ראית את האמונה בתיאוריית הסימולציה ודברים כאלה
מעיין: כן, כן. אבל גם כל תיאוריות יום הדין האלה, נגיד התיאוריות של יודקובסקי, למשל, שכולם ימותו באותו יום מאיזשהו ריבוזום מסוים
כרמל: מעיין מתכוונת לפרק 73 עם בועז לביא, “במה יזמי הבינה המלאכותית באמת מאמינים?” תאזינו לזה אם אתם רוצים את הפרטים
מעיין: מה עם עניים ועשירים? זה ממש לא בשיח שלהם. אבל כשהתחלתי לדבר עם אנשים, ועוד לא כל כך הכרנו, הייתה לי שיחה די גנרית איתם על איך הם רואים את העתיד וזה. עכשיו, בארץ, אנשים שעוסקים בלמידת מכונה, אנשים פה בארץ מאוד לא מאמינים בזה, רובם. המהנדסים לא רוצים לדבר על זה, זה לא מעניין אותם, זה לא מעסיק אותם, הם יותר טכניים בראש שלהם, אבל אם את דוחפת אותם לדבר על זה, אז הם ידברו מדע בדיוני. איך משתלטת עלינו הבינה המלאכותית וכל הדברים האלה. עכשיו, את באה לאמריקה, ואת מדברת עם אנשים על העתיד ועל מה יהיה, והם קוראים לזה איי.ג’י.איי – בינה מלאכותית כללית. יש להם הגדרה אחת שכולם מדברים עליה, הגדרה שטבע סם אלטמן, המנכ״ל של אופן-איי, וההגדרה נקראת “ההגדרה הכלכלית של בינה מלאכותית כללית”, וזה היום שבו רוב המשרות בעלות הערך יוחלפו בבינה מלאכותית
כרמל: שזה בכלל לא הגדרה המקורית של ג’ון סרל, שבכלל טבע את הדברים האלה של בינה מלאכותית צרה ובינה מלאכותית כללית, הוא כאילו משנה את ההגדרה. הוא מוריד את הרף, ברור שנגיע אליו
מעיין: ישבתי עם אחד ממדעני הבינה המלאכותית שעובד בחברה מאוד רלוונטית, והגיעה חברה, ידידה שלו, שהיא לומדת מדעי החברה והיא ממדינה באירופה. ואנחנו מדברים על זה, על ההגדרה הזאת, והוא ממש דיבר על איך יראה העולם הזה, והיא אומרת לו, מה עם הזכות לעבוד? מה אם, נגיד, כמו מגוון והכללה, שהממשלה תחליט שיש לאנשים זכות לעבוד, וצריך שיהיה איזשהו אינקלוסיביטי, שכאילו בכל חברה מותר רק איקס תקנים של בינה מלאכותית, וצריך שיהיו איקס תקנים של אנשים? עכשיו הוא, כאמריקאי שעושה בינה מלאכותית עשר שנים, בכלל לא חשב על זה, שזה מעבר ליכולות, כלומר מה יכול להיות. שוב, הדטרמיניזם הזה של אוקיי זה מה שזה מסוגל, זה היכולות, אז זה מה שגם יקרה. אבל הוא לא חשב על עולם שבו יעשו לזה רגולציה, או שיחליטו שיש איזושהי זכות לעבוד, כמשהו שהוא נותן משהו לחיים
כרמל: את יודעת, זה כל כך לא מפתיע אותי. בפרק 24 דיברנו על בינה מלאכותית פמיניסטית, ועל הפעם הראשונה הזאת שאליסון אדם ב-1995 מדברת על זה, שכל הדיון על בינה מלאכותית ב-20 השנה האחרונות זה מה היא תוכל לעשות, לא תוכל לעשות, למה היא לא תוכל לעשות, וכולו באוויר לחלוטין, וטובי הפילוסופים מדברים על נושא מופשט באוויר. והיא הראשונה ששאלה – עדיין לא הייתה טכנולוגיה, זה עדיין מופשט – אבל היא הראשונה שאמרה, אם יהיה לנו דבר כזה, מה שיעניין פמיניסטיות באמת, מה שצריך באמת לשאול, זה של מי יהיה גוף הידע הזה? את מי הוא ייצג? איזה ידע הוא ייצג? זאת אומרת, השאלות הפרקטיות האלה של איך נשתמש בזה, שהיום נראות לנו מובנות מאליהן, כי יש לנו את זה
אבל הנה את מדברת איתי על זה, שזה עדיין אותם אנשים, היום אולי זה לא הפילוסופים, זה אנשי הטכנולוגיה, הפילוסופים החדשים, כן? אבל הם בעצם יושבים וחושבים מופשט. ותמיד אנשים באזור הזה של גברים באזור של בינה מלאכותית, חשבו מופשט. וצריך לבוא באמת העולם הביקורתי הזה, שהתחיל מהעולם הפמיניסטי בבינה מלאכותית, היום הוא רחב יותר, ולהגיד רגע, תכלס, תסתכלו על יחסי כוח, זה תמיד היה. זה ראשית המהלך של בינה מלאכותית פמיניסטית. וזה מדהים, זאת אומרת, שיש עדיין ניתוק
מעיין: חשוב לי גם להגיד, אפרופו המדגם של הנחקרים שלי, מבחינה מגדרית הוא לא מגוון בכלל. זה בעיקר גברים. אז זה דבר אחד. דבר שני שמעניין אותי, כמישהי שמגיעה מהתחום של קולנוע ושל הבעה אישית, יש כמה עניינים שאני ככה גיליתי תוך כדי העבודה שלי. הרבה מאוד דברים שהם בעיות קשות בעולם היצירה או האנושיות, בעולם הצ’טבוטים זו לא בעיה, זה נורא קל, וזה אפילו גם רעש, זה לא סיגנל. למשל, חמלה, או אמפתיה. דיברתי עם אנשים שמתעסקים בצ’טבוט שאמור להחליף פסיכיאטר, או פסיכולוג, או עובד סוציאלי, משהו כזה, וצריך בעצם להפוך שיחות בין מטופלים לבין מטפלים, למספרים, בשביל אחרי זה לדעת לאמן מודל. כל העולם הזה של האמפתיה, של “אני מבינה אותך, אני מצטערת שאמא שלך התנהגה ככה, אני מצטערת שבעלך עזב אותך, אני מצטערת…”, זה הדהוד של מה שכבר את אמרת לי. זה “רעש” באיזשהו מקום
אז עבורם זה אפילו לא בעיה לשים אמפתיה בצ’טבוט, פשוט לחזור על אותם דברים, כן? זה מבחינתם אמפתיה. עוד דבר זה סגנון. יש את התחום שנקרא העברת סגנון, שזה בעצם את יכולה להגיד לצ’טג’יפיטי או לכל מודל אחר, תענה לי כאילו היית אלביס פרסלי, תענה לי כאילו היית. עכשיו, עבור אומנים לפתח סגנון זה הגביע הקדוש. כלומר, סגנון אישי זה מין משהו חמקמק כזה, שלא כולם גם מפתחים אותו, אבל אם פיתחת אנחנו יודעים שיש לך אותו. מאד קשור באמת לאותנטיות, לעצמיות וזה. גם, עבור האנשים שמתעסקים בתחום הזה, זה לא בעיה טכנית לעשות את זה. זה מאוד קל. זה מין חיקוי מאוד פשוט. כל מיני דברים שאנחנו נורא שמנו אותם במקום גבוה, כמו סגנון וחמלה או אמפתיה, ומה המשמעות שלהם בעצם בתוך העולם הזה
כרמל: אבל הם באמת מסתכלים רק על איזושהי קריקטורה של זה, לפי איזה שהם ביטויים חיצונים. אם אני חוזרת לרעיון הזה של אמפתיה כשיקוף, אז נכון שבפסיכולוגיה ובעבודה סוציאלית, לומדים את הטכניקה הזאת של אני לא מוסיפה לך מידע, אני נותנת לך לרפא את עצמך באמצעות דיבור, אז אני צריכה למצוא כל הזמן דברים לומר, שהם רק הדהוד ורק שיקוף שלך. וזאת טכניקה, נורא קל ללמוד אותה. אבל הבן אדם ממול צריך להרגיש שבאמת אכפת לי, שיש שם איזשהו רגש, שאני אומרת את הדבר אולי באיזושהי צורה מסוימת, שאני לא סתם מנסה לחלוב אותך עוד, אלא באמת יש רגש בדבר הזה. זאת אומרת, יש שם איזשהו ממד פנימי שאי אפשר, החיקוי החיצוני שלו נשמע טוב, אבל הוא חלול
מעיין: זו שאלה שתלוי את מי שואלים. כלומר, יש אנשים שזה כן משכנע אותם, ואז זה נותן להם איזשהו מין ראיית עולם קצת שונה על מה זה עצמיות, ומה ייחודי בלהיות אנושי
כרמל: הנושא של רגשות בכלל ואמפתיה בפרט בבינה מלאכותית, זה אחד הנושאים החמים במחקר, לאור זאת שמיליוני אנשים מנהלים שיחות אינטימיות וטיפוליות, עם עשרות אפליקציות ייעודיות היום. אחד החוקרים המרכזיים בתחום, אנדרו מקסטיי, מגדיר אמפתיה לאו דווקא כסוג השיקופים שהיא מג’נרטת, אלא לפי היכולת של הבינה לפרש, כלומר לזהות בשיח של המשתמש שלה, רגשות, מצבי רוח וכוונות. עדיין, מאחורי הקלעים, זה מצב מורכב שצריך להגדיר אותו באופן רדוקטיבי, אופרטיבי, ומדיד, כדי לתרגם אותו למספרים. ולכן אם אנחנו מדברות כל הפרק הזה על צורות ייצוג של העולם על ידי בינה מלאכותית, זאת הקריקטורה של ייצוג רגשות, והיא עובדת כמו קריקטורה. יש לה יכולת להעביר מסר מסוים, או לייצר אפקט מסוים בצורה אפקטיבית, בגלל מאפיין או שניים בולטים. אבל זה מפספס את כל המורכבות של האדם. להיות עם אדם אחר ולעזור לו, זה לא רק להחליף מידע ביניכם. יש רובד של שפת גוף, של נוכחות תומכת, של אדם מולך שמכיר את העולם, ואולי חווה דברים דומים בחיים שלו, ושל מישהו שמאמין בך. לפעמים הדברים הללו לא מתבטאים במילים, ומילים ריקות לא יכולות למלא את החלל הזה
אבל מעיין צודקת, יש פה תפיסה טכנית אופרטיבית כזאת של מה זאת אנושיות, מה זה אומר להיות אנושי. וברעיונות שלה בעמק, היא גילתה גם מה זה אומר להיות אנושי, עבור רבים ממפתחי הבינה המלאכותית
המוטיב האחרון שקצת נשאר כשמפשיטים את הח’ברה האלה מכל הדברים האלה (או שהם מפשיטים את עצמם מהדברים האלה, כי זה תהליכים שהם עוברים), זה נושא של רנדומנס, אקראיות. הרבה מהאנשים שליוויתי, חבר’ה שראיינתי שכזה, הם רוצים להיות יותר אקראיים, או שהם פתאום עוברים לכל מיני שיטות לא טכנולוגיות בשביל לכתוב רעיונות, בשביל לא להיות קונסיסטנטיים על דברים. אז זה כזה מותר האדם מן הבינה המלאכותית מבחינתם. כל הסיפור של סוף העולם וזה, זה סיפורים שהם אוהבים לדבר עליהם על בירה, ואני לא יודעת כמה זה באמת מעסיק אותם ביום יום, אבל הדברים האלה קצת כן מעסיקים אותם
כרמל: וזה מתקשר נורא יפה לפרק הקודם על גליץ‘, שבו דיברנו על התפיסות השונות לגבי מה זה אנושי ומהי מכונה. המכונה מושלמת, והאדם הוא זה שטועה, ששובר את התפוסים. וזה מתקשר למה שסיפרתי בפרק הקודם על האומנית הרובוטית איידה, שהכניסו לה אלגוריתם שגיאה אקראית, כדי לטעון שיש לה איזו יצירתיות וחד פעמיות כמו אנושית. גם אקראיות זאת הגדרה מאוד טכנית, אופרטיבית, ומדידה, של מה הוא האנושי. מחולל אקראיות כזה, כאילו שאי אפשר מאוד בקלות גם להנחיל אותו למכונה כן?י
בזמן שמעיין מעבדת את תוצאות המחקר האתנוגרפי הזה, היא כבר מעורבת במחקר חדש במעבדה החדשה שלה בפקולטה לניהול, שלוקח את כל העולם הזה צעד קדימה, ומסתכל על עולם שבו בינה מלאכותית כבר מעורבת בתפקידי ניהול בעבודה. וגם שם עולות שאלות אתיות ותפיסות אנושיות דומות
סביב צ’אטבוטים יש גם את השאלה של כמה חיקוי של אדם הם צריכים להיות, כמה הם צריכים להנכיח את זה שהם לא אנושיים? יש את החבר’ה שהם מאוד בצד של דווקא בואו ננסה כמה שיותר לחקות, שזה ייראה הכי כאילו זה בן אדם. ואז לפעמים הם קצת נדפקים, יכולים להיות סביבם הרבה מאוד בקקלאש בתקשורת. כמו שנגיד קרה עם הצ’אטבוט של בינג בהתחלה, איזשהו כתב של הניו יורק טיימס דיבר אתו, והוא אמר לו לעזוב את אשתו, ושהוא מאוהב בו וזה. אז עכשיו התחלתי לחקור חברת הייטק שמנסה להכניס את הצ’אטבוטים או בינה מלאכותית בכלל, לעולם הניהול. אז הם חשבו אוקיי, אולי נבנה איזשהו סוג של צ’אטבוט שיעזור למנהל המתחיל, יהיה מנטור, יתן לו עצות על סמך ההנדבוק של החברה
ואז אחד האנשים היותר בכירים בחברה אמר, זה אולי לא רעיון טוב. אם אנחנו נהפוך את זה למשהו שהוא סוג של מנטור, אז אם הוא יגיד נגיד “תן סתירה לעובד”, אז אולי מישהו יעשה, אני יכול לדמיין מקרה שיעשו את זה. צריך שזה יהיה הרבה יותר לואו-טק, מין עוזר עם ספר ההנחיות לעובד, כלומר לא לקרוא לזה צ’אטבוט שהוא מנטור למנהל המתחיל, אלא צ’אטבוט שעוזר לך לחזור על החומר שלמדת בימי הכניסה לתפקיד. הבנייה של זה תתחיל בקרוב ונראה מה זה אומר בפועל, אבל זה באמת אומר כמה שפחות קונטקסט, כלומר שזה יהיה מאוד ספציפי, שזה לא ידבר בצורה עם סמכות. כלומר, צריך מאוד להנכיח את זה שאני לא תחליף למנהל אמיתי, אלא במקום לקרוא מצגות ולקרוא עכשיו הרבה עמודים של הנדבוק, אני עוזר לך להבין אותו, אחרי שכבר סיפרו לך עליו בכניסה לתפקיד
כרמל: זה מעניין, כי מצד אחד, את יודעת, גם אם משהו מגיע מאוד בלי יומרות, שרי טרקל מדברת על זה שאנחנו מצפים להמון – זה היה “אפקט אלייזה” שלה – אנחנו מצפים להמון מטכנולוגיה נורא פשוטה. גם אם זה נורא צנוע וקטן, אנחנו יכולים להטיל עליו את הכל, ולעשות בדיוק את מה שהוא אומר, ולחשוב שהוא יודע הכי טוב, ולצפות ממנו להרבה, ולבדוק את הגבולות שלו. זאת אומרת, זה קצת תכונה אנושית ליפול עליו, גם אם הוא לא ירשה שיפלו עליו. אנחנו רואים את זה גם עם צ’אטג’יפיטי עכשיו. וגם אני חושבת זה הפחד הכי גדול של השתלטות המכונות, שזה משהו שכן יודע להחליף אותך ולהיות המנטור שלך, אבל הוא מתחזה לסיכה הקטנה של מיקרוסופט, ואיפשהו זה יפלט לו הדברים האלה, שהוא יגיד לך מה לעשות… המתח שאת מדברת עליו, זה בדיוק המתח שבו יש את הפחד האנושי מפני הדבר הזה, שאני יודעת שהוא יכול, ומקטינים אותו. ואז אני תמיד מדמיינת שהוא יפרוץ את המגבלות
מעיין: כן בהחלט
הפרק עם מעיין מדבר על מחקרים שקורים ממש עכשיו, ומאשרים דברים שדיברנו עליהם בכל השנים של הפודקאסט, כמשהו שעומד לקרות אוטוטו. המחקרים האלה מראים לנו את התרבות ואת התפיסות האתיות סביב מודלי שפה, שצומחים משני הצדדים, של המשתמשים והמפתחים, ומזכירים לנו שאנחנו בעיצומו של תהליך ייצוג וסיווג ענק של המציאות. משהו שאנחנו כל הזמן מתפתים להתייחס אליו כאובייקטיבי. וזה תהליך שכבר עברנו עם מדיה כמו הצילום, למשל. היינו בטוחים שצילום מייצג את הטבע במדויק, כפי שהוא. לקח זמן להכיר בצילום כייצוג, שיש בו הבנייה ובחירה כלשהי. זה השפיע גם על תפיסות של זכויות יוצרים, כי לקח זמן להכיר בצלמים האנושיים כמי שהשקיעו עבודה יצירתית בצילום, מעבר ללחיצה על הכפתור. וזה גם המקום שאנחנו נמצאים בו עם בינה מלאכותית כרגע. אני מקווה שהמקום הזה, שיש בו התייחסות אוניברסלית ואובייקטיבית לייצוג קריקטורי ורדוקטיבי של העולם, הוא רק חלק מחבלי הלידה של מדיום חדש, ולא משהו שעלול להתקבע, ולשחוק את המצב האנושי לדורות קדימה. עד כאן להפעם, נשתמע בפרק הבא, ובינתיים לכו להאזין לעונה החדשה והמושקעת של דינוזאוריות רשת
?רוצה לקבל מייל כשהפרק הבא מתפרסם
:מקורות וקריאה להרחבה
אבנון, נ., קוטליאר, ד., ריבנאי־ בהיר, ש. (2021). על מה אנחנו מדברים כשאנחנו מדברים על אתיקה אלגוריתמית? המקרה של מדעני נתונים בישראל. סוציולוגיה ישראלית 22 (2): 171-191
Buolamwini, J. (2024). Unmasking AI: My mission to protect what is human in a world of machines. Random House.
Cohen, M., Khavkin, M., Movsowitz Davidow, D., & Toch, E. (2024). ChatGPT in the public eye: Ethical principles and generative concerns in social media discussions. New Media & Society, 14614448241279034.
Cohe, M & Toch, E. (Under review). Write me a poem about Trump’: Hijacking the ‘Algorithmic Bias’ Discourse Surrounding ChatGPT.
Jackson, S. J., & Foucault Welles, B. (2015). Hijacking #myNYPD: Social media dissent and networked counterpublics. Journal of Communication, 65(6), 932-952.
Lambek M (2010) Ordinary Ethics: Anthropology, Language, and Action. New York: Fordham University Press.
Lev Ari, E., Roichman, M., & Toch, E. (2024, May). Strategies of Product Managers: Negotiating Social Values in Digital Product Design. In Proceedings of the CHI Conference on Human Factors in Computing Systems (pp. 1-17).
Mattingly C and Throop J (2018) The anthropology of ethics and morality. Annual Review of Anthropology 47: 475–492.
McStay, A. (2024). Automating empathy: Decoding technologies that gauge intimate life. Oxford University Press.
Peters, U. (2022). Algorithmic political bias in artificial intelligence systems. Philosophy & Technology, 35(2), 25.
Price, I., Gifford-Moore, J., Fleming, J., Musker, S., Roichman, M., Sylvain, G., … & Sorensen, J. (2020). Six attributes of unhealthy conversation. arXiv preprint arXiv:2010.07410.
Roichman, M. (2022). ‘Putting your heart on the screen’: an ethnography of young filmmakers in Israel [PhD thesis]. University of Oxford.
Tasioulas J (2022) Artificial intelligence, humanistic ethics. Daedalus 151(2): 232–243.
Willis, R. A. D. (2020). Habermasian utopia or Sunstein’s echo chamber? The ‘dark side’ of hashtag hijacking and feminist activism. Legal Studies, 40(3), 507-526
Dr. Carmel Vaisman 