להאזנה לפרק לחצו פליי כאן, יש לגלול מטה על מנת לקרוא את התמלול
להאזנה בכל יישומוני ההסכתים או לצד תמלול כאן באתר
ההגות שנראית לנו הזויה, מטורללת, ודיבור כאילו סהרורי לחלוטין, ברמה של כת אמריקאית – ואני לא חושב שאני מגזים פה – הוא יסודי, והוא משפיע מאוד על החשיבה, השפיע מאוד על סם אלטמן ועל רבים אחרים
בועז לביא
אנחנו בפרק קצת יוצא דופן. קודם כל, בזה שהוא אקטואלי. המנדט של הפודקאסט הזה הוא לעסוק בעתיד, לא בהווה, במגמות עתידיות שנמצאות כרגע בשוליים. ובכל פעם שהיה הייפ של חודשיים סביב משהו כמו, נניח, המטאוורס או ניפטי, קיבלתי בקשות לעשות על זה פרק, והסברתי בנימוס שאני לא עוסקת באופנות נקודתיות, ואם יש בזה נושאים עקרוניים יותר, הם בוודאי כבר מופיעים בפרקים אחרים. זה חזר על עצמו גם לפני כמה חודשים, כשקיבלתי בקשות לעשות פרק על בינה מלאכותית, ואפילו ספציפית על צ’אט ג’יפיטי. בינה מלאכותית הוא נושא שעסקנו בו כל הזמן, ממש מהפרקים הראשונים בפודקאסט, ולכן תכננתי לעשות פרק בונוס, שיחבר רעיונות ממגוון פרקים קודמים שעסקו בנושא במסגור עכשווי. אבל אז קרה משהו מעניין יותר
הזדמן לי לשתף פעולה עם בועז לביא, כותב בחסד, במאי ומעצב משחקים, חבר מערכת בקבוצת “עליית המכונות” בפייסבוק, ומגיש הפודקאסט “עושים תוכנה“. שנינו השתתפנו כמנטורים בפרויקט “המחולל” של מכון ון ליר, שעסק בחיבור בין מדעי הרוח לטכנולוגיה, והעברנו יחד הרצאה שהוקלטה, ותהווה בסיס לפרק הזה. מכיוון שההרצאה הייתה בפני קהל חי והתבססה על מצגת ויזואלית, עיבדתי אותה לפרק מן המניין בפודקאסט בעזרת קריינות. כמו כן, כל מה שנאמר באנגלית מופיע בתרגום לעברית בתמלול הפרק
בועז: הנושא של בינה מלאכותית, בניגוד למשל לסושיאל, הוא לא עניין רק של 15-20 השנים האחרונות. זה משהו הרבה יותר ותיק, יש פה היסטוריה של מושג טכנולוגי וקונספטואלי, שהולכת אחורה עד לשנות החמישים בארצות הברית. זה מושג שקשה בדיוק לשים את האצבע מהו, תמיד המשמעות שלו מתחלפת עם הטכנולוגיה, ובאופן מוזר, המטאפורות הן אקלימיות. חורף, קיץ, מן חילופי עונות כאלה מתמידים. היו כמה חורפים, שהדבר הזה היה בתרדמת, בשנות השמונים היה בום שאחרי זה ירד, ואנחנו נמצאים עכשיו באביב. ומהמון בחינות אפשר להגיד שהקיץ או האביב הזה הם משמעותיים יותר מאביבים קודמים. צריך להיכנס לטכנולוגיה ולהבין למה, אבל באופן טבעי הגלים האלה עולים, יש פה איזושהי התקדמות טכנולוגית, יש לה איזשהו כיוון של שיפור. ועל זה אנחנו נדבר פה. על מה בעצם כן מאמינים שם, מעבר לטכנולוגיה, מעבר להנדסה ולפתרונות הארכיטקטונים. במה מאמינים אנשי ונשות – בעיקר האנשים, בעיקר הגברים האמת, זה יהיה – בסיליקון וואלי. אז נחלק את זה לשניים, ונתחיל עם הרצאה של כרמל
כרמל
קודם כל, אנחנו רוצים אולי לנסות להכניס את ההייפ הזה לתוך מסגרת מוכרת בפילוסופיה של טכנולוגיה, מסגרת של שיח על אוטופיה ודיסטופיה, שבכל פעם שיש לנו טכנולוגיה חדשה, השיח הזה תמיד צץ. הטכנולוגיה היא גואל או מחריב, הטכנולוגיה היא מלאך או שטן. זה פשוט קורה עם כל טכנולוגיה, וזה נחמד לראות את המחזורים הללו. בסופו של דבר מה שקורה, זה קצת שונה ממה שציפינו. אנחנו מדברים כבר הרבה זמן על הרובוטים שייקחו לנו את העבודות, נכון? ולא ציפינו שאת העבודות שהם ייקחו, זה לא העבודות של הפועלים, אלא דווקא את העבודות של האומנים. או שחשבנו באמת בעיקר שהבינה תשתלט עלינו, סקיינט, כל מיני דברים כאלה שעדיין נמצאים במדע הבדיוני. אבל מה אנחנו עושים בסופו של דבר עם הבינה? במקום פצצת מיימן חדשה, פצצת מין שמכניסים למיטה ומבקשים תאהבי אותי, או משהו שמטפל בזקנים. זאת אומרת, יש פה דברים מאוד לא צפויים, ואני חושבת שגם הפעם אולי זה יכול להיות מעניין לחשוב, איפה הבינה מלאכותית, איפה ההייפ הנוכחי יפתיע אותנו הפעם. מה אנחנו מצפים, ומה באמת יקרה
אבל המבנה הזה של אוטופיה ודיסטופיה, שניהם יחד שייכים לתפיסה שנקראת דטרמיניזם טכנולוגי. וזאת תפיסה שמניחה שהטכנולוגיה יש לה איזושהי סוכנות עצמאית, יש לה ערכים משלה. היא מתפתחת מעצמה, שזה נשמע קצת הזוי, כי בעצם בני אדם מפתחים אותה, אבל כאילו היא איזה שהוא כוח טבע, אנחנו כאילו מפתחים אותה, אבל לא באמת שולטים בה. היה בזה אפילו משהו כמעט מיסטי כזה, שלא סתם התפיסה הזאת לא כל כך הצליחה באקדמיה, כי גם איך אפשר לבדוק את זה, אמפירית? אבל לדון על התחזיות האלה, האוטופיות והדיסטופיות, זה בעצם לומר שאנחנו מאמינים בדטרמיניזם טכנולוגי, שמשהו בהכרח יקרה, יסחף וישנה את כל תחומי החברה, רק אנחנו לא יודעים אם זה לטובה או לרעה, בואו נתווכח על זה עכשיו. והדטרמיניזם לא סתם מזכיר את המילה הזאת שבאה מהעולמות של דת, שמשהו בהכרח יקרה, הוא דטרמיניסטי
כשהתפיסה החלופית, שהתפתחה יותר בשנות השבעים, זו תפישה של הבניה חברתית של הטכנולוגיה. תפיסה שאומרת רגע, טכנולוגיה זה כלי, זה דבר ניטראלי. אם היא טובה או רעה, זה תלוי במי משתמש בה, ותלוי מה עושים איתה. בואו לא נסתכל על הטכנולוגיה עצמה, ובואו לא נדבר על ה”צ’אט-ג’יפיטי יהרוס את החינוך” (שיח דיסטופי), בואו נדבר בעצם על האנשים שמאחורי, על האידיאולוגיות שלהם. כי מה שהם רוצים, אז אנחנו נראה את זה בתוך הטכנולוגיה, נראה את זה כמוטמע בערכים. אפשר לחשוב כדוגמה קצרה על ההייפ הקודם שלנו, מארק צוקרברג, ששינויי הממשק של פייסבוק הובילו לזה, למעשה, שהוא הפך פתאום את פייסבוק מרשת חברתית, למשהו שהוא הרבה יותר פומבי. אסור כינויים, כל מני דברים כאלה שהם נורא מנוגדים לאתוס הבסיסי של האינטרנט. וזה נובע מאידיאולוגיה אישית שלו. כשהוא התראיין ב2010 לאיזה עיתון, הוא אומר בעצם “יש לכל בן אדם זהות אחת”. מה זה הדבר הזה שעם החברים שלך מהעבודה אתה כזה, ועם המשפחה שלך אתה כזה? [מה זה הדבר הזה? תיאוריות בסיסיות במדעי הרוח של איך עובדת זהות, זה מה שזה. הוא נשר מהקולג’, אבל יכול להיות שבמדעי המחשב הוא לא היה לומד גם את זה.] אבל הייתה לו אידיאולוגיה פופולרית של מה זו זהות. ולפי זה הוא הינדס את כולנו, שתהיה לנו זהות אחת
אבל אם אנחנו הולכים עם הגישה הזאת, שיש פה הבניה חברתית של טכנולוגיה, אנחנו נרצה לדבר היום על במה האנשים האלה מאמינים. וכשהם מאמינים בזה, הם לא באמת מכירים בזה שזאת אמונה. זאת אומרת, מבחינתם זאת המציאות. כמו שצוקרברג אמר “יש לך זהות אחת”, זאת עובדה מדעית. זאת אומרת, זה סוג של תפיסות פופולריות, שהם תופסים את זה כטבע, וזה סוג הדברים שאנחנו נרצה לחשוף היום, שנמצאים מאחורי תפיסת הבינה המלאכותית הזו. אז כן, יש פה הייפ, גואל/מחריב, אז היה כבר, זה עוד הייפ? אני אומרת, לא. נכון, זה עוד הייפ בהרבה מובנים, אבל יש פה כמה דברים שונים הפעם. ודרכם אולי ננסה לחשוף את האידיאולוגיות האלה. אז קודם כל, יש לנו כאן בעצם מהירות תפוצה הרבה יותר גדולה מבעבר. כמה מהר הדבר הזה מגיע לכולם, ולהרבה משתמשים. בניגוד להיסטוריה – בעבר כשהיו ממציאים טכנולוגיה אחת, וכעבור חמישים שנה טכנולוגיה אחרת – אנחנו חיים בעידן שבו הטכנולוגיות הן מתפתחות במקביל, ויש התכנסות של טכנולוגיות. ולפעמים הפוטנציאל המהפכני האמיתי הוא דווקא בחיבור בין דברים לא צפויים. אולי החיבור פה עם טכנולוגית אחרות זה בכלל העניין. אז יש כאן משהו אחר לחלוטין, רק מהבחינה הזו
הדטרמיניזם, שאמרתי לכם שהוא נורא לא אקדמי ולא אופנתי כזה, פתאום חוזר לאופנה קצת בגלל הבינה מלאכותית. כי אם קודם יכולנו להגיד להם “בואו חבר’ה, מחשב זה לא סוכנות עצמאית, זה לא כוח טבע, זה משהו שאנשים בונים. הנה, נפתח לכם אותו ותראו איך הוא עובד”, לגבי בינה מלאכותית פתאום חוזר קצת העניין הדטרמיניסטי הזה. פתאום הדברים שהיו נשמעים מטאפוריים ומיסטיים, שיש לזה סוכנות בפני עצמה, וואלה, אולי יש לזה סוכנות בפני עצמה. זאת אומרת, יש כאן סוכן. אני לא מדברת על תודעה, חיים, אבל יש כאן סוכן, אייג’נט. ויכול להיות שהקטע הדטרמיניסטי פתאום נשמע קצת יותר מוצדק, ולכן באמת אנחנו שומעים יותר תחזיות דטרמיניסטיות הפעם. ולכן אולי, לראשונה, יש כאן פיצול גם בקהילת הטכנולוגיה. בכל ההייפים הקודמים, אנשים שמפתחים טכנולוגיה נמצאים בצד האוטופי. בצד הדיסטופי נמצאים אנשים אחרים, אנשי חינוך, עיתונאים, אנשי ציבור, אנשי אקדמיה. אנשי הטכנולוגיה בדרך כלל חושבים שהטכנולוגיה, הם מפתחים אותה לטוב. וזאת הפעם הראשונה שאנחנו רואים פיצול בתוך קהיליית הטכנולוגיה עצמה, שיזמים בעצמם חושבים שיכול להיות שזה רע, שיזמים בעצמם אומרים בואו נפסיק. זה לא היה לנו, זה מעניין
בועז: הפיצול הזה יש בו משהו יותר עמוק, כי הוא נוגע לזה שעצם הבנייה של הטכנולוגיה נועדה להציל אותנו מהטכנולוגיה, ולכן אין פלא, במובן מסוים, שיש פה אוטופיה/דיסטופיה בתוך מי שמפתח את הטכנולוגיה הזאת, שנועדה להציל אותנו מעצמה
כרמל: נכון. והדבר האחרון ששונה הפעם לדעתי, זה שטכנולוגיות מהפכניות באות בדרך כלל מלמעלה, טופ דאון. זה בדרך כלל הממשל שמפתח אותן, ואז הוא מחליט באיזה קצב הוא נותן אותן לכולם, או שיש תאגיד אחד שיש לו את המונופול על הטכנולוגיה, או קבוצה של תאגידים. זה משהו אליטיסטי שמגיע מלמעלה, והם מקבלים את ההחלטות. יש לנו כאן בעצם משהו שהגיע אלינו מלמטה ישר. הכלי הראשון פותח על ידי “אופן אי.איי”, שמראש מאמינים ברעיון הזה של בואו נפתח את זה להמון. ופתאום כל אחד ואחת, אולי צריך עדיין טיפה ידע, אבל זה נמצא, זה מגיע להמון, וזה מתפתח מההמון. אז אני רוצה בעצם לדבר על שתי אידיאולוגיות מרכזיות, ובועז יוסיף לנו אחר כך את השלישית, של “במה אנשי סיליקון וואלי באמת מאמינים”. שתי האידאולוגיות האלה הן שונות לחלוטין, אבל באופן מפתיע ,שתיהן מתחילות עם אותו תיאולוג. אז היכרות קצרצרה ובאמת פשטנית לחלוטין, עם התיאולוג הכי חשוב של המאה העשרים, שהרבה לא מכירים, וזה פייר טיאר דה שרדן. יש תרגום לעברית מאוד ישן של הספר המרכזי שלו “התופעה האנושית”, יותם ראובני תרגם את הספר הזה מצרפתית בזמנו
דה שרדן היה חי בתחילת המאה העשרים, והוא היה כומר ישועי ומדען, פלאונתולוג, גיאולוג. הדבר המדעי הכי מפורסם שהוא היה מעורב בו זה שהוא גילה את השלד של איש פקין, והיה מהאנשים בעצם שחפרו שם. ובעצם כשדרווין פרסם את מוצא המינים, מוצא האדם מהקוף, את כל המסקנות שלו, ויצר רעד בעולם המדעי. אז נוצר באמת הפיצול בין דת למדע, ודה שרדן סירב להתפצל. הוא קרא את מוצא המינים, והוא הבין שמה שדרווין אומר שם זה נכון מדעית, שיש אבולוציה, שהדברים האלה קרו. הוא הבין גם שזה סותר את הנצרות. אבל הוא רצה להיות גם נוצרי מאמין, הוא היה כומר ישועי אדוק, וגם מדען. ומטרת החיים שלו באותו הזמן הייתה לפשר בין ישו לדארווין. ואז הוא כתב את “התופעה האנושית”, שהספר הזה הוא קצת כמו מוצא המינים, מהבחינה הזאת שהוא בנוי ממש לפי אותו מבנה. זה קצת משעמם לקרוא את הפרקים הראשונים שלו, כי במוצא המינים הרי דרווין מוכיח לכם שהנה החוליות של הבעל חיים הזה, והבעל חיים הזה, ולהוציא משם את המסקנה לא כזה פשוט, צריך לקרוא מאות עמודים. אז גם אצל דה שרדן, הפרקים הראשונים זה כזה גיאולוגיה, וכל מיני דברים כאלה, הוכחות מדעיות נורא קטנות
הוא היה גאולוג, והוא אומר, היה פה כוכב מת, גיאולוגיה, היה פה חומר מת. ופתאום מתוך הדבר הזה הפציעו חיים. עד היום אנחנו לא יודעים איך זה קרה. יש לנו השערות מדעיות, אבל אין לנו תשובה. (זאת אומרת, זה לא דה שרדן אומר, אני אומרת לכם כרגע, שאין לנו עדיין תשובה איך נוצרו החיים על כדור הארץ). אז באותו הזמן הוא אומר, היה כאן איזה משהו, הפציעה שכבה של חיים, של ביוספרה, על גבי הגיאוספירה המתה. ורק זה שהוא מוכיח לכם את זה כל הספר, של איך הדבר הזה בקע, איך לא ברור איך מחומר מת, שזה היה היקום, פתאום נהיה ביוספירה, אז הוא אומר, אז הנה אני מכניס לכם את האבולוציה לסיפור הזה. בעצם הנצרות, וכל הדתות וכו’, צודקים לחלוטין לגבי הביוספרה. הנצרות מדברת על הביוספרה. בביוספרה באמת זה המצב הנתון, האדם הוא היצור הכי מושלם, זה נעצר בו. (כי הדבר שהכי הפריע לו זה באמת איך, אם האבולוציה לא נעצרת, האדם גם אמור להמשיך להתפתח. אבל זה לא עובד עם הנצרות, נכון?) והוא אומר, אוקיי, הנצרות צודקת, כי היא מדברת על העולם שאנחנו חיים בו כרגע, הביוספרה. אבל כמו שפעם הביוספרה נבעה מהגיאוספירה, עומדת לנבוע מאיתנו השכבה הבאה. הוא קרא לה נוספירה
וזאת שכבה של מחשבות בלבד, שכבה של רוח. שכבה שבדיוק כמו שהביולוגיה נבעה מהחומר המת, אז משהו רוחני, רוחי, ינבע מהחומר החי, ויעזוב מאחור את החומר חי, זה לא יהיה יותר ביולוגיה. זה יתבסס על הביולוגיה, זה לא שזורקים אותה, כמו שאנחנו עדיין מתבססים על הגיאולוגיה, אנחנו עומדים על האדמה. אבל מעל גבי הגופים הביולוגיים האלה, משהו ייווצר, תיווצר עוד שכבה, וזה הפרק האחרון שלו, שהוא חולם/הוזה את הנוספירה הזאת וחושב איך היא תיראה. עכשיו בגלל שהוא היה גם איש דתי, אז הוא חושב על זה בצורה של איזושהי ספרה של מחשבות, רוח, אהבה (זה הקטע הישועי שלו). ואז אומר שבעצם יש המשך, כל פעם תהיה עוד שכבה. לא יודע מה היא תהיה, אבל השכבה האחרונה, הוא קרא לה “נקודת האומגה” בפירמידה הזאת, ונקודת האומגה היא סוג של אלוהים. וזה בעצם רעיון נורא רדיקאלי לנצרות, שאלוהים עוד לא נוצר, הוא עומד להיווצר. אבל בגלל שהוא יהיה מעבר למרחב והזמן כשהוא ייווצר, אז הוא כנראה כן קיים כרגע, והוא פועל לאחור. זה היה רדיקאלי מדי בשביל הנוצרים, החרימו אותו מכל דבר אפשרי, הגלו אותו, לא שמעו עליו עד שנות השישים. הספר הזה יצא בשנות השישים לראשונה, ורק אז נודעו התיאוריות שלו, אבל הוא כתב אותן בתחילת המאה. אז זה בגדול, טיאר דה שרדן
איך האידיאולוגיות מתפצלות ממנו? אז קודם כל, הוא היה חבר ממש קרוב של ג’וליאן האקסלי, אח של אלדוס. וג’וליאן האקסלי היה ראש אגודת האאוגניקה בזמנו, והוא האדם שהמציא את המושג טרנסהומניזם. כלומר, גם הוא וגם דה שרדן, בתקופת החברות שלהם, חשבו על המקום הזה של איך האדם הולך מעבר לביולוגיה. אז לדה שרדן היה את הרעיון הרוחני, ולהאקסלי היה את הרעיון של טרנסהומניזם, שהוא דת הומניסטית. ב1957 הוא מוציא ספר שנקרא “דת ללא התגלות”, ושם הוא מציע את הטרנסהומניזם כדת הומניסטית. בואו נתעלה כולנו, נלך מעבר לטבע האנושי שלנו, נפתח אותו. זאת אומרת, אנחנו עדיין נהיה בני אדם. אבל יש לנו פה מה לפתח. זה האבולוציה. מצד שני, בשנות השישים כשהספר שלו (של דה שרדן) יוצא, עם הקדמה של האקסלי, הוא משפיע על דור שלם של אנשים שחיים בשנות השישים, בראשם מרשל מקלוהן, שגם היה נוצרי דתי, מאוד התאים לו הרעיון הזה, הוא גם חשב איך הטכנולוגיה בעצם מייצרת איזושהי ספירה חדשה, וזה פתאום נורא התחבר לו לדה שרדן. הוא אמר רגע, הנוספירה יכולה להיות הספירה הזאת של החשמל, זה יכול להיות התשתית של הדבר הזה. מקלוהן חשב שהחשמל זה רוח הקודש מהשילוש הקדוש, היו לו כל מיני אמירות כאלה. הוא עשה את החיבור
מקלוהן השפיע הרבה על ראשוני האינטרנט, אבל במקביל, צרפתי אחר שקרא את דה שרדן בצרפתית בשנות השישים, וכתב עליו אחר כך, היה הפילוסוף פייר לוי, שהוא הביא לראשונה בשנות התשעים לשיח של הרשת את המושג “אינטליגנציה קולקטיבית”. וגם הוא הביא איזשהו רעיון שהוא מאוד מושפע מדה שרדן במקום הזה, שבעצם אנחנו הולכים כאנושות, אנחנו כבר לא נהיה קבוצה של יחידים. כל יחיד תורם, וביחד אנחנו השלם הגדול מסכום חלקיו, ואנחנו עולים ברמת הארגון. אנחנו יוצרים את הנוספירה הזאת באמצעות איזושהי אינטליגנציה קולקטיבית. אז אתם רואים שני כיוונים שונים שדה שרדן הלך אליו, ובואו נראה אלו שתי אידיאולוגיות היום נמצאות בסיליקון וואלי שבעצם מתגלגלות עוד מהסיפור הזה של דה שרדן. אז אני אדבר באמת על האידיאולוגיה הראשונה שהיא יותר קצרה אולי, והיא קשורה ללמה “אופן אי.איי” נתנו את צ’טג’יפיטי לכולם מההתחלה. זה רעיון חדש של בואו נסמוך על ההמון. וזאת שאלה מאוד מעניינת במדעי החברה מה זה המון, והאם אפשר לסמוך עליו. הקהל, המסה. הרי פסיכולוגיית ההמונים בסוף המאה ה19 החליטה שהרבה אנשים ביחד זה לא טוב
גוסטב לה-בון הסתכל מחלונו בפריז, וראה מובטלים מתקוטטים בכיכר. כל אדם באותו זמן האמינו שהוא איש הנאורות, רציונלי, חושב, אבל שימו את כולם ביחד בכיכר בפריז = אלימות. החיכוך הגופני, הסוגסטיה, הם כולם “מיטפשים” פתאום, החשיבה הקבוצתית משתלטת עליהם, ואוי ואבוי, הרבה אנשים ביחד. אבל אנחנו, מאוחר יותר, בעקבות הרעיונות האלה של אינטליגנציה קולקטיבית, אנחנו מתחילים לחשוב בעצם שהרבה אנשים יחד זה דווקא יכול להיות רעיון טוב. כי הם בעצם יכולים ליצור משהו שמעבר להם. הם לא בהכרח “מיטפשים”. יש את הרעיון שאולי הם דווקא מתעלים. אז מי צודק בסיפור הזה? ובאמת במאה העשרים ואחת אנחנו מתחילים לראות התיאוריות האלה של חוכמת ההמונים, של סורובייקי וכו’, והיום האידיאולוגיה הזאת של חוכמת ההמון נמצאת אצל הרבה אנשים בסיליקון וואלי בתור נתון. זאת אומרת, הם לא רואים כבר את הוויכוח שהיה, ואנחנו עדיין בוויכוח הזה, זה לא בטוח בכלל שהמון אנשים מייצרים בהכרח משהו טוב. אבל זה חלק מהאמונה האוטופית הזאת, שהמון אנשים מייצרים משהו יותר טוב מאשר ממשלה אחת, או תאגיד אחד. בואו ניתן את זה להמון, זה יסתדר. נשים את מבטחנו בהמון. ואז באמת יוצא כאן משהו נורא אירוני, ואולי אפשר להבין דרך זה את הפעולה של “אופן אי.איי”, כי אם אתם זוכרים וזוכרות, הם נוסדו כדי לעשות טוב עם בינה מלאכותית ולמנוע את זה
בועז: לעשות בינה מלאכותית מיטיבה, כן, זו ההגדרה
כרמל: ותבינו מה זה “מיטיבה” עבורם. אנחנו נפתח את זה ראשונים, ונדאג שזה יהיה אצל ההמון, לפני שאיזה מישהו יעשה לנו ג’ורג’ אורוול. אידיאולוגיה כזאת של אני עושה טוב רק בעצם זה שאני נותנת את זה להמון, זה כבר יבטיח שזה יהיה טוב. כן, זה אירוני. היום, כשאנחנו מדברים על חוכמת ההמון, אנשים כבר לא חוזרים לרעיון של דה שרדן, ואני חושבת שלא יודעים אפילו שכל הרעיון הזה, שבכלל המון יכול להיות אינטליגנטי ולא בהכרח ייצא אספסוף, הוא רעיון תיאולוגי במקורו. ואחר כך במאה העשרים ואחת, כשמתחילים לדבר על זה, יש חילון של זה. והחילון מגיע דרך זה שפתאום אנשים נזכרים שפרנסיס גולטון, הבן דוד של דרווין, עשה פעם ניסוי באיזה יריד במאה ה19, כשהוא נתן לאנשים לנחש משקל של שור, והממוצע היה הכי קרוב למשקל. זו תופעה סטטיסטית נכונה, היא גם שוחזרה על ידי ליאור צורף, על במה של “טד”, עם שור אמיתי, לפני כעשור. אבל זה לא אומר כלום על חוכמה של המון. כשסורובייקי כתב את חוכמת ההמון, הוא באמת התייחס לזה, ואמר שחוכמת המון יש לה תנאים מאוד ספציפיים, וניסה להגדיר איזה סוג של ביזור, ואיזה מין קבוצה, ואיזה מגוון צריך להיות בקבוצה. זה משהו מהונדס, זה לא משהו טבעי. וחלק מהחילון של הרעיון הזה זה גם טבעון שלו
בהקשר הזה כדאי לשמוע את פרק 69 בפודקאסט, על “הנחיל האנושי”, שמדגים את צורת החשיבה הזאת על חוכמת ההמונים
בזום אאוט הגדול הכל יהיה טובה, כי הנחיל האנושי לומד כל פעם לעלות ברמה, והוא יגיע להיות המוח-כוורת הזה, שיגיע לבנות את הנוספירה, שיגיע לאומגה, אלוהים, נכון? גם מי ששכח את דה שרדן בסיפור הזה (ויש גם אנשים שזוכרים אותו, כן?) אבל גם מי ששכח את דה שרדן מאמין שזה טוב, מתוך איזושהי אידאולוגיה ויש טבעון שלה. כאילו ככה זה בטבע, גם בני אדם הם נחיל. זאת אידיאולוגיה. עכשיו בואו נזכור רגע, שגם בינה מלאכותית, מלאכותית היא לא. כלומר, כשאנחנו חושבים על מה היא היום, היא בעצם איזשהו ביטוי של חוכמת המון אנושית. חוכמה במירכאות או שלא במירכאות. היא מבוססת על הדאטה שלנו, היא בעצם ארגון אחר של העבודה שלנו. ולכן השאלה הזאת פתאום הופכת להיות שאלה מאוד דחופה. כשזה לא ניחוש מספרים, כשזה עניין של שיפוט, וטעם ערכי, וטקסטים, האם התוצאות של הרבה אנשים יחד הם באמת חכמות יותר מכל אדם ואדם? או שיוצא לנו פה משהו ממוצע, סחי, אולי אפילו טיפש יותר? זה פתאום הופך משאלה פילוסופית או חברתית לשאלה מאד דחופה, כי אולי זה מה שהבינה מלאכותית מבטאת
ומיקרוסופט גילתה את זה בזמנו עם “טיי”, בניסוי הזה שהיא בעצם מוציאה בוטית לטוויטר, ותוך 24 שעות הבוטית הזאת היא נאצית. אז כן, אפשר לראות בעצם מה שווה חוכמת המון, כשאנחנו פותחים משהו להמון ונותנים לאנשים ללמד אותו. עוד דבר שאפשר ללמוד על חוכמת המון, זה מניסוי “המכונה המוסרית” של אם.איי.טי, שהם בעצם אמרו (גם כן, מאותה אידיאולוגיה, שימו לב, זאת אידיאולוגיה שנמצאת שם בחוץ): עד עכשיו קבעו לנו מלמעלה. בוא ניתן לאנשים לקבוע, בואו ניתן להמון. יש לנו את הטכנולוגיות לסוג של דמוקרטיה ישירה, כל מי שרוצה תנו אינפוט. אנחנו לא נקבע עכשיו לפי איזושהי תיאוריה פילוסופית, אקדמית, במגדל השן, מלמעלה, מה הדבר הנכון, איך אלגוריתם של רכב אמור לנהוג, את מי הוא ידרוס, את הזקנה או את הילד. אנחנו לא נקבע את זה. אתם תקבעו את זה. ושימו לב שיש פה כבר רעיון שבעצם הטוב יגיע מההמון. איכשהו הרוב, או ככל שאנחנו נשתף הרבה יותר אנשים, יהיה לנו פה משהו הרבה יותר טוב
וכשהם פרסמו את תוצאות הביניים זה היה נורא מעניין לראות, שאין שום תוצאה יעילה שהם יכולים להשתמש בה. כלומר, אם מחר צריך לתכנת אלגוריתם לרכב אוטונומי על פי מה שיצא מהניסוי הזה, הם לא יודעים מה לעשות. ואתם רואים מגוון נורא גדול, מגוון שונה מאוד תרבותית, שבסין אנשים יעדיפו לדרוס את הילד, את התינוק, כי הזקנה יותר חשובה. ויכול להיות באמת שהפתרון הוא בסופו של דבר, שיהיו הרבה בינות כאלה שישכפלו בעצם את המין האנושי ואת כל מגוון הדעות שלו. בסיליקון וואלי יש מחשבה כזאת שהדבר הזה יביא משהו טוב יותר, אולי אובייקטיבי. אולי יהיה אפשר לחתור לאיזושהי אובייקטיביות אחרת, שלא באה מלמעלה, מאיזה החלטה אקדמית, מאיזה תיאוריה שאיזה פילוסוף במאה ה16 חשב עליה. בואו נביא את זה מכולכם. זה יהיה יותר אובייקטיבי, זה יהיה יותר אמיתי. אבל יכול להיות שזה לא יהיה. יכול להיות שזה פשוט נותן תמונה של מגוון יותר מדי גדול, ואנחנו שוב בנקודת ההתחלה
דיברנו על הנושא הזה כבר בפרק הרביעי של הפודקאסט, עם דוקטור ליאור זלמנסון, וזה הפרק שהייתי הכי ממליצה לחזור אליו היום. יש פה את המסגרת הרלוונטית ביותר להבנת מה שקורה ומה שעוד עומד לקרות. סיפרתי בו מה המיינדסט שממנו פיתחו בכלל בינה מלאכותית במלחמה הקרה, דיברנו על חזון החלפת הפוליטיקה במתמטיקה, ועל המצב הזה שאלגוריתמים מחליפים מנהלים ולא פועלים. אפילו ליאור דיבר על המצב שלכל אחד ואחת מאיתנו יהיו סוכנים אלגוריתמיים שמאומנים על האינטרסים והתכנים הספציפיים שלנו. הכל כבר שם, פשוט חשבנו שאנחנו מדברים על עוד עשור, לא על עוד שלוש שנים
אז זה לגבי האידאולוגיה הראשונה. אידיאולוגיה שנייה בסיפור הזה: מי שהכי מושפע אולי מהרעיון של טרנסהומניזם וללכת מעבר לביולוגיה בימינו, אז אנחנו מכירים את החזון של ריי קורצווייל, חזון “הסינגולריות מתקרבת”. יש לפחות שני מאמרים אקדמיים שאני מכירה, שמשווים את המבנה של “הסינגולריות מתקרבת” ואת הטענות שלו ל”התופעה האנושית” של דה שרדן. אז אני לא יודעת אם קורצווייל הכיר את זה שרדן ועשה לו פלגיאט מכוון או איזשהו טייק עליו, או שאיכשהו זה מגיע רק בגלגול הזה של ההשפעות, אבל הוא עצמו גם כן מספר איזשהו סיפור לינארי כזה. דה שרדן לפחות היה תיאולוג, אצל קורצווייל זה כאילו מדעי, שאנחנו הולכים ומתקדמים בקצב מעריכי שהולך וגדל, איזושהי היסטוריה כזאת לינארית, שמתקדמת לאיזשהו מקום, שבו אנחנו בהכרח – אנחנו חוזרים פה לדטרמיניזם. זאת אומרת, זה הטוויסט שלי על המודל שהראיתי לכם בהתחלה, שהאנשים שבונים את הטכנולוגיה מאמינים בטכנולוגיה דטרמיניסטית, ולכן יש לנו בעיה. אולי מהמקום הזה יש לנו דטרמיניזם טכנולוגי. כלומר, הרבה מאוד אנשים שגדלו על תפיסת העתידנות הזאת, מאמינים שבהכרח אנחנו הולכים בתוך המסלול ההיסטורי הזה, שבו הטכנולוגיה אמורה מתי שהוא, בשנה מסוימת (לא משנה אם הוא צדק בשנה או לא), לעבור את הבינה האנושית, וזה פשוט מה שהולך לקרות. אז עכשיו אתם יכולים לנסות לעכב את זה כי אתם מפחדים, או לתת לזה לקרות
ואולי שם מתפצלת קהיליית הטכנולוגיה, כן? זאת אומרת, כמה אנשים באמת מאמינים שאנחנו אשכרה יכולים לעצור? למה אתם מייצרים את זה? מישהו שאל פעם מישהו, למה אתם בכלל עושים כלים מסוימים, אם אתם כל כך מפחדים מהם? יש פה תפיסת דטרמיניסטית מטורפת, שמונעת מכל מיני תיאוריות כאלה, שהן פסאודו-מדעיות, די משיחיות, איזושהי תיאולוגיה שכבר לא מודה שהיא תיאולוגיה, שאומרת לנו בעצם “זה בהכרח עומד לקרות”. זה רק עניין של זמן, וכמה נאבק בזה או כמה נאט את זה. ויכול להיות שדווקא המסגרת הזאת של דת ותאולוגיה יכולה לעזור לנו להבין את הדטרמיניזם הזה, שאנחנו נמצאים בו עם הבינה המלאכותית. ומראשית ההיסטוריה אנחנו רואים איזושהי התלבטות כזאת של האם הכוח הטכנולוגי זה כלי בידינו, או אל שישלוט עלינו. אפשר לראות את זה כבר אולי באל הראשון במיתולוגיה היוונית, שהוא אל-רובוט, טאלוס, השומר של כרתים. הוא כלי, הוא שומר, יצר אותו אחד האלים, והוא שומר על כרתים. אז למה הוא בפנתיאון? זאת אומרת, הוא אל או כלי? זה לא לגמרי ברור
אצלנו ביהדות יש את מיתוס הגולם, שממנו יוצא לנו הביטוי “הגולם יקום על יוצרו”. כלומר, אנחנו באמת גדלנו עם סיפורים תיאולוגים מאוד מסוימים, שיוצרים בנו גם את הפחד הזה, קודם כל, שזה מה שיקרה, שהוא פחד סופר-תרבותי. כלומר הוא מערבי במהותו, זה לא משהו שקורה במזרח. בדתות המונותאיסטיות רק לאדם יש נשמה, וכל השאר חסרי רצון, והם אוטומטיים. אם למשהו, לעוד משהו, יש אולי נשמה או רצון, זה הדבר הכי מפחיד בעולם. באנימיזם, שינטואיזם, בתיאוריה אחרת, להרבה דברים יש סוג של רוח, סוג של נשמה, אז כן, גם לרובוט הזה יש, אף אחד לא מפחד ממנו. אנחנו רואים מדע בדיוני יפני, הרובוטים הם חברים, מגשימים חלומות לילדים, עולם אחר לגמרי. אין שם אף אחד שישתלט עליכם. כלומר, אנחנו צריכים להבין גם את הדבר הזה, שהוא גם מאוד תרבותי, ולכן אידיאולוגי, ולכן משהו שגדלנו עליו בדתות מסוימות מסיבה מסוימת. יש ספר נורא מעניין שלנגדון וינר כתב ב1977 על הפחדים שלנו לגבי השתלטות הטכנולוגיה עלינו, ואובדן שליטה על הטכנולוגיה, כבר מהמאה ה18, זו תמה במחשבה הפוליטית
גם לגבי תודעה, יש לנו כרגע רק תיאוריות, אין לנו מושג מה זאת תודעה ואיך עושים אותה. והתיאוריה המובילה זו באמת תיאוריית ההגחה/הפצעה. אם זה נשמע לכם מגוחך שמישהו בסיליקון וואלי קם ואומר “אני לא יודע, זה חייזר, אולי יש לו תודעה”, זה לא מגוחך בגלל שיש להם את האמונה הזאת, שגם אם יצרתי כלי מטופש, הוא יכול לעלות לבד ברמת המורכבות, ואנחנו לא יודעים כאילו, משהו יכול לקרות בו מאחורי הקלעים, ואנחנו לעולם לא נדע, כי אנחנו גם לא יודעים אם לבנאדם אחר יש תודעה, לא פתרנו את זה בפילוסופיה. אני חושבת שכדאי שנבין באיזה תיאוריות הם מאמינים, ושהן רק תיאוריות כרגע, יש כל מיני תיאוריות. הנה סיפור מעניין שסיפרה אן פורסט, שהייתה “תיאולוגית הבית” במעבדת הבינה המלאכותית של אם.איי.טי בשנות ה90, על ההשפעה של מיתוס הגולם היהודי על פיתוח הבינה המלאכותית באם.איי.טי
הסיפור של אן פורסט שהקרנתי מווידאו, פתח בעצם את פרק 29 בפודקאסט, “אלוהים והגולם” עם יותם יזרעאלי. הנה הסיפור בעברית, מתוך אותו הפרק
במעבדת הבינה המלאכותית של אמ.איי.טי עברו במהלך השנים ארבעה מדענים ממוצא יהודי, שטענו שהם צאצאים של אותו רב מפראג שיצר לראשונה את הגולם. על פי אחת האגדות, הגולם המת נמצא עדיין בעליית הגג של בית הכנסת בפראג, והרב יצר משפט, פסוק, שיכול להחיות את הגולם באחרית הימים. הפסוק הסודי עבר בירושה מאב לבן במעמד בר המצווה, ואותם מדענים (שאחד מהם היה אגב החוקר המפורסם מרווין מינסקי) האמינו שהם יהיו אלו שיחיו את הגולם. האנלוגיה ליצירת בינה מלאכותית די ברורה כאן. שניים מהפרופסורים הבכירים שהאמינו בזה, ג’רי סוסמן ויואל מוזס, החליטו שכל אחד מהם יכתוב בנפרד על פתק את הפסוק הסודי להחייאת הגולם, שקיבלו מאביהם בבר מצווה, וכשהם השוו את הפתקים, היה זה אותו הפסוק בדיוק
אז כל פעם אנחנו אומרים מדע, מדע, אבל יש שם הרבה מאוד תיאולוגיה בסיפור הזה. ואולי אני אסיים בעוד כיוון אחד בנושא הזה. שני חוקרי פילוסופיה ותאולוגיה חשבו עליה במקביל, ללא קשר בעשור האחרון, וירג’יל בראוור מאוניברסיטה בשיקגו, ודוקטור שלמה-דב רוזן כאן אצלנו באוניברסיטה העברית. שניהם חשבו מתי שהוא, מרוב ההיכרות שלהם עם תאולוגיה, אחד עם תיאולוגיה יהודית ואחד עם תיאולוגיה נוצרית, על ההקבלה הנורא מעניינת שיש בין בינה מלאכותית ואלגוריתמים לכתיבה על מלאכים. יש כתיבה נורא מעניינת על מלאכים, יש תחום כזה, מלאכולוגיה, ישויות שכליות שאנחנו מאמינים שמסתובבות בינינו. ביהדות חושבים שאין להם רצון חופשי, שהם טכנולוגיה של אלוהים, לכל מלאך יש מלאכה. בנצרות חושבים שיש להם רצון חופשי, עובדה, לוציפר הצליח לעזוב ולעשות מיתולוגיה משלו. ובעצם הם הסתכלו על זה, כל אחד מנקודת המבט שלו, וראו שיש הרבה שאלות מעניינות שאנחנו שואלים היום על בינה מלאכותית, שכבר נשאלו על מלאכים. כלומר, אנחנו קצת משחזרים פה את העולם הדתי הזה, ושלמה-דב רוזן אמר, זה נורא מעניין כמה זמן, כמה חלון צר היה לנו, שהיינו לבד בעולם. בני אדם כאילו כמעט לא מסוגלים לסבול את הרעיון הזה שהם לבד בעולם. אז הפסקנו להאמין במלאכים, חילון וזה, שנייה לא החזקנו מעמד. מהר, מהר, צריך שיהיה שם עוד איזושהי ישות שכלית אחרת, שהיא שונה מאיתנו, כדי שלא נהיה לבד בעולם. אנחנו מטילים עליה את כל כובד האמונה הטכנולוגי שלנו בסיפור הזה
-בינות ומלאכים היה כמובן הפרק השלישי של הפודקאסט, ואני מאד ממליצה לשמוע אותו כיום-
ותכף אנחנו נעבור לבועז ונדבר על זה עוד קצת. אני כן רוצה שאנחנו נשים לב לשיח הזה, שהוא מאוד דתי, מאוד תיאולוגי, גם אצל היזמים, גם אצל משתמשים, ואני חושבת שזה חלק מהסיפור ספציפית אצל אחד היזמים שבועז ידבר עליהם, זה קשור לרעיון של “הבזיליסק של רוקו”. נראה לי שפה אנחנו מסיימים, אני רק אשאיר אתכם ככה עם מטאפורה ויזואלית יפה
בנקודה הזאת הראיתי לנוכחים ולנוכחות תמונה של אחד מחמשת מחשבי העל הקיימים כיום בעולם, המכונה מארה נוסטרום, שממוקם בתוך כנסייה בברצלונה
מחשב העל הזה הוא מטאפורה ויזואלית נהדרת לחילופי הסמכות. החילוניות, שכביכול באה בתצורה מדעית, אני קוראת לנו לנסות לראות את המקומות שבהם היא דווקא תיאולוגית, או משחזרת תיאולוגיה, במודע או שלא במודע. אז בועז, לחלק שלך
בועז
אני אתחיל בסיפור. אני בטוח שרובכם, כולכם אולי, מכירים אותו. סיפור על מהדק, מהדק נייר. היה היה מהדק נייר, או יותר נכון היה יהיה, יום אחד יהיה מהדק נייר, ומאיזושהי סיבה, בעולם שבו יש מהדק נייר, יש גם מערכת בינה מלאכותית, שמחליטה מאיזושהי סיבה, נסתרת או לא נסתרת, שמה שצריך לעשות זה לייצר כמה שיותר מהדקי נייר. המערכת הזאת מגיעה למסקנה שצריך למקסם את מספר מהדקי הנייר, לעשות כמה שיותר מהדקי נייר. והתוצאה של התהליך הזה, שבו הדבר הזה שנקרא בינה מלאכותית, מייצר עוד ועוד, אין סוף מהדקי נייר, מביא לזה שבני אדם מתים, השמדה שלנו כבני אדם. למה מייצור בלתי פוסק של מהדקי נייר, מקסימליזציה של מהדקי נייר, אנחנו צריכים למות? שתי סיבות. סיבה אחת, כי במהלך התהליך הזה, כאשר יש כבר בני אדם, מן הסתם יבינו שהמכונה או הבינה הזה טועה, שוגה, עושה משהו לא הגיוני, ולכן ינסו לעצור את הבינה הזה. הבינה הזה שמטרתו לייצר כמה שיותר מהדקי נייר, יחסל את האדם שמנסה לעצור אותו. זה בעצם כולנו, כן, כי אנחנו רוצים לעצור את הדבר הזה מלהמשיך הלאה. סיבה שנייה, אולי יותר חשובה, היא שאנחנו עשויים מאטומים, נכון? ואם כל מה שרוצים לעשות זה לייצר מהדקי נייר, צריך גם את האטומים שלנו בשלב מסוים, כי האטומים שלנו לא יותר טובים מכל אטום אחר
אז שתי סיבות למה נושמד בתהליך הזה, שבו הבינה מייצר אין סוף מהדקי נייר, בעצם הופך את כל היקום למהדקי נייר, ולא נשאר שום דבר. לא בני אדם, לא כדור הארץ, לא יקום. אולי יקום ובינה. זה הסיפור על מהדקי נייר, סיפור מאוד מוכר. את הסיפור הזה המציא או הגה ניק בוסטרום, הוא פרסם אותו בצורה מסוימת ב2003. בוסטרום, פילוסוף ממוצא שבדי, שפועל באנגליה באוקספורד, יש לו מכון לעתיד האנושות והאינטליגנציה, והסיפור הזה, שהוא סיפור שהוא מן גלגול אולי של סיפורים אחרים, אולי שוליית הקוסם, כל מני דברים כאלה, אבל יש פה איזה צד חדש. הטיימינג שבו הסיפור הזה נוצר הוא משמעותי, כי זה סיפור שבו המושג בינה מלאכותית כבר לא קשור דווקא בהגפנה. יש לנו סיפורים מהמאה ה20 על רובוטים. יש את אסימוב, חוקי הרובוטיקה, ואיך למנוע מהרובוטים להרוג אותנו. אבל הרובוטים הם משהו מאוד קונקרטי, הם מכונות שעושות פעולות ועושות דברים
הבינה אצל בוסטרום בסיפור הזה הוא משהו מופשט. אין לו שום גוף, הוא לא דבר קונקרטי, לא ברור איך הוא עושה את הפעולה הזאת בכלל של יצור מהדקי הנייר, אבל הוא עושה את זה. וזה קשור בטיימינג להתפתחות או לשינוי הפרדיגמה, עליית הלמידה העמוקה, בערך באותה תקופה, סוף שנות התשעים, ההישגים הראשונים המשמעותיים של הדבר החדש הזה, שמשנה את איך שאנחנו יודעים ויכולים לפתור בעיות, ובערך בעת ההיא עולות מחשבות חדשות על מה זה בינה מלאכותית ואיך הוא יכול להיראות. והסיפור הזה זה מן סיפור יסוד, אחד מסיפורי המקור של המחשבה שלנו על בינה מלאכותית, סיפור ממטי כזה, סיפור עם כוח רב, סיפור סוגסטיבי. והסיפור הזה השפיע וחלחל בכל מיני צורות, גם לחשיבה של אנשים אחרים
אליעזר שלמה יודקובסקי נולד למשפחה אורתודוקסית מודרנית בשיקגו. אוטודידקט גמור, לא סיים תיכון, שום דבר, לא אוניברסיטה, לא כלום, אבל כתב הרבה מאוד בגיל צעיר על שאלות שקשורות לבינה מלאכותית, וגם עבד/כתב/ חשב יחד עם בוסטרום, והמחשבה הזאת של בוסטרום, יחד עם מחשבות נוספות של יודקובסקי על הדברים האלה, הביאו למן סוג של אסכולה פילוסופית אולי, מחשבתית. לא כולה חדשה, אבל הרבה ממנה כן מעודכנת לשנים הראשונות של שנות האלפיים, כשהפוקוס שלה הוא חד משמעית על הנושא הזה של הבינה המלאכותית, כשיש שם איזשהו יעד אידיאלי ליצור בינה מלאכותית טובה, מה שמקודם אמרנו בינה מיטיבה של “אופן אי.איי” זה לגמרי זה, טובה וידידותית
יודקובסקי עדכן, כאילו מבחינתו היה חשוב לעדכן את הסיפור המיתולוגי של בוסטורום, ואת זה אולי אתם קצת פחות מכירים, כי זה פחות מוכר. מבחינתו יש בעיה בסיפור של בוסטורום. למה? כי יש שם משהו באמת מטומטם. זה נראה כמו “נתנו למחשב הוראה שייצר מהדקי נייר”, וזה באמת הוראה מטומטמת למקסם מהדקי נייר, למה שנעשה דבר כזה? אנחנו אשמים. אפשר להגיע למסקנה הזאת מהסיפור. ולכן אומר יודקובסקי, לא, בוא נשנה את הסיפור. זה יהיה סיפור על מקסימיזציה של “סקוויגל”. מה זה סקוויגל? כשיש שרטוטים של מולקולות, אז סקוויגל, זה מין שבלול כזה שיוצא מהמולקולה, וזה איזה משהו לא חשוב, כן? יש שם משהו, יש שם חומר, אבל הוא לא רלוונטי, הוא לא משנה
עכשיו, מה שהבינה עושה בסיפור של מקסימיזציית הסקוויגל, לבינה הזה נותנים או יכולים לתת דווקא מטרה ככה נעלה וחשובה, למשל, למצוא תרופה לסרטן. הבינה, במהלך פנימי כלשהו, מגיע למסקנה שכדי לעשות את זה הוא צריך למקסם סקוויגלים. וזה כבר קצת יותר הגיוני. זה לא מהדקי נייר, זה חומר מולקולרי כלשהו, שלנו נראה לא חשוב בכלל. והמהלך חשיבה הזה – שאולי הוא סוג של באג, בעצם, אבל ההבדל הוא דק בין מה באג ומה לא באג, כשאנחנו נכנסים לאופן המחשבה של בינה – מביא ליצירה של מקסימיזטור של סקוויגלים. ושוב, גם בנו יש סקוויגל, אז אפשר למקסם אותנו. והשיפט הזה חשוב, כי עבור יודקובסקי מאוד חשוב לדייק את האופן שבו המיתולוגיות והמשלים האלה עובדים. אבל זה לא תפס
מה שכן תפס, זה מה שיודקובסקי הקים ב2009, אתר, אוסף בלוגים, פורומים, “לס רונג” (פחות מוטעה – כ.ו), שבו כותבים על הנושאים האלה, עוסקים בהם, חושבים עליהם. הוא ואוסף של אנשים שזה היה חשוב להם לכתוב, ולהגות, ולריב, ולהתווכח. מכירים את הפורומים של תחילת שנות האלפיים? אז לס רונג היה מן מקום כזה. ולס רונג הפך להיות מקום מאוד משפיע. זאת אומרת, המחשבות, וההגות שם, והריבים שם, קראו אותם הרבה אנשים בסיליקון וואלי, תיכף נראה איך ועד כמה זה השפיע. ואפשר להגדיר את אופן המחשבה שם, באוסף הפורומים הזה, בתור “רציונליות”. יש אמנם גם פילוסופית מושג די עתיק של רציונליות, אבל הם עשו לו איזשהו שיפט לעולם החדש שלנו. כאילו אין שום התייחסות היסטורית פילוסופית אחורה. כמעט ולא, זה כאילו לא קיים, הכל חדש. הכל מומצא עכשיו
העקרונות שאפשר לדבר עליהם באופן מאוד כללי, ככה במהירות, זה “לא נרמה את עצמנו”, נשיג מטרות שלא הצלחנו להשיג קודם (בעיקר באמת סביב הבינה והבנייה שלו). החשיבה היא מאד היוריסטית: איך אנחנו נשנה, למשל, הרגלים וטכניקות בחיים שלנו, כאילו בלי אידיאולוגיה מאחורי, איך פשוט לשפר דברים ותהליכים, נגיע לטיעונים אידיאליים, נגיע לאיזה דרך לחשוב הכי נכון, לקבל החלטות. קבלת החלטות זה דבר יסודי בחשיבה של הרציונליות החדשה הזו. בכלל, חשיבה על תורת המשחקים, דברים מהסוג הזה, איך לקבל החלטות בסיטואציות מורכבות. וערך שבאמת נגעה בו כרמל, הגעה לאמת באופן משותף, יחד, נגיע לאמת דרך הקולקטיב הזה, של אנשים שחושבים. שם זה נמצא, לא במקום אחר.
בפורומים האלה, בקהילות האלה, גם נוצרה שפה, שפה פנימית: אורתוגונליות. זה משהו שהוא מאונך. במושגים של בינה מלאכותית, למשל, המחשבה היא שהבינה יכול לפעול מתוך כביכול יעדים ומוטיבציות שאין להם שום קשר אלינו. הוא יכול מאוד להתקדם לקראת האינטליגנציה, וזיכרון, ועוד יכולות, אבל המוטיבציות שלו יהיו לחלוטין שונות מאיתנו. בעולם שלו הכי חשוב יהיה למקסם מהדקי נייר או סקוויגלס, אנחנו לא יכולים להבין את זה. ולכן במושגים של יודקובסקי והחשיבה הרציונליסטית, הבינה הוא לא רע, הוא אף פעם לא רע או טוב, הוא עושה את מה שהוא עושה כי הוא אורתוגונלי לנו. אופטימיציה – איך אנחנו מבצעים אופטימיזציה של תהליכים. אקס ריסק – סיכון אקזיסטנציאלי, סיכון של השמדה של כולנו, זה גם מושג חשוב מאוד. תיאוריית החלטה נטולת זמן (טיימלס), זה מושג חשוב ומורכב שעוסקים בו הרבה. זו המצאה של יודקובסקי, זה מן דרך אחרת לחשוב על תורת המשחקים, על קבלת החלטות, כשהזמן פרוש באיזשהו אופן לנגד עינינו, עתיד ועבר. קצת אפילו קשור לדה שרדן באיזשהו אופן, גם לא מודע. אבל כאילו הכל באיזשהו אופן מתרחש במקביל, וקבלת ההחלטות שלנו נובעת מזה. ומושג מאוד מאוד חשוב שחוזר על עצמו המון פעמים: מושג הסימולציה. המושג שכאילו נראה לנו שאנחנו מבינים מה שאנחנו אומרים כשאנחנו אומרים אותו, אבל זה לא נכון. ובחשיבה של רציונליות, זה מושג מאוד מאוד מרכזי
הבזיליסק שהזכירה כרמל, סיפור מאוד יפה. סיפור שני שאני מספר פה. אני מזהיר אתכם, זה סיפור שגורם לנדודי שינה וסיוטים, ואפשר אפילו להשתגע אם שומעים אותו. זה בעצם סיפור או פוסט שכתב מישהו בפורומים האלה של לס רונג, שנקרא רוקו, זה היה הכינוי שלו, והוא סיפר את הסיפור הבא. זה בעצם ניסוי מחשבתי כזה, מה אם. מה אם התפתחה מתי שהוא בינה מלאכותית, והיא עד כדי כך חזקה, שהיא בעצם יכולה לגרום לנו לחשוב שאנחנו יכולים לעזור לה או לא לעזור לה, והבינה הזאת יודעת מה אנחנו עושים בכל רגע נתון, מה הכוונות שלנו וכן הלאה. ואם היא תדע שאנחנו פעלנו לא כדי לעזור לה עצמה לקרות, להיוולד, היא תעניש אותנו, באותו עתיד שבו היא קיימת, דרך זה שבסימולציה שהיא תייצר, בעולם הווירטואלי שהיא תייצר כי היא מסוגלת לו, (עולם שבו אנחנו בהגדרה נמצאים כבר, כי היא מסמלצת אותנו, היא יכולה לעשות הכל, היא עושה גם את זה). והיא תשים אותנו בנצח של עינויים בתוך העולם הווירטואלי שלה. אותנו עצמנו, כי אנחנו כבר בהגדרה נתונים לכוחות אינטליגנציית-העל שלה, ולכן אנחנו נענשים. ניענש בזה שלא עזרנו ליצור אותה, היינו נגד הבינה מלאכותית
כרמל: הסיפור של הבזיליסק של רוקו, אגב, פתח את פרק שלוש “על מלאכים ואלגוריתמים”, אבל בועז סיפר אותו כאן באופן מלא יותר, ויחבר אותו גם להקשרים העכשוויים שלנו. אני אציין רק שהחוקרת בת’ סינגלר ראתה דמיון בין הסיפור הזה לניסוי המחשבתי המפורסם של הפילוסוף בלז פסקל לגבי קיומו של אלוהים. גם פסקל הגיע למסקנה שעדיף לחיות כמאמין, כי מקסימום אין אלוהים. אבל אם יש ולא האמנת, תיענש בגיהינום נצחי, ויש לך מה להפסיד
בועז: עכשיו כן, זה סיפור שיש בו משהו מאוד מפחיד. זה אומר ממש שכאילו קיים לפחות סיכוי, הרעיון עלה, שאם אני לא עוזר ליצירתה – אני לודיסט, אני נגד הבינה, אני עומד פה ומדבר נגד הבינה – הבינה המלאכותית בוחנת אותי, כמו באיזה משחק מחשב, סימולציה שבה אני נמצא. ובמשחק מחשב הזה, שימו לב, אני גם לא בהכרח ימות. העונש שיקרה לי, שאני אהיה בגיהינום נצחי אחרי זה, אהיה מעונה לנצח. זה לגמרי הגיהנום הנוצרי, כן? בלי סוף. לנצח נצחים, חיים על חיים, שבו היא תענה אותי על זה שעכשיו קיבלתי את ההחלטה הלא נכונה מבחינתה, שזה להיות נגד הבינה. זה מן משחק מוזר כזה, מן סימולציה. זה סיפור שמופיע בתרבות הפופולרית בכל מיני צורות, לא באופן ממש הזה. ועכשיו זה סיפור שבאמת אפשר לחשוב עליו, התעסקו בו באופן טבעי בפורומים האלה בלי סוף, הדברים האלה הופכים להיות ויראליים
אבל מה שיותר מעניין, זה התגובה של יודקובסקי לסיפור, אחרי שהוא קרא אותו בפוסט בפורומים שלו עצמו, והוא כתב ככה (זה יודקובסקי כותב): אני בדרך כלל לא מדבר ככה, אבל אני אחרוג ממנהגי במקרה הזה (של הבזיליסק של רוקו). תקשיב לי יא חתיכת אידיוט, הוא אומר לרוקו, אתה לא חושב לפרטים לגבי אינטליגנציות-על ששוקלות האם לסחוט אותך או לא. זה הדבר היחיד האפשרי שנותן להן מניע לסחוט אותך. זה מאוד מוזר וקשה להבין, ולא נתחיל לפרש מה שקורה פה בעצם. במילים אחרות, יודקובסקי אומר לו, מה שעשית הוא מאוד מסוכן, אתה הכנסת רעיון – וזה הבזיליסק. זה נחש קדום אגדתי שאם מסתכלים לו בעיניים…זאת כאילו המחשבה שאסור לחשוב, אומר לו יודקובסקי. אסור לחשוב אותה, אסור לבטא אותה, אסור להעלות אותה בפורומים! אתה עושה פה משהו, שכל מי שעולה המחשבה הזאת בראש שלו, בעצם לכוד בתוך הסיפור הזה. אי אפשר להתחמק מזה יותר. אבוד. והוא בפועל אסר על דיון בבזיליסק חמש שנים. היה אסור להעלות את הנושא הזה בפורומים. אחרי זה יודקובסקי אמר שזה קשקוש, זה שטויות, אבל זה לא משנה. הדבר קיים כסיפור. יש לו השפעה, הייתי אומר אפילו גדולה, גם אם היא נסתרת
ולא, זה לא מוכר כמו סיפור המהדקים. מה שמעניין, שגם סיפור המהדקים של בוסטרום, וגם הסיפור הזה, אלה לא סיפורים של יודקובסקי. יודקובסקי הוא לא מספר סיפורים, הוא סוג אחר. הוא מן נביא ויש פה כמה תפקידים שמעניין להתייחס אליהם. יש את הנביא, יודקובסקי. יש את מספר הסיפורים, ותיכף נראה עוד דמות משמעותית. בפודקאסט מהשנה האחרונה, שעסק בכלל בביטקוין, אירחו את יודקובסקי, והוא כל מה שהוא דיבר עליו זה על בינה מלאכותית, ועל זה שאבוד לנו, כולנו הולכים למות. זה הפך להיות גם משהו די ויראלי. אני לא יודע אם אני ממליץ להאזין לזה. זה מעניין, כן? הוא שוטח שם את המשנה שלו, וחד משמעית זה הסוף, זה אבוד, אין כבר מה לעשות, פשוט כדאי ליהנות קצת מהחיים, להיפרד מקרובינו, הכל אבוד. ובין השאר, שני המגישים, שבכלל שוב, עוסקים בקריפטו, שאלו אותו: אוקיי, תן לנו דוגמה ספציפית קונקרטית איך הבינה תשמיד את כל האנושות?י
זה הסיפור השלישי. זה סיפור שהוא כבר כתב לפני הפודקאסט, הוא מחזר אותו בפודקאסט, אבל זה סיפור של יודקובסקי כבר, ולכן מעניין להסתכל עליו. בגדול הוא אומר דוגמא איך הבינה תשמיד את כל האנושות בפועל? היא שולחת במייל הוראות לאחת המעבדות שיסנתזו דנ”א ופרוטאינים ממנו… ישלחו דנ”א למעבדות שיעשו לו סינתזה, ואחרי זה ישלחו את זה לאיזה איש מסכן איפשהו, ישלמו לו כדי שיערבב אותם וייצר בעצמו חומר. ככה יבנה ריבוזום. הריבוזום אבל לא יבנה באופן הרגיל, ולא יוחזק יחדיו יחד באמצעות “כוחות ואן דר וואלס“, אלא ייוצר אחרת. ובעצם מה שיקרה בתהליך הזה, ייווצרו מולקולות בצורת יהלום במקום פרוטאינים רגילים, והם ייצרו בקטריות קטנות בצורת יהלום. הבקטריות-יהלום הללו מתרבות בעזרת פחמן מהאטמוספירה, מימן, חמצן, ואור שמש (הכל מאד ספציפי!), וכמה ימים אחר כך, כולם על פני כדור הארץ מתים באותה השנייה
אז כן, יש פה סיפור מלא בפרטים מדעיים, כימיה, פיסיקה, ביולוגיה. באמת שכמה שלא נתאמץ לא נצליח לחבר את החלקים שלו יחד, אני חושב שהרבה ניסו. איזשהו סיפור הפחדה מטורף, אבל זה מד”ב טוטאלי, זה פנטזיה מוחלטת, אבל זה סיפור ההפחדה של יודקובסקי, כן? ואפשר לנסות להבין למה דווקא הסיפור הזה ומה הוא אומר. זה סיפור של סוף האנושות שמיוצר באופן כזה, משהו שהורג אותנו באיזושהי דרך קסומה, הייתי אומר כמעט אפילו. רק בשביל באמת לסבר את האוזן – יהיו פה כמה ציוצים עכשיו – זה ציוץ של פרנסואה שולה, הוא חוקר, אחת הדמויות החשובות בכתיבה של קוד, יציאה של ספריות כמו “קראס” וספריות אחרות, עובד של גוגל היום, כתב את אחד הספרים החשובים על למידה עמוקה ופייתון, איש מחקר רציני בתחום הלמידה העמוקה ולמידת מכונה
לפני כמה זמן הוא העלה את הפוסט הזה סביב ההפחדות שקשורות לבינה המלאכותית. אז אולי יש לו פוזיציה כי הוא בגוגל, אבל עדיין אני חושב שזאת העמדה שלו, בלי שום קשר גם לתפקיד שלו. בשביל לאזן פה קצת את העניינים: למען הסר ספק, כרגע ובעתיד הנראה לעין, אין בנמצא אף מודל או טכניקה של בינה מלאכותית שיכול לייצג סכנת הכחדה לאנושות, אפילו לא במצב התפתחותי, ואפילו באקסטרפולציה של יכולות לעתיד הרחוק באמצעות חוקי סקיילינג. כאילו הוא אומר, זה לא קשור לכלום. כן, הוא אומר, אלה סיפורים. עכשיו, הסיפורים האלה, יש להם כוח, יש להם משמעות, אבל זה לחלוטין רובד של סיפורים. אם אנחנו חושבים שהסיפורים האלה, בפורום הזה, זה משהו שולי, אזוטרי, מטורלל, בשולי השוליים של החשיבה האמריקאית (בסדר, זה רציונליסטים), סם אלטמן כותב את הדברים הבאים: לדעתי, אליעזר עשה יותר מכל אדם אחר כדי להאיץ את היווצרותה של בינה מלאכותית כללית. לבטח הוא גרם לרבים מאתנו להתעניין בבינה מלאכותית כללית, עזר לדיפמיינד להשיג מימון בזמנים שבינה מלאכותית כללית הייתה מחוץ לתחום, והיה קריטי להחלטה להתחיל את “אופן אי.איי”. יודקובסקי עצמו היה קריטי בקבלת ההחלטה להקים את החברה
הוא השפיע מאוד על אילון מאסק בזמן הקצר לפני ההקמה שלה ב2010, השפיע מאוד על סם אלטמן ועל רבים אחרים. זאת אומרת, ההגות שנראית לנו הזויה, מטורללת, ודיבור כאילו סהרורי לחלוטין, ברמה של כת אמריקאית – ואני לא חושב שאני מגזים פה – הוא יסודי, והוא משפיע מאוד על החשיבה של הגורמים הכי משמעותיים בתחום של פיתוח של בינה מלאכותית בארצות הברית. ולפחות את זה צריך להבין ולראות את זה כהווייתו, את הקשר הזה. והוא אומר פה: ייתכן שבנקודה מסוימת, יגיע לו פרס נובל לשלום על זה. על התרומה העצומה שלו. כן, אז הדמות הזאת היא מאוד מאוד חשובה ומשמעותית, כדאי להכיר הסיפורים שלה. עוד דמות, אילון (מאסק – כ.ו). עכשיו אני נכנס לתפקיד הנוסף, השלישי. הוא לא מספר סיפורים, הוא בוודאי לא נביא, אבל הוא עושה משהו אחר
הוא לוקח את ההפחדות האלה, את הסיפורים המאוד מטרידים האלה שבוסטרום מייצר וגם יודקובסקי, ומשחרר אותם הלאה ומוסר אותם דרך האתר שלו, והוא הבן אדם שבעצם המוטיבציה שלו זה למנוע את העלייה הזאת של המכונות שיהרגו אותנו. ולכן פה נוצרת החלוקה הזאת, הפיצול הזה. מתוך האמונה שהבינה יהיה כל כך חזק ויהיה אורתוגונלי ועוד הרבה דברים וישמיד אותנו, מה שאנחנו חייבים לעשות זה לייצר בינה שתעצור את הדבר הזה. ודרך ההפחדה, והדבר הנורא שיקרה, דרך נבואת האפוקליפסה, נבנים בעצם הדברים שהם גם יביאו את האפוקליפסה. זה לחלוטין פרדוקסאלי, אבל זה מה שבדיוק קורה. זאת אומרת, זה לא איזה פרשנות שלי. זה בדיוק מה שקורה. במקביל לחתימה שלו (מאסק – כ.ו) על המכתב הפתוח, שצריך לעשות כל פיתוח של בינה מלאכותית אחרי ג’יפיטי ארבע, ממש פחות אותו באותו זמן, הוא מכריז על טרות’-ג’יפיטי (ג’יפיטי-אמת), שהיא הג’יפיטי הטוב, כי הג’יפיטי של אופן אי.איי זה הג’יפיטי הרע
מה שמאוד מעניין מאחורה בהסבר שלו מה זה טרות’-ג’יפיטי, ולמה הוא יהיה טוב? כי הג’יפיטי הנוכחי הוא “ווק” (ער, במובן של השמאל הפוליטי – כ.ו), ומבחינתו בני האדם הם רעים. קולוניאליסטים, גזענים, וכן הלאה. אבל זה לא נכון. זה שקר. והטרות’-ג’יפיטי ידע את האמת – אני עכשיו אומר מה שאילון מאסק אומר, זה לא פרשנות – האמת היא שבני אדם טובים, ומתוך כך שהוא ידע שבני אדם טובים, הוא ירצה בטובתם וירצה לשמור עליהם. ולכן, טרות’-ג’יפיטי הוא מושיע, הוא יציל אותנו, ממש באופן ליטרלי, מהבינה הרעה, מהג’יפיטי הרעים למיניהם. אילון היה מעורב כמובן בהקמה של אופן אי.איי, אחרי זה פרש בטריקת דלת, השקיע שם כספים, אז יש כמובן גם המון ביזנס מסביב. אבל הדברים שאנחנו קוראים אותם ברמה הדתית-מיתולוגית-נרטיבית, ככה הם נראים
ידיעה שהתפרסמה באתרים מרכזיים באחד ביוני: רחפן צבאי אמריקני שנשלט ע”י בינה מלאכותית הרג את המפעיל שלו בסימולציה. כבר בידיעה הזאת יש משהו מאוד מוזר. הרג, סימולציה. שימו לב, מה זאת אומרת, נהרג? אבל מבחינתנו כשאנחנו רואים הרג אז הרג, מה פירוש “בסימולציה”? ברור לגמרי שמי שניסח את הידיעה והעורך, מבחינתם, סימולציה זה לא… זאת ידיעה באתר מרכזי. אדם נהרג. סימולציה או לא, זה משהו, לא… בסדר. בסימולציה. בפוקס ניוז: סימולציית רחפן בינה מלאכותית צבאי הורג את המפעיל שלו לפני שאמרו לו שזה רע, מוריד את מגדל הבקרה. זה ממש סיפור! והוליווד לגמרי, באתר הימין, אינפווורז, הקיצוני מאוד: סקיינט הגיעה! סימולציית רחפן צבאי מסתבכת, כלי הטיס הורג את המפעיל האנושי ומשמיד את מגדל התקשורת. הורג באותיות גדולות! זה אצל אלכס ג’ונס. בישראל: טרגדיה בארה”ב, מל”ט צבאי המופעל באמצעות בינה מלאכותית הרג את המפעיל שלו לאחר שניסה למנוע… פה אין סימולציה בכלל, אין כלום. כן, המשהו הזה קרה
אחרי כמה שעות, פתאום נוספו מירכאות ל”הרג” בכל מיני אתרים. פה כבר אי אפשר להבין כלום. מה קורה, מה קרה. בגרדיאן אחרי זה כתבו: קולונל אמריקאי חוזר בו מהאמירות על סימולציית תקיפת הרחפן בניסוי המחשבה. ניסוי מחשבה! זה פשוט מדהים. ובגוף הידיעה, אומר הבנאדם שאחראי על הבינה המלאכותית בארצות הברית בחיל האוויר: אף פעם לא הרצנו את הניסוי הזה, וגם אין צורך בכך כדי להבין שזו תוצאה אפשרית. מה קרה פה? מה הסיפור הזה? זה סיפור על ניסוי מחשבה, בדיוק כמו המהדקים, שדנו בו כנראה באיזה מקום, ומישהו הוציא את זה כציוץ, נכתב על זה איזה בלוג פוסט, המילה סימולציה הופיעה שם, אבל זה ככה נעלם, וזה התגלגל לידיעות מרכזיות על אדם שנהרג, שחוסל על ידי בינה מלאכותית. סיפור שמשקף כמובן את הסיפורים, את עצמם, סיפורי האפוקליפסה, התחלת הסקיינט
ואני חושב שזה סיפור מרתק בנקודה הזאת בזמן, כי זה לא סתם פייק ניוז, זה לא איזה טעות שטעו בזה, יש פה בלבול מהותי בין סימולציה לבין מציאות, והבלבול זה משקף בדיוק את הלך הרוח של הסיליקון וואלי גם, הבלבול הזה שנמצא בין מה הסימולציה, מה אנחנו דמיינו שעשוי לקרות, לבין מה שקרה, הגבול מאוד דק, וזה כאילו מן ספקטרום כזה. נאמרו דברים כמו “הוא נהרג בסימולציה”. אז למה זה ידיעה ראשית בגרדיאן? אדם נהרג במשחק מחשב, כאילו. אבל זה אפילו לא היה משחק מחשב, זה היה ניסוי מחשבה. אפילו בפיקסלים הוא לא נהרג, כן? מישהו חשב שמישהו אולי ייהרג אם נעשה משחק, כן? אני חושב שהדבר הזה מייצג בדיוק איזושהי שהייה באיזה נקודה על איזשהו מעגל בין סימולציה למציאות, שקשה מאוד להבין אותה למי שלא נמצא בתוך הסיליקון וואלי, לצורך הדיון הזה, ומבין את הניואנסים האלה. ובחוץ זה נראה כאילו פתאום הכל באמת מתערפל, מופיעה המילה “הרג” ומופיעה המילה “סימולציה” באותה כותרת, יש בעיה. יש פה איזו בעיה בהבנה של בכלל במה אנחנו מתעסקים פה, לדעתי
עוד דוגמא לדבר הזה, אחרת לחלוטין, מהזמן האחרון. בטח שמעתם על פרישה של שני מדענים מאוד חשובים. ג’פרי הינטון פרש מגוגל והודיע על החרטה שלו הגדולה על דברים ש… שניהם זכו בפרס טיורינג על פיתוחים שלהם בתחום הלמידה העמוקה. יהושוע בנג’יו לא פרש משום מקום, אבל הוא גם אחד התורמים הכי גדולים בתחום. שניהם ביטאו מן חרטה בשבועות האחרונים, ג’ף הינטון אמר: אני מנחם את עצמי עם התירוץ הנורמלי, אם אני לא הייתי עושה את זה מישהו אחר היה עושה זאת. יהושוע בנג’יו אומר: אפשר לומר שאני מרגיש אבוד. בידיעות האלה הם מדברים על זה שהם חשים חרטה, וברור שמשהו מאוד קשה עובר עליהם. עכשיו, מה נורא מעניין פה? הם מבטאים חרטה וצער על דברים שהם בנו. הדברים האלה עשויים להביא לאסונות, ולדברים מאוד גרועים, ולתקלות, ולשיבושים, ואולי להשמיד את האנושות, אבל זה עוד לא קרה. שום דבר מזה לא קרה. אפילו לא קצה קצהו של זה קרה בפועל. זה הכל בעצם ספקולציות, חששות
ולמה הם אומרים את הדברים האלה עכשיו? יש דוגמאות מההיסטוריה של מדענים שהתחרטו, אנחנו מכירים דוגמאות כאלה. איינשטיין, שאחרי הירושימה ונגסאקי, התחרט על האופן שבו הוא תרם לזה שפיתחו את הפצצה, גם כמובן מדעית, אבל גם לזה בפועל בארצות הברית. לא חסרות דוגמאות. אבל זו דוגמה מאוד מוזרה, אני חושב. שהם מתחרטים ומבטאים את הצער שלהם, לפני שהאסון קרה. הם מכירים אולי את תיאוריית הסימולציה, אבל זה לא משנה, זה לא שהם עסוקים בסימולציה, אבל הם מתקיימים בתוך עולם שהלך הרוח בו – סיליקון וואלי או המחקר סביב בינה מלאכותית – כן יש איזושהי בו זמניות. וזה הבו זמניות הזאת גם של יודקובסקי של קבלת ההחלטות ללא זמן. האסון כבר קרה מעצם זה שהוא עשוי לקרות. המפעיל של הבינה המלאכותית כבר מת, הוא מת כי הוא היה יכול למות. הבינה שאנחנו בנינו כבר השמידה את האנושות, ולכן אנחנו כבר חשים צער וחרטה ממש על הדבר הזה, שעוד לא קרה בעצם. אפשר אפילו ללכת עוד צעד ולהגיד כן, בתוך המשחק, הניסוי המחשבתי של הבזיליסק, הם יודעים שזה מה שטוב לעשות. טוב שיבטאו חרטה באיזשהו משחק שבו הם שגו, והתוצאות יהיו הרסניות, אז בנקודה הזאת מבטאים את החרטה מראש
ואני חושב שזה רגע טוב לדבר על אמונת הבסיס אולי, היפותזת הסימולציה, וגם היא של בוסטרום. גם היא אפשר לראות את השורשים שלה עמוק בהיסטוריה, בפילוסופיה, ובמיתוסים, אבל הדרך שבה היא נוסחה על ידי בוסטרום, זה מורכב מאוד, אז אני ממש אתמצת את זה: קיימת אפשרות ריאלית, שבעתיד האנושות מפתחת כלים יותר ויותר חזקים, וכמו שיש לנו היום משחקי מחשב שאנחנו מאוד אוהבים, אז בעתיד משחקי המחשב ישתכללו, והאנשים של העתיד מן הסתם גם ייהנו ממשחקי מחשב, ויהיה להם כוח חישוב, יכולות מחשב כל כך חזקות, שברור שהם יעשו סימולציות שבהם הם מסמלצים את העבר. מה שנקרא, סימולציות של שושלת האבות. הם בונים סימולציה של איך היו אלה שחיו בתחילת המאה ה21, למשל, ובנו את הבינה המלאכותית. וזה מאוד סביר שזה מה שהם יעשו. ולא רק סימולציה אחת, מלא סימולציות. ולכן, סיכוי מאוד מאוד גבוה, שגם אנחנו זה בסך הכל סימולציה של בני האדם שעתידים להגיע. שבסך הכל אנחנו בתוך משחק מחשב, סימולציה, מטריקס, שבנו מי שיבואו אחרינו
והוא לא מדבר על בינה מלאכותית בהקשר הזה, אבל עם טוויסט קטן, זה בעצם הבינה שמייצרת, או בני אדם עם הבינה, או הבינה לבדו, הוא בעתיד, הוא שולט, הוא אינטליגנציית-על, הוא מייצר להנאתו, הוא משתעשע בזה, מייצר את הסימולציה שבה אנחנו נמצאים עכשיו. אבל ההשפעה של הסיפור הזה היא עצומה. למשל, בכתבת פרופיל על סם אלטמן מ2016 דובר עד כמה אלטמן עצמו אובססיבי סביב הרעיון הזה. ולא רק הוא: אנשים רבים בעמק הסיליקון הפכו אובססיביים להיפותזת הסימולציה, הטיעון שמה שאנו חווים כמציאות למעשה מיוצר ע”י מחשב. שני מיליארדרים של הייטק הרחיקו עד כדי לשכור בחשאי מדענים שיעבדו על לשחרר אותנו מהסימולציה
כרמל: גם אילון מאסק מאמין בזה
בועז: בוודאי שמאסק מאמין בזה! מאסק הוא מהשליחים החשובים של להעלות את הסיפור הזה. הדוגמה הכי יפה אולי, שהוא נשאל לפני שנה, האם הוא מאמין שאנחנו חיים בסימולציה, ומה הייתה התשובה שלו? הלב שלי אומר לא, אבל המוח אומר שכן. זו התשובה של מאסק על הנושא הזה. ואין שום ספק, שהמחשבה הזאת, שאנחנו חיים – בסיליקון וואלי בוודאי, אבל זה כמובן רלוונטי לכל המציאות – נמצאים בתוך סימולציה שנבראה על ידי בינה עתידית, ולכן ההחלטות שלנו לגבי בנייתו של הבינה, באיזשהו מובן נשפטות על ידי אותו בינה; היא באמת אמונה חזקה, פופולרית, נפוצה בסיליקון וואלי. וזה מקום מאוד מוזר אך ורק בגלל האופי הזה של המחשבה ושל האמונה, של מה שמפעיל את אנשי הסיליקון וואלי
עכשיו מה מאד מעניין בסוג החדש הזה של האל? כן, זה סוג של אל חדש, אל שיצר אותנו, עשה אותנו בתוך סימולציה. זה באמת כבר נמצא קצת אולי אצל פייר דה שרדן, שהאל הזה שברא אותנו, אנחנו בראנו אותו. אנחנו בראנו את האל שברא אותנו. וזה אני חושב, איזשהו טוויסט לפחות על הדתות – אולי לא מיתוסים הודים אולי, שם זה יותר נפוץ, הדבר הזה של הלופים – אבל ביהדות, בנצרות, בדתות המונותאיסטיות, המהלך הוא חד כיווני בסך הכל. יש אל שברא אותנו, קורים דברים, יש עתיד, גיהנום… אנחנו פה בתפיסה קצת אחרת, או מאוד מאוד אחרת, משונה מאוד. ומי שקצת מכיר מדעי המחשב, משהו רקורסיבי, פונקציה שקוראת לעצמה: אנחנו בוראים את האל שברא אותנו שבורא את האל. יש פה איזה היתוך, ואנשי הסיליקון וואלי כאילו חיים את הלופ הזה, המצב המוזר הזה שבו הם בוראים הם משהו שיברא, או כבר ברא, כי זה לא משנה. האלמנט של הזמן פה באמת חסר משמעות. משהו שכבר ברא אותם, אותנו. תודה
כרמל: אני רוצה להגיד משהו לסיכום הנרטיב שלנו. אתם אומרים לעצמכם אולי, אוקיי, אז יש פה חבורת הזויים! אבל אני מקווה ששכנענו אתכם שחבורת ההזויים הזאת היא משפיעה, לא רק לתוך התודעה שלנו במדע הבדיוני, ובדברים שהם אומרים וכו’, זה מוטמע לתוך האופן שבו בכלל מתוכננות הטכנולוגיות הללו. אבל זאת לא תהיה הפעם הראשונה שאידיאולוגיות של קבוצה קיצונית הופכים להיות תרבות מיינסטרים. זה קרה לנו עם האינטרנט, והאינטרנט הוא אולי התקדים היחיד לרעיון הזה של בואו ניתן טכנולוגיה להמון ונראה מה הם עושים איתה, זה בטח יצא משהו טוב, חוכמת ההמונים. ואנחנו יכולים ללמוד אולי טיפה מההיסטוריה הזאת, ולראות באמת איך תת תרבות שנולדת באזור של מפרץ סן פרנסיסקו, עם מחשבות מאוד מסוימות על המציאות, הופך להיות מה שכולנו עושים. יש פה איזשהו שידור חוזר, לפחות תדעו ממה הוא עשוי, מהם החומרים הנרטיבים של השידור הזה
אז זה היה הסיכום שלי להרצאה שלנו, אבל הנה מדריך האזנה לפרקים קודמים רלוונטיים, וסיכום חשוב של הפרק הזה
פרקים שלוש וארבע על המלאכים, והבינה כבוס, חובה כבסיס. תתחילו משם, כבר אמרתי באמצע הפרק. החלק הראשון של פרק 29 עם יותם יזרעאלי ממשיך את הפן התיאולוגי הזה, ומדבר על מיתוס הגולם, ועל איסור פסל ומסכה בהקשר לבינה מלאכותית, סופר רלוונטי. להבדיל, פרק 22 עוסק בסוגיות של נשק אוטונומי, ובפרק 12 אנחנו מדברות על מערכות יחסים עם בינות מלאכותיות, כולל התייחסות לרפליקה, כבר אז בתקופת הג’יפיטי הראשון, שלא היה בכלל מוכר לציבור. אז אולי זה היה נשמע נושא שולי והזוי להתאהב בבינה מלאכותית, היום כל עיתונאית מפלרטטת עם בינה מלאכותית, וכותבים על זה בעיתוני המיינסטרים. בפרק 36 ערן הדס יוצר עם בינה מלאכותית ובודק את תהליכי החשיבה שלה, ובפרק 35 אורלי פורמן משלבת אותה בחינוך. חשוב לי להדגיש עד כמה התיאוריות הללו נתפשות כעובדות, ולכן אפנה אתכםן גם לפרק 61 עם פרופ’ חגי נצר, שעוסק בכלל בהיתכנות קיומם של חייזרים מזווית של אסטרונומיה. אבל גם שם, נצר מתייחס לסינגולריות כאל סוג של עובדה, במסגרת ההיפותזה שלו שאם נפגוש חייזרים, הם ככל הנראה יהיו ישויות מלאכותיות, בינות עם תודעה
אבל השורה התחתונה מבחינתי היא, שהפאניקה הנוכחית, והשיח האפוקליפטי המשוחזר הזה, בעצם מהווים הסחת דעת מהבעיות האמיתיות, שעליהן אנחנו מדברים ומדברות כבר עשור, בהקשר לאלגוריתמים קצת פחות חכמים, ועכשיו הם רק יוקצנו. בהקשר הזה חשוב להאזין, למשל, לפרק 30 עם תומר שדמי, להבין את הסוגיות הפוליטיות הללו שמכונות בטעות אתיקה, ונתפסות כטכניות בתעשייה, זו עדיין ליבת הבעיה. או להאזין לפרק 62 עם ערן פישר, על החתירה תחת הסובייקטיביות והסוכנות האנושית, והפקעת המרחב הפוליטי. להאזין גם לחלק הזה בפרק 54, שבו אורי שוורץ מסביר את המהות של הכוח האלגוריתמי, איזה מן כוח הוא, ולמה זה בהכרח לא כוח דמוקרטי. וגם לחלק השני של פרק 24 עם אירית שטרנברג, על הביקורת הפמיניסטית על החשיבה על בינה מלאכותית, שזה הרבה מעבר לנושא ההטיות, זה ברבדים אחרים לגמרי שהם קריטיים למחשבה שלנו היום
וזו באמת רשימה חלקית, כי זה נושא ששזור כמעט בכל פרק בפודקאסט, כמו בחלק לגבי ראיית מכונה בפרק 10, או במנגנון של העיר החכמה בפרק 11, ועוד ועוד. בינה מלאכותית באמת תחדור למרקם של כל תחומי החיים, בדיוק כפי שהיא במרקם של כל פרקי הפודקאסט הזה כמעט. אבל דווקא בגלל זה, יש סיכוי רב שבמקום לייתר או להחליף אותנו, היא פשוט תהפוך למובנת מאליה, ברקע, כמו החשמל, וגם האינטרנט, שבפעם היו אובייקטים של פליאה, פריצות טכנולוגיות קסומות, שציפו מהן לגדולות ונצורות, והיום הן כמו הזמזום של המקרר. וזה מרגש לדמיין עולם שבו טכנולוגיות כאלה פועלות ברקע. אין לי ספק שזה עדיין יהיה עולם אנושי מאד, העולם שלנו.
ממש השבוע התבטא בנושא זה גם ג’רון לניר, הוגה וטכנולוג מבריק, שגם הוא חושב שצריך לדבר פה על האנשים ולא על הטכנולוגיה. הסכנה הגדולה האמיתית היא היכולת האנושית לדמיין ולממש את מה שאנחנו מדמיינים, שזה כישור מפותח מאד בעמק הסיליקון. ולכן החשש הוא נבואה שמגשימה את עצמה, בגלל שהיזמים שמאמינים בה פשוט יוצרים אותה. בימים אלה, אחד הדברים הכי חשובים זה למצוא סיפורים אחרים, ולאמץ בכל לב אמונות אחרות, פשוטות יותר. מסתבר שיש לזה כוח עצום, ואת זה כל אחד ואחת יכולים
עד כאן להפעם, תודה רבה לבועז לביא. בפרק הבא נמשיך בתוכנית הפרקים הרגילה, אחרי הפרק הקודם על מציאות מדומה, מגיע פרק על גיימינג והפוסט אנושי. להשתמע בקרוב
?רוצה לקבל מייל כשהפרק הבא מתפרסם
:מקורות וקריאה להרחבה
פייר תייאר דה שארדן, 2005. התופעה האנושית, תרגום: יותם ראובני, תל-אביב: נמרוד
קורצוויל, ריי. (2012). הסינגולריות מתקרבת: כאשר האנושות מתעלה על הביולוגיה. כנרת, זמורה ביתן, דביר והוצאת מאגנס
Bostrom, Nick. (2003). Are You Living in a Computer Simulation? Philosophical Quarterly 53 (211):243-255.
Bostrom, Nick. (2014). Get ready for the dawn of superintelligence. New Scientist, 223(2976), 26-27.
Bostrom, Nick. (2014), Superintelligence: Paths, Dangers, Strategies, Oxford University Press.
Bostrom, Nick; Yudkowsky, Eliezer (2014). “The Ethics of Artificial Intelligence”. In Frankish, Keith; Ramsey, William (eds.). The Cambridge Handbook of Artificial Intelligence. New York: Cambridge University Press
Campolo, A., & Crawford, K. (2020). Enchanted determinism: Power without responsibility in artificial intelligence. Engaging Science, Technology, and Society, 6, 1-19.
Geraci, Robert. M. (2008). Apocalyptic AI: Religion and the promise of artificial intelligence. Journal of the American Academy of Religion, 76(1), 138-166.
Huxley, Julian. 1957. Religion Without Revelation. A Mentor Book: Harper & Brothers.
Le Bon, Gustav. (1897). The crowd: A study of the popular mind. TF Unwin.
Lévy, Pierre. (1997). Collective intelligence: Mankind’s emerging world in cyberspace. Perseus books.
Singler, Beth. 2017. “Roko’s Basilisk or Pascal’s? Thinking of Singularity Thought Experiments as Implicit Religion.” Journal of Implicit Religion 20:279–97.
Song, Y. S. (2021). Religious AI as an option to the risks of superintelligence: A Protestant theological perspective. Theology and Science, 19(1), 65-78.
Steinhart, Eric. (2008). Teilhard de Chardin and Transhumanism. Journal of Evolution of Technology 20(1): 1-22.
Surowiecki, James. (2005). The Wisdom of Crowds NY.: Anchor.
Winner, Langdon. (1977). Autonomous Technology: technics-out-of-control as a theme in political thought. Cambridge, MA: The MIT Press.
Yudkowsky, Eliezer (2012). “Friendly Artificial Intelligence”. In Eden, Ammon; Moor, James; Søraker, John; et al. (eds.). Singularity Hypotheses: A Scientific and Philosophical Assessment. Berlin: Springer.
Dr. Carmel Vaisman 