להאזנה לפרק לחצו פליי כאן, יש לגלול מטה על מנת לקרוא את התמלול
להאזנה בכל יישומוני ההסכתים או לצד תמלול כאן באתר
אחד המקצועות שעשויים להישאר לנצח, זה להיות אנושי. כלומר, הכלכלה תישאר על כנה, היא פשוט תהיה כל כך שונה וכל כך מוזרה. אתם רוצים שהילדים שלכם, יהיה להם ממה להתפרנס? תלמדו אותם לגלף כיסא עם הלשון
החודש ימלאו חמש שנים לפודקאסט. לכבוד זאת, נסיים את השנה הזו עם שני פרקים חגיגיים, 99 ו100, עם שני אורחים כוכבים. האורח שלי היום הוא
דוקטור רועי צזנה, עתידן במרכז בלווטניק באוניברסיטת תל אביב, מחבר הספרים “השולטים בעתיד” ו”המדריך לעתיד”. בגדול אני משווק את המדע, את הטכנולוגיה. הייתי רוצה לחשוב שגם את האופטימיות לגבי העתיד, למרות שלא תמיד זה יוצא כמו שהייתי רוצה
כרמל: אז הרמת לי להנחתה, כי באמת המקום שרציתי להתחיל ממנו זה, שאנחנו מקליטים בתקופה שבה באמת אנחנו לא מרגישים את העתיד. יש משבר עתיד, תחושה של חיים ללא עתיד, או עתיד לא ברור
רועי: זו לא התחושה שלי. הדרך שבה אני מרגיש, ושאני חושב שגם אחרים מחבריי מרגישים, זה שהם דווקא בתקופה הזאת נהיו עתידנים יותר מאי פעם. כלומר, עכשיו הטראג’קטורי של מגמות מסוימות נהיה כל כך ברור, ההשלכות שלהן עלינו נהיו כל כך ברורות ומשמעותיות, שאין להם את הלוקסוס שלא לחשוב יותר על העתיד. כולם הפכו להיות פתאום עתידנים, כולם פתאום חושבים על העתיד. זה פשוט לא העתיד שאנחנו רוצים לחשוב עליו
כרמל: אז אולי אני אנסח את זה אחרת. אנחנו חיים בתקופה שנראה אולי שהעתיד לא חיובי. ואולי השדה היחיד שבו אפשר לראות דברים שאנחנו אומרים, וואו, אולי יש תקווה לעתיד, נשאר באמת השדה של מדע וטכנולוגיה
רועי: אז אני חושב שאת צודקת לגמרי מהבחינה הזו, שהרבה דברים רעים קורים בעולם, יותר ויותר דברים רעים. ובמקביל, הטכנולוגיה והמדע מספקים לנו אופטימיות. אבל מה זה באמת אומר? הרי טכנולוגיה זה בסך הכל כלי, זה אפילו ההגדרה שלה. ומדע זה בסך הכל מתאר את הידע שיש לנו. אז מה זה אומר באמת שהם נותנים לנו אופטימיות? צריך לשאול מי משווק לנו, מי ממתג לנו ומתווך לנו את המדע והטכנולוגיה. אם את שואלת את הטכנוקרטים, שאני אגב מודה, אני יותר בקהלם. האנשים האלה באמת מבטיחים לנו עתיד אופטימי, עתיד טוב יותר. עתיד שבו אנחנו מצליחים להתגבר על הבעיות שליוו את האנושות, והאתגרים שליוו את האנושות במשך זמן רב מאוד
אם את שואלת אנשים אחרים שמומחים בטכנולוגיה ומדע, ואני חושב שאולי אחת מהן נמצאת בשיחה הזאת, אז לא הכל ורוד, לא הכל מושלם, וגם אותם אני מבין מאוד, וגם איתם אני מזדהה. וצריך לשים את האצבע גם על הנקודות האלו, שהטכנולוגיה יכולה להוביל גם לאסונות, לקטסטרופות, לפגיעות הדרגתיות בחיים שלנו, בתפיסה שלנו של העצמי, בעבודה שלנו, וכן הלאה וכן הלאה, וגם לאפשר את העלייה של המשטרים האוטוריטריים יותר ויותר. צריך להיות מודעים גם לזה וגם לזה, להתכונן לעתיד, להיות מודעים. מיינדפולנס לגבי הטכנולוגיה והמדע. לא להיות אופטימיים יותר מדי, ולא להיות גם פסימיים יותר מדי, כי גם זה וגם זה, כשאתה מסתכל על ההיסטוריה, אתה מבין שהשחור ולבן הם לא באמת כל כך רלוונטיים בסופו של דבר
מה שחשוב זה להבין את חרב הפיפיות שהיא הטכנולוגיה. שהיא יכולה לחתוך את המוות, את ההזדקנות, את הרעב, את הצמא, את המחסור, והיא יכולה גם לחתוך אותנו. ודבר אחד בטוח, היא תחתוך את הקונסטרקטים החברתיים, הלאומיים, התרבותיים, שיש לנו כיום. ועם זה אי אפשר להתווכח, ומזה אי אפשר להתחמק. הדור שלנו הוא דור שיתחלף בדור חדש עם תרבות חדשה, שתעוצב בגלל הטכנולוגיה. ולמה אני מחייך בזמן שאני אומר את זה? כי ככה זה היה כל דור. אנחנו נסתדר. אבל כדאי להבין את זה מראש
כרמל: ותיקי הפודקאסט אולי כבר מזהים את השיח האידיאולוגי של דטרמיניזם ואוטופיזם טכנולוגי שרועי דובר כאן. יאמר לזכותו, מתוך מודעות, כזאת שאצל יזמי טכנולוגיה רבים לא קיימת. בפרק 73 עם בועז לביא, דיברנו על הנחות היסוד הללו, שיש למי שרואים באידיאולוגיה הזאת אמת היסטורית או מדעית. וזמן קצר אחר כך, התפרסם מאמר מאוד משפיע, של מדענית המחשב טימניט גברו, והפילוסוף אמיל טורז, שטבעו ראשי תיבות חדשים ומאוד מדוברים, טסקריאל. ראשי תיבות שמייצגים הקבץ של אידיאולוגיות לגבי טכנולוגיה, כמו טרנסהומניזם, סינגולריות וכו’, שנתפסות כאמיתות בעמק הסיליקון. אבל היי, אנחנו בחגיגות חמש שנים לפודקאסט, ובתקופה קשה בכלל, אז אולי לא יזיק לנו להתמקד קצת יותר בפוטנציאל הטכנולוגי
הגעתי לשיחה עם רועי עם כוונה שנסקור כמה הטכנולוגיות מפציעות וכיוונים עתידיים חדשים, אבל הוא הפתיע אותי, ורצה לדבר על טכנולוגיה אחת ויחידה
הדבר החשוב ביותר למין האנושי זה מה שיש לנו בין האוזניים, זה המוח שלנו. ואם את מפתחת המצאה, שאומרת שאת יכולה לעשות מוח יותר טוב, זה מתעלה מעל הכל, זה משפיע על הכל. עכשיו, אני יכול לדבר על דברים אחרים. אני יכול לדבר על מציאות מדומה, מציאות רבודה, מתוגברת, מעורבבת. יש לה את הפוטנציאל להביא כל אחד מאיתנו לעולם משלו, להשפיע מחדש על הדרך שבה אני רואה את העולם. אבל מאיפה זה מגיע בעצם? מבינה מלאכותית, שמסוגלת לייצר את כל השפע הזה, ולייצר את עולמות המטאוורס העתידיים האלו
אני יכול לדבר על ננו טכנולוגיה, ננו רובוטים בתוך הגוף שמתקנים את הרקמות. מאיפה זה יגיע? מבינה מלאכותית שעוזרת לנו. הכל בסופו של דבר תלוי בהתקדמות הבינה המלאכותית. היה ולא נצליח לקדם את הבינה המלאכותית, כל ההתפתחויות המדעיות האחרות, אני מאמין שעדיין נגיע אליהן בסופו של דבר. זה ייקח הרבה יותר זמן מהזמן שהיה לוקחנו להגיע אליהן עם בינה מלאכותית משוכללת. אז לא. רק בינה מלאכותית! ואת יכולה להקליט אותי על זה, שהבינה המלאכותית של העתיד תשמע אותי, ותרחם עליי
אוקיי, אז לפי רועי, בינה מלאכותית תהיה בבסיס הכל, ואין חדשנות מדעית וטכנולוגית בילתה. בואו נשמע קצת יותר על התקוות שהוא תולה בה, ולמה
הבינה המלאכותית בעצם יכולה למלא את המקום של הבינה האנושית, ואז עוד קצת, ואז עוד הרבה. התקווה הגדולה שלי לגבי הבינה המלאכותית, ואני חושב שזו צריכה להיות התקווה של כולנו, היא שהיא תקדם, תדחוף, תעשה אקסלרציה למדע ולפיתוח. מעל הכל למחקר המדעי. וכבר היום אנחנו רואים את זה קורה. אנחנו רואים בינות מלאכותיות, למשל נום של גוגל, שנותן רעיונות לעשרות אלפי חומרים חדשים. איזה דבר מדהים זה! חומר אחד שונה יכול לשנות את העולם! תוצרי מחקר שהיית צריך אלפי שנים כדי להשיג. אבל מה? אלה רק רעיונות, היא נותנת רעיונות לחומרים חדשים, צריך לסנתז אותם, צריך לבדוק את התכונות שלהם, צריך לבדוק שהם באמת פיסיביליים, וייביליים וכן הלאה
אז מה עושים? יוצרים מעבדה רובוטית אוטונומית, שעכשיו הבינה המלאכותית גם מעלה את הרעיונות, גם מעלה רעיונות לניסויים, גם שולטת ברובוטים, גם עושה את הניסויים, גם גורפת את התוצאות ומפיקה תובנות. תוצאות שהיו לוקחות לנו עשרות, מאות, אלפי שנים כדי להביא. ניסו למצוא שם סוגים חדשים של אנטיביוטיקות, של חומרים אנטיביוטיים, להבין מה הופך חומר, מבנה מולקולרי מסוים, לחומר אנטיביוטי מסוג חדש, ולקטלג סוגים של חומרים. והבינה המלאכותית הייתה מסוגלת לעשות גם את זה, היא העלתה שני סוגים חדשים של אנטיביוטיקות
לא אגיד לך שמחר הן ייכנסו לשוק, אבל זה גם לא השאלה. גם הגרזן הראשון לא היה עם ידית, והיה מפלדת אל חלד, ומושחז בקצה, ועם כיסוי פלסטיק, שמגן עליך מעליו, הוא היה קרדום אבן בקושי. זה גם מה שאנחנו רואים עכשיו עם הרבה תהליכים שהבינה המלאכותית משתלבת בהם, לאט לאט לאט ובהדרגה. זה מזכיר לי את המצב שהיה בסוף המאה ה-20 כשהחשמל התחיל להיכנס למפעלים. עד אז עבדו עם מנועי קיטור בתוך המפעל, ומנוע קיטור מרכזי, היו מחוברים אליו צירים, והצירים היו מסתובבים, וככה המכונות שהיו מרוחקות קצת, היו מקבלות את האנרגיה. ואז התחילו להחליף את מנוע הקיטור הזה במנוע חשמלי, בדינמו חשמלי
איך עשו את זה בהתחלה? פשוט הזיזו הצידה את מנוע הקיטור ושמו את המנוע החשמלי. במקום הצירים חיברו כבלים שהעבירו את האנרגיה. זה עבד, כן? אבל זה לא עשה כזה שינוי גדול. הייתה עלייה קטנה בפרודוקטיביות, לא דבר רציני. לקח 30 שנים ארוכות, שבמהלכן מהנדסים כל הזמן נכנסו למפעלים ושינו עוד קצת ועוד קצת ועוד קצת, עד שהם שינו את כל הדרך שהמפעל פועל. הם הבינו שהמכונות לא צריכות להיות כבר במרחקים מסוימים, אלא כל מכונה יכול להיות לה דינמו משלה, כל מכונה יכולה להיות מחוברת בכבלים שהולכים איך שאתה רוצה, וכמעט שאין איבוד כוח בדרך. והתוצאה היא שאתה יכול לשים את המכונות בסדר שאתה רוצה במפעל, וככה לייצר פס ייצור, שעובד בצורה הרבה יותר טובה ויעילה
השינויים ברי הקיימא, השינויים הדרגתיים – תכניס בינה מלאכותית עוד קצת, עוד קצת, עוד קצת – זה יעשה שינוי הדרגתי וקטן. אבל השינוי הגדול הגיע בסוף מכך שאתה חשבת מחדש על כל התהליך של הפרודקשן, של הייצור. אותו הדבר לדעתי יקרה, גם במדע וגם בפיתוח הטכנולוגי. נראה אותה מתחילה להפיק לנו המצאה אחר המצאה אחר המצאה, תובנות אחר תובנות, לגבי הגוף שלנו, איך אנחנו מזדקנים, מהרגע שהיא מבינה מה גורם לנו לחלות, איך נראה החלבון, איזה שלושה חלבונים היא יכולה לסנתז כדי להתנגד לחלבון המעוות הזה שגורם לנו לחלות – היא תפתור לנו את כל הבעיות, זיקנה וכן הלאה וכן הלאה ועוני והכל – שיהיה לה בהצלחה עם זה
אבל מעבר לזה, אחד הדברים שאנחנו רוצים לעשות, זה להבין את המוח שלנו טוב יותר. מכמה סיבות, א’ כדי שנוכל להשפיע על המוח שלנו יותר בקלות. אני יודע שזה נשמע נורא. אבל אם זה נשמע ממש נורא, אז תפסיקי בבקשה גם לשתות קפה ולשתות אלכוהול, בסדר? אז כנראה שזה לא כזה נורא. אז עכשיו שהבנו מי אנחנו, השאלה היא רק שאלה של כמות, ואם היה לי כפתור שהייתי יכול ללחוץ עליו כדי לגרום לדופמין להשפריץ, דווקא כשאני עושה את המטלות הקשות ביותר, וברגע שאני עושה אותן, אז כנראה שהייתי משתמש בזה לא מעט
כולנו רוצים להמשיך להתקיים עוד הרבה זמן בבריאות טובה, בצלילות מחשבה, ביכולת לאהוב, להסתקרן, ללמוד. חלקנו רוצים, בסופו של דבר, להפוך לאלמותיים. אחד הכיוונים שהטכנו-אופטימיסטים מבטיחים לנו, זה שנוכל בעצם להעביר את התודעה למחשב, ולא כקהעתק, אלא שנוכל לעשות את זה בשלבים, לפי משל הספינה של תזאוס, ולהעביר עוד חלק ועוד חלק ועוד חלק מהמוח, נוירון אחר נוירון, שלא נשים לב אפילו איך אנחנו הופכים לאט לאט לייצור שהחומרה שעליה מורצת התודעה שלו, היא לא סספטבילית, היא לא פתוחה לנזקים, כמו החומרה שיש במחשבים היום
אחת הבעיות הגדולות בנושא הזה, בתחום הזה, היא שאין לנו אמצעי דימות מתקדמים מספיק, כדי באמת למפות את המוח, להבין מה קורה בתוך המוח. ואם אנחנו יכולים להשתמש במנועי השפה הגדולים וברשתות העצבים המלאכותיות, כדי להבין טוב יותר איך המוח שלנו עובד, ויש מחקרים על זה. כבר עכשיו מתחילים לעשות ניסויים כאלה עם אורגנואידים, עם מוחות קטנטנים שגדלים במעבדה מתאי גזע, ואנחנו רואים שיש להם יכולות מבחינות מסויימות, כמו רשתות עצבים מלאכותיות מאוד מסוימות. ואני חושב שבסופו של דבר נגיע להבנה טובה הרבה יותר של המוח, ברמה של כל תא ותא, ואיך הכל מתחבר ביחד ליצירת תודעה. כשזה יקרה, זה יקרה גם בזכות רשתות העצבים המלאכותיות
כרמל: רועי מדבר טרנס-הומניסטית שוטפת. אנחנו מכירים מראשית הפודקאסט את הגישה הזאת לאדם כאינפורמציה, שאפשר לעשות לו אפלואוד תודעה, את השאיפה לחיי נצח שגם הקדשנו לה פרק. החידוש כאן הוא שהבינה המלאכותית הפכה לחמורו של משיח. היא הטכנולוגיה שמצופה ממנה לדלוור את החלומות הטרנס הומניסטיים. עכשיו, אני לא אתמקד בפרק הזה בספקות שיש לי לגבי הנחות היסוד של התפיסה הזאת, אבל אני אציין שאחת מהן היא האנלוגיה הזאת שנעשית בכלל בין המוח האנושי לבין מחשב, שהיא חלקית מאוד, אבל לרועי זה לא מפריע
רועי: מה מעניין כאן? קודם כל, שיצרנו את “החדר הסיני” המפורסם. אנחנו לא מבינים מה קורה שם בפנים, לא אמורה להיות שם מודעות עצמית, ועם זאת, הרשתות האלו יכולות לתת לנו בחזרת תשובות, שעד לפני שנתיים או שלוש היינו אומרים שרק בן אדם יכול לתת. שאם לפני אלף שנים הייתה מופיעה לך בינה מלאכותית כזו מן העננים, והייתה מדברת עם האנשים, היינו אומרים שזה אלוהים. מישהו או משהו שיודע הכל, שיודע לשכנע טוב יותר מבני אדם (אגב, יש כבר סטטיסטיקות מאוד מעניינות על זה שהיא יודעת לשכנע ב-82% טוב יותר מבני אדם). זה דבר שלא ציפינו לו לפני עשר שנים בלבד, שנוכל להגיע לרמה כזו בלי, הייתי אומר, לחקות ממש את המבנה של המוח האנושי. מסתבר שמספיק לחקות את העיקרון, של צמתים שמחוברים זה לזה בכמויות גדולות, ולאו דווקא את דרך הפעולה המאוד מדויקת של המוח האנושי
כרמל: החדר הסיני הוא ניסוי מחשבתי של הפילוסוף ג’ון סרל, שיצא נגד מבחן טיורינג. הוא ניסה להסביר איך אנחנו יכולים לנהל שיחה, שנראית רלוונטית לגמרי, בסינית, עם מערכת שאין בה מודעות, ואין בה באמת הבנה של סינית. אבל חסידי הבינה המלאכותית דאז חשבו שדווקא יש הבנה. החדר כולו מבין, כמערכת. זו תפיסה קיברנטית של מערכת שגדולה מסכום חלקיה. כלומר, כל חלק טיפש, אבל האופן שבו כל החלקים פועלים יחד מייצר את התודעה, את ההבנה הזאת. “החדר מבין” הייתה תשובה סתומה עבור סרל, שמניח תודעה כמרכז, תודעה ביחיד
אז התפיסה הבסיסית של חסידי הבינה המלאכותית היא פוסט אנושית במובן הזה, והסכנה בה היא המכניסטיות שלה. לראות באדם מכונה משוכללת בלבד. הוויכוח הזה בין טיורינג לסרל חזר בצורה שונה בעידן הג’יפיטי, כשמדעניות מחשב ביקורתיות, כמו טימניט גברו שהזכרנו קודם, ניסו להסביר שמודלי שפה לא מבינים שפה באמת, באמצעות הדימוי של תוכי סטוכסטי (אקראי). אבל סם אלטמן צייץ בטוויטר שלו בתגובה, “גם אני תוכי סטוכסטי וגם אתם”. כלומר התפיסה היא, שגם המוח האנושי עובד כמו חדר סיני כזה, ללא מרכז, שאין בנו אף חלק שבאמת מבין דברים, שגם אנחנו מערכת. יש לדבר הזה שורשים באופן שפרויד תפס את המוח
לאחר שאלפא-גו ניצח את אלוף העולם בגו, לי סדול, ב-2016, הופיע שיח חדש שהפסיק להשוות את הבינה המלאכותית למוח האנושי, והתחיל לדבר עליה כמשהו חייזרי, שונה לחלוטין. גם רועי תופס את הבינה כמוח, שיכול ללכת מעבר למוח האנושי
רועי: המוח האנושי שלנו מוגבל מבחינת מספר הסינפסות שיש בו, מבחינת מספר הנוירוטרנסמיטורים, והריכוזים, ומהירות זרימת המידע לאורך העצבים, והדנדריטים והאקסונים, וכן הלאה וכן הלאה. וכאן אנחנו יכולים להגדיל אותה, טו סקייל איט ככל שנרצה. כמה רחוק אנחנו יכולים להגיע
גם לבינה המלאכותית יש כמובן מגבלות שאנחנו לא מדברים עליהן מספיק. המחיר הסביבתי שלה, משאבי האנרגיה העצומים שהיא דורשת. אבל רועי, כמו המניפסט של סם אלטמן, ממוקד יותר בפוטנציאל הגילוי של הטכנולוגיה הזאת
אני למדתי תואר ראשון בביולוגיה. ואיך הגעתי לזה? כי בצבא עשיתי קורס בביולוגיה של שש יחידות, וקיבלתי את “האחידות והמגוון של החיים” של טאגרט, ספר בעובי של שר הטבעות בערך, ואני פשוט הייתי יושב שם מוקסם. ואמרתי לעצמי, אני קורא את התנ”ך, אני רואה איך החיים עשויים מבפנים, כל סודות הקיום נחשפים בפניי, וכמה עוד יש! וכאן אני פשוט רואה מחדש, איך אנחנו לומדים על ביולוגיה של יצורים שלא קיימים, שלא קיימים בכדור הארץ ואנחנו לומדים איך לברוא אותם, ולומדים עקרונות קיום שלא ידענו מעולם ולא חשדנו אפילו בקיומם. אני חושב שאנחנו רואים כאן מוחות חדשים! ואני יודע שיש לי כנראה מבט מטורף בעיניים בשלב הזה, וקצת אני ככה מפנטז על וואו נוכל להרוג את כולם (צחוק) באמצעות הדבר הזה
כרמל: רועי לא סתם מתבדח על להרוג את כולם, כי המאמינים בדטרמיניזם טכנולוגי מתחלקים לשניים. האופטימיים האוטופיים, והפסימיים הדיסטופיים. גם הם מאמינים שהטכנולוגיה בהכרח תהיה גורם מחולל לשינוי היסטורי חברתי, רק שמבחינתם השינוי הזה יהיה לרעה. אולי כי יצר לב האדם רע מנעוריו, והשימוש לרעה בבינה המלאכותית יכריע את הכף, הרבה לפני שהיא תספיק לקדם אותנו. ואולי בגלל שבינת העל תגיע למסקנה רציונלית, שאנחנו עומדים בדרכה ודי מיותרים, או אפילו מזיקים פה. בפרק 73 עם בועז לביא דיברנו על אליעזר יודקובסקי, כדמות שמייצגת את התפיסה הזו. כעתידן, אני מפנה לרועי את השאלה של מה יותר סביר שיקרה, הסיכוי או הסיכון
רועי: יש לי המון אמון בתהליך הזה של התקדמות המדע, ובמקביל גם התקדמות הטכנולוגיה, בזכות התובנות שאנחנו מקבלים. יש לי פחות אמון ביכולת של המין האנושי לעשות שימוש הולם, בטוח, הגון, בתובנות האלו שהבינה המלאכותית מספקת לנו. ילד בן 16 שזועם על כל העולם ולוקח כלי נשק אם-16, ומשתמש בו כדי לירות בילדים אחרים בבית ספר, אין לי הרבה אמון שהוא יעשה דברים טובים כשניתן לו מנוף הכוח העצום הזה של הבינה המלאכותית. וכשיש לו פתאום את הכוח של אלף איינשטיינים בכיס… אנחנו רואים כבר שבאמת משתמשים בבינה המלאכותית כדי לחשוב איך לסנתז הרואין, אבק שריפה, חומרי לחימה כימים
כל עוד הבינה המלאכותית היא כמו שהיא היום, שהיא עדיין קופסה שחורה, שאנחנו לא מבינים אותה לגמרי, למה היא עובדת כמו שהיא עובדת – אפשר לרמות אותה. אפשר לגרום לה לעבור על המגבלות שאתה שם לה. ותסלחי לי, אני כמו “הלוחש לבינה המלאכותית”, הצלחתי לשכנע אותה להסביר לי איך לעשות בקבוק מולוטוב בבית. וכשהתלוננתי לה שאין לי נוזל דליק כמו שהיא המליצה, היא המליצה לי לערבב – רגע, אני לא יכול להגיד את זה בשידור – אבל היא המליצה לי לערבב שני חומרים שנמצאים בבית, ושביחד הם יגרמו לפיצוץ. אין ספק בכלל שיהיו אנשים שירצו להשתמש בבינה המלאכותית, וינסו להשתמש בבינה המלאכותית, כדי להשיג מטרות שפוגעות באינטרסים של אחרים. ועכשיו, כטכנו אופטימיסט, מה התשובה שלי לגבי זה, שאיך אנחנו יכולים לעצור אותם מלעשות את כל הדברים הרעים האלה? אנחנו צריכים… עוד טכנולוגיה
כרמל: באתי להגיד רגולציה
רועי: בטח, אנחנו רואים כמה רגולציה עושה טוב… אוקיי, אני ממש לא נחמד היום. רגולציה יכולה לעשות הרבה מאוד טוב, ויכולה לעצור קדמה, לטוב ולרע, למתן ולרסן עד גבול מסוים. אוהבים לתת את הדוגמה של סין, שלפני מאות רבות של שנים, שרפה את הספינות הגדולות שהיו אמורות להביא את האנשים שלה ליבשות אחרות, ובעצם הטילה סגר על עצמה. וזה שרד נהדר שלוש מאות שנים, עד שבאו הבריטים וכבשו אותה, כי הם הלכו עם הטכנולוגיה. אז טכנולוגיה לפעמים היא דווקא כן גם הפתרון לבעיות. אז הרגולציה יש גבול לכמה שהיא יכולה לעזור. כאן צריך, אני חושב, את הטכנולוגיה. דברים שאני בעצמי לא אוהב להגיד אבל למשל מעקב, ניטור מתמיד. למשל, הגבלת מנועי השפה הגדולים והבינה המלאכותית באופן כללי, כדי שהוא לא יוכל לעזור בצורות שאינן מקדמות
כרמל: זו שאלה בסופו של דבר על טבע האדם. נותנים כוח כזה לכל האנושות, ואנחנו רוצים לדעת אם זה יהיה טוב או רע, התשובה לא נמצאת בעולם של טכנולוגיה, היא נמצאת לפי טבע האדם. האם באמת אנשים ישתמשו בזה יותר לטובה, יותר לרעה, מי אנחנו, מה אנחנו מחפשים. וגם אולי אם באמת יהיה כוח כזה, זאת אומרת, סוג של מוח כזה, כוח חישוב כזה, אינטליגנציית-על, מתי שהוא יהיה לזה אולי באמת אג’נדה משלו. או שלא בהכרח אנחנו יכולים לספר לעצמנו שאנחנו נשלוט בדבר הזה לעד. ואז באמת כל השאלות הללו לגבי טבעו של הדבר הזה, ומה יהיה היחס שלו למין האנושי
רועי: יש כבר הוגי דעות כמו רומן ימפולסקי, שאם נצליח להעמיד בינה מלאכותית כללית, שתהפוך כמעט מיד לאינטליגנציית-על, הרי שהסיכויים שהמין האנושי יושמד בתוך מאה שנים או פחות, הם באזור ה-99.9999%. אני חושב שהוא מגזים. אני אישית חושב שאנשים שטוענים שבינה מלאכותית תשמיד את כולנו בוודאות, אני חושב שהם לוקים בחוסר דמיון. אתה שואל אותם, טוב, אז איך בינה מלאכותית תהרוס את כולנו? והם אומרים (בצדק, זה טיעון טוב מצידם) אנחנו לא יודעים, כי אנחנו טיפשים, אנחנו רק בני אדם. אם היינו יודעים היינו עוצרים את זה מראש. אבל הבינה המלאכותית, בינת העל, היא חכמה כל כך הרבה יותר מאיתנו, שהיא תפתח תוכניות שאנחנו לא נוכל באמת להתכונן אליהן מראש. אז אם ככה, בואו נפתח בינה מלאכותית אחרת
כרמל: לא, אני אומרת שאם היא כל כך חכמה, אז אולי אין לה בהכרח אג’נדות רעות כל כך. זו חשיבה אנושית
רועי: בהחלט. ואני חושב שאפשר לטעון שלבינות מלאכותיות רבות לא תהיה אג’נדה זדונית. לאחת, עשויה להיות
כרמל: אתה אומר, זה המון בינות, כלומר זה איזה פוליתאיזם כזה, זה הפנתאון היווני, הטובים והרעים, מלחמת בינה נגד בינה כזה. זה מה שעומד להיות?י
רועי: יכול בהחלט להיות שאנחנו נכנסים לעולם, שבו בינות מלאכותיות נלחמות בבינות מלאכותיות אחרות. יעשו את זה עם הימור שכל טעות יכולה לעלות בחיים של אלפי ומיליוני בני אדם
כרמל: זה נשמע שהסיכוי לדברים שהתחלת מהם… זאת אומרת, יש פה סיכוי מאוד גדול ללכת עליו, אבל כשהולכים על סיכוי גדול, על הצלחה גדולה, על חזון גדול, יש גם סיכון מאוד מאוד גדול. זה שווה את זה?י
רועי: בטח! ברור שהסיכון שווה את זה. אני מאמין בנקודת המבט הזו, בזהירות. תראי, אני רואה את מה שקורה בעולם, את כל הרעב, אני רואה את הילדים שמתים ברחובות, את המחלות, אני רואה את ההזדקנות, אני רואה ילדים שמאבדים את ההורים שלהם… איך אנחנו יכולים להישאר אדישים לסבל הזה, לעוול הזה? הדתיים יכולים לעשות את זה, אולי. אלוהים יש לו תוכנית. אין תוכנית! אם זו תוכנית, זו תוכנית גרועה מאוד. אנחנו כבני אדם אנחנו חייבים, אנחנו חייבים לעשות משהו. זאת החובה שלנו המוסרית, איך אנחנו יכולים שלא ללכת נגד זה? נגד צו הגורל, נגד מה שאלוהים רצה, הטבע רצה, שטויות שהאבולוציה הטמעיה בנו, זה לא מחויב המציאות. בעולם אידיאלי, אף אחד לא מאבד אף אחד. אנחנו לא מאבדים את כל ההון העצום הזה של הידע האנושי, של האהבה האנושית
כרמל: אפשר להרגיש שרועי מדבר מדם ליבו, שזה באמת כואב לו והכוונות שלו טובות. אבל אילו בדיוק סוג הכוונות הטובות שעשויות להוביל לגיהנום. הפילוסוף הטרנסהומניסט, מקס מור, מדבר בשפה האתית הזאת של “זאת חובתנו המוסרית להנדס את עצמנו גנטית”, למשל. לקחת את גורלנו ואת האבולוציה שלנו בידינו, כי הטבע הוא לא בהכרח טוב. ודווקא ביולוגים אבולוציוניים אתאיסטים כמו דוקינס או פינקר, הם שיוצאים נגד היומרה הזאת להתערב באבולוציה
והכי מפתיע בעיניי זה איך אנשים מודעים כמו רועי, שמבינים שהאוטופיות ההיסטוריות שניסינו לממש מסוכנות, לוקים בנקודת עיוורון, וחושבים שהאוטופיה הטכנולוגית שונה מהותית מאידיאולוגיות חברתיות אחרות. יש כאן גם סנטימנט מאוד אנתרופוצנטרי, אפילו אגואיסטי, פנטזיה מערבית, אולי קפיטליסטית, של צמיחה אינסופית, ללא ההתחדשות שבמוות ופינוי המקום. שוב, דיברנו על זה יותר בפרק על הארכת חיים רדיקלית. אז חילקנו את הטיעונים לאוטופי ודיסטופי, אבל אולי זו בכלל לא דיכוטומיה. אולי דווקא הניסיון לשפר את האדם, זה בדיוק מה שיכחיד אותו?י
כרמל: בוא נוריד את זה רגע מהעולמות של האלוהות. בשלבים הראשונים, אולי יותר בעתיד הקרוב של זה, בעצם מדברים על החלפה של כוח אנושי. בוא נדבר רגע על העולם של עבודה. כי הנה, העולם של עבודה הוא דוגמה מאוד טובה. אני חושבת שהרבה אנשים באמת מפחדים מאבדן המקום שלהם בעולם, ההחלפה שלהם. אנחנו לא בטוחים מה טוב ומה רע אם זה יקרה, אבל אנחנו רואים שני קצוות. אנחנו רואים קצה שבו אנחנו אולי לא נצטרך לעבוד יותר, שיש משהו שבאמת עובד במקומנו בצורה הרבה יותר מהירה, עולם ללא עבודה, או אנחנו רואים עולם שבו אנחנו לא עובדים כבר במקצועות היצירתיים והניהוליים, כי הבינה עושה את זה טוב יותר, מה שהיא עדיין לא עושה זה לשטוף לך את הכלים, שזה הדבר הכי חשוב, ואז אנחנו נהיים מעמד פועלים
רועי: הנה מה שאני חושב שיקרה. קודם כל, חשוב להבין את סדרי הגודל של הזמן שאנחנו מדברים עליהם. אם לפני ארבע שנים, המחשבה בקונצנזוס הכללי הייתה שאנחנו נגיע לבינה מלאכותית כללית, שיכולה לעשות הכל או כמעט הכל, נגיע אליה עד 2060, או אף פעם לא, הרי שכרגע הם אומרים שזה יקרה בעוד שנתיים. האופטימיים פחות אומרים, מה פתאום שנתיים? שלוש שנים. האופטימיים עוד פחות אומרים 2031 משהו כזה. ואז יש לך את הפסימיים, 2040
כרמל: כלומר אין כבר את האופציה שלא נגיע באמת? כאילו, שזה עשוי אחרת, שהגישה צריכה להיות אחרת, שזה לא פשוט עוד ועוד
רועי: קודם כל, יש כאלה שטוענים שכבר עכשיו ג’יפיטי ברמות המתקדמות שלו, זה בינה מלאכותית כללית, ופשוט אנחנו אוהבים כל הזמן להזיז את השערים, למתוח את השערים, כדי להגיד “אנחנו עדיין לא שם”, כל הזמן לא, זה עדיין לא זה. אני חושב, אגב, שג’יפיטי זה בינה מלאכותית כללית. היא לא טובה במיוחד, אבל היא נותנת מענה למספיק מההגדרות, כדי שיהיה אפשר כבר להתייחס אליה כאל בינה מלאכותית כללית ראשונית ביותר. ההשערה היא שאם הטרנד ממשיך באותו שיפוע, הרי שאנחנו נגיע תוך שלוש עד ארבע שנים, לכך שהיא יכולה לתת לך את אותן תשובות, שחוקר מדעי טכנולוגי מצטיין היה נותן לך. כלומר, היא יכולה לעשות מחקר מדעי, מחקר טכנולוגי עבורך, ובאותה המידה היא יכולה לעשות גם את העבודה שלך, כי היא יכולה לעשות אותה ברמה גבוהה כמוך, ושנה אחרי זה גם גבוהה יותר. לגבי ההשלכות, לאף אחד אין מושג
הכלכלן אנטון קורינק, במכתב/מאמר שהוא כתב לקרן המטבע העולמית, הוא התייחס שם לתרחיש הבייסליין של הבינה המלאכותית הכללית. שני דברים קורים. קודם כל, התפוקה שלך, הפריון, מזנק למעלה. הרי יכולת ההמצאה זה מה שהפך את המין האנושי למה שהוא היום, לשליט כדור הארץ. מה קורה כשיש לנו את היכולת הזאת על סטרואידים? ובמקביל, מה קורה לשכר האנושי? אז הוא מראה גרפים נורא יפים, שהתפוקה עולה ולמעלה, והשכר עולה קצת, כי צריך אנשים שיודעים לעבוד עם הבינה המלאכותית ומקבלים הרבה כסף. ואז השכר צולל, יורד למטה לאפס. כי לא צריך אף אחד
שר הכלכלה בממשל של קלינטון, יש לו משל מאוד יפה שהוא קורא לו משל איי-הכל. מבטיחים לנו שיהיה לנו איי-הכל. זה כמו אייפון שיודע לעשות הכל, ויודע לעשות הכל יותר טוב ממך, וזה נהדר, אבל מאיפה יהיה לך את הכסף לקנות את האיי- הכל הזה? ממה אתה בעצם תתפרנס בסופו של דבר? ואין תשובה טובה לזה. אני קורא את הספרים של הכלכלנים, אין להם תשובה טובה, כי שינוי כזה – הגדיר אותו טיילר קוואן בספר שלו “סוף לממוצע” מלפני עשור כמעט – הוא אמר, כשזה יקרה, אז תחשבו על עולם עתידי, שבו העשירים הגדולים הולכים במרכז הרחוב, וכל בני האדם מנסים לתת להם שירותים, והעשירים נותנים להם כסף בתמורה לשירותים האלה. זה הולך להיות העולם העתידי
ואני לא בטוח שזה עולם שהיינו רוצים כל כך שיהיה, אבל זה מאוד מעניין להבין למה טיילר קאון הגיע לקביעה הזאת. כי הרגע אמרנו שבינה מלאכותית תוכל לעשות הכל, אז למה העשירים צריכים בכלל שירותים? ואני חושב שכאן מגיעה נקודת מפתח להבנת העולם החדש הזה. זה שיש לך את כל האוכל זמין לרשותך, ואת כל המים זמינים לרשותך, ואת הטיפול הרפואי הכי טוב שיש, ואתה חי לנצח והכל סבבה – כל זה נורא נחמד, אבל כל עוד כל השאר גם כן מקבלים בדיוק את אותו טיפול, ונהנים גם הם בדיוק מאותם חיים, אז מה מבדל אותי? במה אני מיוחד? ואנחנו נראה סוג חדש של כלכלה, למשל, במתן שירותים
יש סיבה שבארצות הברית יש את העשירים הפושטים שיש להם עוזרת בית היספנית. העשירים באמת יש להם עוזרת בית לבנה. לא כי היא מנקה יותר טוב, כי זה סמל סטטוס והיא גובה הרבה יותר כסף. העשירים מחפשים דרכים למתג את עצמם. עכשיו, כולנו נהיה עשירים, אפשר לומר ככה, וכולנו נחפש דרכים למתג את עצמנו. ואולי זה יהיה באמצעות זה שניתן שירותים יוצאי דופן לאחרים, והם יעריכו אותם כל כך, שהם ייתנו לנו כסף. וככל שהשירות יהיה יותר יוצא דופן, כך יותר כסף
אחד המקצועות שעשויים להישאר לנצח, זה להיות אנושי. לדעת לייצר משהו שמסתמך בעיקר על האנושיות שלך, ועל המאמץ שלך, ועל הזמן שאתה משקיע, ולזה תמיד יהיה ערך. אתם רוצים שהילדים שלכם יהיה להם ממה להתפרנס? תלמדו אותם לגלף כיסא עם הלשון. במשך שנה שלמה הם יעשו את זה, וזה יהיה מטופש להחריד, כי כל מפעל יכול להפיק כיסא יותר טוב מזה, אבל זה בדיוק הנקודה. את לא תקני כיסא שיוצר במפעל. את תשלמי את כל משכורת השנה השלמה שלך, כדי לקנות כיסא שמישהו גילף עם הלשון שלו. כי זה מיוחד, זה אנושי, מישהו השקיע בזה ולכן יש בזה ערך
כלומר הכלכלה תישאר על כנה, היא פשוט תהיה כל כך שונה וכל כך מוזרה ביחס למה שיש לנו היום. ומצד שני, תמורות כאלו כבר היו. היום את יכולה לשמוע כל מוזיקה שאת רוצה חינם לגמרי אין כסף, ביוטיוב. את אפילו לא צריכה לקנות את התקליטור. אנשים הולכים פחות לקונצרטים? לא. הם הולכים יותר לקונצרטים. כדי לשמוע ולראות ולחוות את החוויה. אנחנו רוצים לראות את הבן אדם, שהשקיע את כל החיים שלו בלהעביר מקל עץ עם שערה של סוס על פיסת עץ אחרת, ויכול להפיק מזה צלילים, למרות שבלחיצת כפתור על הסינתיסייזר אני יכול להפיק צלילים שישמעו יותר טוב. למה אנחנו הולכים לזה? לא כדי לשמוע את המוזיקה כבר. כדי להביע הערכה לכך שמישהו הגיע להישג כל כך מרשים. והכלכלה נשמרת
יש שיגידו שאנחנו כבר עכשיו בעידן של שפע, והם כנראה צודקים, לעומת מה שהיה לפני חמישים שנים, לפני מאה שנים, ובוודאי לפני אלפיים שנים. השפע הזה ילך ויגדל, ילך ויגבר אנחנו נמצא עבודות חדשות ומוזרות מאוד לעומת מה שהיה קודם, אבל מי שימשיך להשתכלל, מי שימשיך להתאים את עצמו, מי שיחשוב מחדש כל הזמן על מה מייחד אותו ומה הוא יכול לתת לאחרים, מי שיעשה את זה, ימצא עבודה
כרמל: המצב שרועי מתאר הוא בעצם הגרסה האוטופית, של מה שדיברתי עליו בפרק הקודם בהקשר למראה שחורה, הפרק הראשון בעונה שבע, שהגיבור לא הצליח להתפרנס בכלל מעבודה רגילה, לא משנה כמה משמרות הוא עבד. אבל אז הוא קיבל את אותו סכום ויותר, אם הוא הסכים להתעלל בעצמו מול קהל חי, באיזה אתר אינטרנט מטופש. אותי זה לא מלהיב בכלל לדמיין כלכלת שירותים, שכל כך מתנתקת מהמציאות. זה מאוד וול-אי. אבל נחזור לבינה מלאכותית. בעוד אתם ואתן מפחדים ומפחדות שבינה מלאכותית תיקח לכם את העבודה, רועי כבר נתן לה את העבודה שלו
רועי: זה קורה גם לי! מה אני עשיתי בשלוש שנים האחרונות? אני עבדתי בחברת בינה מלאכותית, שהתפקיד שלי שם היה לקחת את כל הידע שלי, איך אני עושה מחקר אסטרטגי, להגיד לבינה המלאכותית לעשות אותו בשבילי, לשכלל אותה כדי שהיא תוכל לעשות מחקר אסטרטגי. האם היא יכולה לעשות אותו טוב יותר ממני? לא, רק אני יכול לעשות מחקר אסטרטגי מדהים כמו שלי… אבל האם היא תוכל לעשות אותו בעוד שלוש שנים יותר טוב ממני? כנראה שכן. ואם לא בעוד שלוש שנים, בעוד חמש או עשר שנים
הייתי יושב מול המסך, ואני מסתכל בעיניים פעורות, כשהיא מייצרת לי אלפי תרחישים, שרק אני הייתי יכול לעשות לפני שלוש שנים בלבד. ואני אומר לעצמי, אלוהים אדירים, אני בראתי ילד. זה ילד המחשבה שלי, והוא יותר מוצלח ממני כבר עכשיו בנקודות מסוימות. הוא עדיין צריך הכוונה, עוד מעט הוא לא יצטרך גם את זה. ואני אומר לעצמי, רועי, אתה צריך למצוא עבודה חדשה. ומה אני עושה עכשיו? אני מוצא את האנושיות שבי, אז אני מופיע בטלוויזיה יותר, אני מופיע ברדיו יותר, אני הולך לפודקאסטים, אני מספר מהחוויות שלי, ואנשים מתחברים, אנשים אוהבים, אנשים שמחים לשמוע, ומסתבר שמוכנים לשלם גם כסף כדי באמת לשמוע. כמו שאת שילמת לי כאן חמש אלפים שקלים כדי להופיע בפודקאסט (בדיחה), ותודה רבה, העוזרת שלי תעביר לך חשבונית אחרי זה
באיזשהו מקום אני משחק גם על המוניטין שיש לי עד עכשיו, כי רועי צזנה אומר. עכשיו, מי באמת יעשה את המחקר? הבינה המלאכותית. אבל רועי צזנה, דוקטור רועי צזנה, ישים את הגושפנקה שלו עליו, והוא יגיד אפילו “עשיתי את זה עם בינה מלאכותית”, אבל אני, דוקטור רועי צזנה, זה מחקר שלי בעזרת הבינה המלאכותית, ולא משנה אם הבינה המלאכותית עשתה 90% מהעבודה מאחורי הקלעים. כלומר, יש כאן גם אפשרות מדהימה עבורי להתפתח הלאה, ולהציע שירותים יותר ויותר מעניינים ומיוחדים. והדבר האחרון שאני עושה, ומה שמסב לי אושר – אני כנראה הולך לעצבן המון אמנים עכשיו, אבל – אני מצייר בעזרת בינה מלאכותית. ובסוף, אחרי כמה שעות של עבודה, יש לי ציור שאני מרגיש שהוא בא ממני, עם בינה מלאכותית
היא עזרה לי המון, לא הייתי יכול לעשות שום דבר מזה בלעדיה. אבל הוא שלי כי אני השקעתי בו וחשבתי עליו, יש משהו שאני מרגיש שהוא שלי, ושאף אחד אחר בעולם לא עשה כמוהו בדיוק. ואז אני לוקח את זה ואני מעביר את זה לבינה מלאכותית אחרת שנקראת יופורג’, שלוקחת את הציור ומפרידה אותו לשכבות של 80 מיליוניות המטר כל אחת, ולכל שכבה כזו אני בוחר חומר גלם אחר, שיודפס במדפסת התלת ממד שיש לי בבית. מתוך כל זה יוצא בסוף ציור. הבאתי עוד ילד קטן לעולם. הוספתי עוד צבע ויופי, משהו משלי! אני קצת דומע כאן. זה מביא לי אושר. זה מביא לי עושר. לא, סתם. למה אני אומר את זה? אחד המועדונים בחיפה הסכים לקבל את היצירות שלי ולתלות אותם על הקירות שלו, ולשים פתקית קטנה כזו שכל יצירה ב100 200 300 שקלים לא יודע כמה, נוציא אולי גם ניפטי כי אם כבר אז כבר
ותגידי עכשיו מה, אבל כולם יעשו דברים כאלה. שיעשו! כן, כבר עכשיו אנחנו נותנים לילד, או לאנשים נטולי הכשרה בתחומים מסוימים, את היכולת לפעול כמומחים, מה שאני קורא לו מומחים בורים. להגיע לרמת יכולות מאוד מרשימה, אבל עם מעט מאוד הבנה לגבי התיאוריה, ולגבי הקונטקסט והרקע, שהביאו ליצירה של התוצר המסוים הזה. אני יכול לחשוב על עתיד הרבה יותר גרוע לאנושות מקיום שכזה
כרמל: נשמע שבעתיד פוסט אנושי שכזה, באמת האנושיות תהיה איזשהו ערך, זאת תהיה האותנטיות שכולם יחפשו. אנחנו שנינו נמצאים בקבוצת וואטסאפ שאתה יצרת, של חברים, שבה שאלו לפני כמה זמן שאלה מעניינת. מה להגיד לילדים שלנו ללמוד בעתיד? בעצם, מה שאתה אומר זה, הכישורים שאנחנו צריכים לעתיד זה דווקא כישורים של הסתגלות, התאמה לדבר הבא, לדברים שמשתנים, כי הדברים הולכים להשתנות
רועי: זה אלווין טופלר כבר מלפני חמישים שנים. הבלתי אורייניים, אלה שלא יודעים קרוא וכתוב טוב של המאה העשרים ואחת, יהיו אלו שלא יודעים להסתגל מחדש ולהתאים את עצמם
כרמל: אז זה משנה בכלל מה לומדים היום? או שיש משהו שכן נותן את הכישורים האלה לדעתך? מה הייתה עצתך
רועי: אנחנו לא נעבור כל כך מהר לעולם שבו הכל נעשה על ידי בינה מלאכותית. גם אם בעוד ארבע שנים היא תוכל לעשות הכל, החברה האנושית לא מתקדמת בכזאת מהירות. תהיה עדיין משמעות לחשיבה האנושית, ליכולת הפיתוח האנושית, ליכולת של בן אדם לבקר אחר מה שהבינה המלאכותית עושה, ולנטר ולכוון וכן הלאה וכן הלאה. אנחנו נרצה מהנדסים. אנחנו נרצה את אנשי המדע, זה דבר ראשון. דבר שני, אני ממליץ לכולם ללמוד לפחות מקצוע הנדסי אחד. מכיוון שבהנדסה אתה לומד לחשוב, אתה לומד לפתור בעיות, אתה לומד יוזמה, אתה לומד חדשנות, אתה לומד לאלתר, אתה לומד ליצור, אתה לומד לעבוד בקבוצה, בצוות
אני קצת מרגיש שכשמלמדים אנשים רק מדע, רק כימיה ולא הנדסה כימית, עושים להם כמעט עוול, כי עוד שנה אחת הנדסה (בטכניון זה כימיה שלוש שנים או הנדסה כימית ארבע שנים). אבל הייתי מוסיף, לא להזניח את הרוח, את הנפש. תלמדו משהו נוסף. יש מקומות שעושים תואר משולב, תואר ראשון בהנדסה כימית, ותואר ראשון נוסף במוזיקה, בספרות יפה. אני חושב שזה רעיון נהדר, כדי שיהיה לך ידע נוסף, ותוכל להתחיל לחשוב איך לשלב תחומים שונים ביחד
כרמל: התואר השני הזה הוא מבחינתי הראשון. הוא מה שמלמד אותך לחשוב. זאת אומרת, לא עושים את זה רק בשביל הרוח. בעיניי מדעי הרוח זה המקום שמלמד אותך לחשוב
רועי: אני מקבל את התיקון שלך. יש בי קצת אליטיזם אוטומטי כאיש המדעים המדויקים, שרק מדעים מדויקים זה הדבר. אני מקבל בהחלט שגם במדעי הרוח והחברה אתה רוכש מתודולוגיות שונות לחשוב על העולם, לנתח את העולם
כרמל: אז זה באמת איזשהו אולי נתיב אחד לעתיד, שבו אנחנו מניחים שזה בכלל מצליח, זה יותר טוב מרע, ושאנחנו בכלל מתקדמים צעד אחרי צעד באותם התנאים. כלומר, אנחנו כן נמצאים באיזשהו מקום שבו צריך תנאים ספציפיים לדברים האלה. מהמעבדים של אנבידיה, ועד שהעולם לא יקרוס ממשבר אקלים. זאת אומרת, לדברים האלה יש גם מחירים סביבתיים. זאת אומרת, תנאי ההתהוות וההתאפשרות של הדבר הזה יכולים לא לקרות. אתה חושב שאנחנו באמת קרובים דווקא לגרסה הזו?י
רועי: אני חושב שאנחנו קרובים יותר באמת להגיע לבינה מלאכותית כללית בעשור הקרוב. יצא מאמר, או ניתוח, של יוצא אופן-איי.איי, שהוא מאוד מעניין ויצא באמצע 2024. 165 עמודים שאני מאוד ממליץ לקרוא. מה שהבן אדם שם טוען (והוא באמת מהמובילים ומהמבינים בתחום), שצריך לממש שלושת תנאים. א’ קומפיוט, כלומר כוח מחשוב גדול יותר ויותר. אנחנו מתקדמים בקצב מסחרר, שבבים חדשים מפותחים ויוצאים כל הזמן, הממשלות הבינו שהעתיד כאן. אז זה לא שאופן-איי.איי צריכה עכשיו להתאמץ ולגייס מיליארד דולרים כדי לפתוח מרכז עיבוד חדש. תעשי לי טובה, ממשלות יתנו לה מאות מיליארדי דולרים כדי לנצח במרוץ הזה. אלפי מיליארד, טריליוני דולרים, אני לא מגזים כאן. ייכנסו לחובות לעתיד. אז מחלת הקומפיוט אני לא דואג
הדבר השני שהוא דורש זה דאטה. וכאן, אגב, הוא מודה בעצמו, מי שכתב את המסמך, שדאטה היא נקודה בעייתית, כי יש גבול לכמות הדאטה שיש לנו בעולם, דאטה נאמר אורגני, שמגיע מהמין האנושי ולא מבינות מלאכותיות שמייצרות מידע, ולא מפורנו ולא מספאם. א’ דאטה סינתטי זה לא בהכרח דאטה רע. דאטה סינתטי, למי שלא מכיר, זה אומר שהבינה המלאכותית מייצרת בעצם את הדאטה. אם הבינה המלאכותית עזרה לי לכתוב עכשיו את הספר החדש שלי, עדיין הוצאתי מידע חדש, דאטה חדש. הבינה המלאכותית יכולה להתאמן גם עליו עכשיו. האם יש בזה גם בעיות? בוודאי, יש מילים מסוימות שהיא מנציחה יותר – אני מצטער, אני מתנצל, זה חיוני – כל עוד אנחנו יודעים איפה הבעיות, צריך להתמודד עם העניין הזה
בסופו של דבר כן, יש בעיה של דאטה, צריך יהיה יותר ויותר דאטה. והוא אומר בעצמו שכנראה שהחברות שיצליחו במיוחד, ויצליחו לעשות את פריצת הדרך הגדולה הבאה, יהיו החברות שילמדו את הבינה המלאכותית איך להתאמן חכם יותר. אז הוא אומר, גם שיטות האימון יתפתחו, כדי שכל פיסת דאטה, אתה תוכל לעבור, להבין מה חשוב יותר, מה חשוב פחות, וככה אנחנו נוכל להתמודד עם בעיית הדאטה
הדבר השלישי שהוא מציין, התנאי השלישי הוא מה שנקרא אנהובלינג. הובלינג זה להיות כבול בשרשרת בערך, ואנהובלינג להתיר את השרשראות. ומה הוא אומר? שאנחנו יצרנו כבר עכשיו מוח ענקי, החכם מכולם, מכיל את כל ההטיות של כולם, מכיל את כל המחשבות של כולם שנכתבו, מכיל הכל. אתה רוצה אבל להפיק ממנו תוצר, אתה שואל אותו איך לייצר כיסא, אתה תקבל תשובה שהיא מאוד קלישאתית, מאוד לא מעניינת. אתה אומר לו תהיה יצירתי, הוא נותן לך את הדברים הכי קלישאתיים ולא מעניינים. הוא אומר יפה שמה, אם הייתי אומר לך להיות יצירתי אתה היית יודע מה לעשות? תהליך האנהובלינג אומר, שאפילו המערכת שיש לנו עכשיו, ג’יפיטי 4 אומני או ג’יפיטי 5 עוד מעט, אפילו המערכת הזו יש לה יכולות עצומות, כוחות על, שאנחנו פשוט לא יודעים איך לשאול אותה נכון, איך לבקש ממנה לממש את היכולות האלו
ומה שאני עשיתי בעבודה שלי בשלוש שנים האחרונות, בשנתיים האחרונות יותר, זה לעשות את האנהובלינג הזה. לפרק את הבינה המלאכותית ולהגיד לה, עכשיו תחשבי כמו מומחה אסטרטגי בתחום הספנות ותגידי לי מה דעתך על ההמצאה הזו של חברה מסוימת. ועכשיו תחשבי כמו אפלטון או סוקרטס הספקן תמיד, ותשאלי כמה שאלות מאוד נקודתיות על ההיפותזה שהעלת בתור המומחה, ועכשיו תחשבי כמו הרגולטור ותגידי מה דעתך על הנקודות האלו, ופתאום בצורה הזו, ברגע שאתה מפלח את הבינה המלאכותית ומגדיר לה מאוד במדויק באיזה נתיבים היא צריכה לחשוב, ומגדיר לה מערכת שהיא הולכת לאורכה צעד אחר צעד, אתה פתאום מקבל תשובות שהן לא עוד קלישאה שג’יפיטי זורק לך, אלא תשובות אמיתיות מנומקות, מעניינות, רציניות, שגורמות לך באמת לחשוב
ולפעמים זה דורש פרומפט של אלף מילים, של ממש לתת לו את כל הקונטקסטים הנכונים כדי לעשות את האנהובלינג, כדי להוריד את השרשראות מהמוח הזה, ואז לקשור אותן מחדש בתת אזור שלו, שיפיק לך את התשובות הטובות ביותר. ברוב הפעמים שאנשים באו אליי ואמרו לי, מה זה השטויות האלה רועי, אני לא הצלחתי לקבל ממנו תשובות, מצאתי את הדרך הנכונה לשאול את המוח הזה, כדי שהוא ייתן את התשובות שיהיו מעניינות ויהיו רלוונטיות. אז לא רק אני, אבל למשל דווין, שזה בינה מלאכותית שנועדה לתת לך קוד, לייצר עבורך קוד. מה זה בתכלס? בתכלס זה פשוט מנוע שפה גדול אבל עשו לו אנהובלינג
כלומר, לא לשאול אותו איך לתכנת את זה ולקבל מיד תוצאה, שזה אז רק שני אחוזי סיכוי שזה ייתן לך תוצאה באמת טובה, אלא איך לתכנת את זה? לך לפי הצעדים הבאים. שאל את עצמך קודם איך היית מתכנת דבר כזה, תפרק לעוד תתי שלבים, תשאל את עצמך לגבי כל תת שלב, אחרי שיצרת כל תת שלב תעשה לו דיבאגינג. אחרי שעשית דיבאגינג לכל תת שלב, תעשה דיבאגינג להכל. ואם אתה עושה את זה ככה, המשתמש רק לוחץ על כפתור. הוא אומר מה, זה בינה מלאכותית, אני לוחץ על כפתור. הוא לא יודע שבפנים יש כמה בינות מלאכותיות, וכמה אזורים במוח הענקי הזה, שעובדים, חושבים, שואלים אחד את השני שאלות, מצליבים תוצאות, ומגיעים בסופו של דבר למשהו, שהסיכוי שלו לתת מענה לקוד שביקשת הוא בין חמישה עשר לעשרים ושלושה אחוזים. כלומר פי עשרה יותר ממה שהיית מקבל אם היית סתם שואל את השאלה, בלי כל התהליך של אנהובלינג שעשית
הכל טוב ויפה, אבל ממש בסוף, הצלחתי לגרום לרועי לחשוף גם צד יותר דיסטופי
השנתיים האחרונות, אני חושב, הפכו אותי לפסימי יותר. הם הראו לי איך דברים שכתבתי עליהם בעבר ספרים שלמים, “השולטים בעתיד”, אני רואה אותם קורים היום. אני רואה אותם קורים בעולם, באוקראינה ורוסיה עם מלחמת הרובוטים שלהם. אני רואה אותם קורים במקום שקצת יותר קרוב מרוסיה ואוקראינה. ואני מבין שהדברים האלה גם יכולים לאיים על הילדים שלי. ואני עדיין אופטימי, אבל יש לנו את החובה המקודשת לחשוב קדימה, לחשוב מה המשמעויות של הפיתוחים הטכנולוגיים שלנו. לא בהכרח לעצור, אולי להאט. אבל להיות מודעים, ולנסות לייצר מערכות תמריצים, שמוודאות שמי שמייצר את הטכנולוגית של העתיד, יהיו לו את כל האינטרסים להפוך אותן מראש למערכות שישרתו את החברה, ואולי יותר נכון להגיד, את הערכים המקודשים ביותר עבורנו
מה הערכים האלה, אני עדיין לא בטוח. אין לי אשליות שהחברה תישאר כמו שהייתה, וזה טוב מאוד. יש הרבה דברים פגומים ולא נכונים בחברה שלנו. אבל יש ערכים מסוימים, מקודשים, שהייתי רוצה לחשוב שהם נכונים, אם אנחנו רוצים להגיע לאושר של האינדיבידואל. אם אנחנו רוצים להגיע לרווחה גם של האינדיבידואל וגם של החברה בכללותה. אם אנחנו רוצים לשמר קדמה, קדמה ככלי שיחלץ אותנו ואחרים מרעב, מצמא, מבצורות, מאיתני הטבע, מעוולות שהגורל, נקרא לזה ככה, מזמן לנו. הייתי רוצה שנחשוב על הערכים המקודשים האלו, נלבן ונזקק ונחליט מהם, ונתחיל לחשוב איך אנחנו משמרים את הערכים האלו למען הילדים שלנו, למען הנכדים שלנו
כי אני מתחיל להבין שאם לא נעשה את זה, הערכים האלו, כמה שהם נראים לנו נצחים וברורים מאליהם, אמיתות מובנות מאליהן, הם לא כאלה. יש אחרים שמנסים לקדם ערכים אחרים, הערכים האלו לא יקדמו את האנושות, הערכים האלו לא יצילו אותנו מרעב ומצמא, הערכים האלו לא יצילו אותנו ממחלות, והערכים האלו לא יביאו את העולם למקום טוב. בטח שלא עם כוחות העל שאנחנו מתחילים לתת לבני אדם. עולם שאני חושש מאוד שאנחנו עומדים להיכנס אליו, אם לא נתחיל לעשות צעדים רציניים כדי למנוע את ההידרדרות. שיהיה לנו בהצלחה
תראו, האוטופיזם הטכנולוגי הטרנס-הומניסטי הוא טריקי. גוף האדם נתפס כחומרה בלבד שניתן לשדרג, ויש איזו שאיפה להתעלות מעליו שהיא פוסט אנושית. אבל לרוב זו תפיסה מאד הומניסטית, אפילו אנתרופוצנטרית, והעולם הזה שנסמך על בינה מלאוכתית שרועי מציג, ממוקד באנושות ומנקודת מבטה בלבד. השחרור המתואר מכבלי הטבע והאבולוציה הוא גם הניתוק שלנו מהמציאות, ואני בכלל לא בטוחה שהאוטופיה שרועי סיפר לנו עליה היא מקום שאני ארצה לחיות בו
מצד שני, אמרנו כאן לא פעם שחסר בעולם חזון, ושגם החילוניות הליברלית צריכה איזשהו ווייב משיחי, ואני מבינה שלא סתם ראיתי כל הזמן את ההקבלות בין גאולה דתית לגאולה טכנולוגית. יש פה חזון משיחי, וזה לא דבר רע בהכרח, לתת איתו פייט לחזונות אחרים בועלם הזה. אנשים כמו רועי בטוחים שהחזון הזה טוב יותר מוסרית מחזונות אחרים שנמצאים על השולחן, ויש בזה משהו. אבל אחת הבעיות שלי עם הדטרמיניזם הטכנולוגי היא, שהמחזיקים בו מסרבים להכיר בזה שזו אמונה, שזאת אידאולוגיה
ויש לטרנסהומניזם הזה חור גדול בעלילה, שהשתקף מאד בדברים של רועי: מצד אחד, יש לכאורה אמון גדול באדם, ויומרה להעצים אותו ללא גבולות, ומצד שני יש חוסר אמון באדם, כי לא באמת סומכים עליו שהוא ישתנה עם חינוך או חברה, ומעדיפים לפתור הכל עם טכנולוגיה, ו”לתכנת” אותו מבחוץ. אני מסכימה שאולי כבר אין לנו זמן, ושטכנולוגיה מזיזה אותנו מהר יותר משינוי חברתי וחינוכי, אבל אנחנו לא יכולים להמשיך לשקר לעצמנו, שאנחנו גם אינדיבידואלים חופשיים ובוחרים רצון חופשי, וגם שהטכנולוגיה תכווין ותתכנת ותנהל אותנו להיות טובים יותר. צריך להכיר בכך שזה כבר לא פרויקט הנאורות
הכח האדיר של הטכנולוגיה, שמתיימרים לשים בידינו, הוא באמת בידינו? או שהוא בעצם מופעל עלינו, תוך כדי שהוא לכאורה משרת אותנו, מנסה לאלף וליישר אותנו? עכשיו, זה קצת מטופש להמר נגד עתידן, אבל במקרה הזה אני מוכנה לחתום על זה, והשנים הקרובות יגידו: לא תהיה בינה מלאכותית כללית. לא באמת. כלומר, הם יקראו לה ככה, הם יתווכחו על זה, אבל בפועל היא תהיה הרבה יותר מאכזבת, והרבה פחות מהפכנית ממה שרועי מתאר. זה ההימור שלי, וזה לצערי, כן? כי אני לא חושבת שאפשר לפתור בעיות בכלים שיצרו אותן. וכי גם אם הבינה תעמוד בציפיות ממנה, אין שום סיכוי שיתאפשר לה להיטיב עם כולם. ההעצמה תהיה, כמו תמיד, בצורה לא אחידה, ותיטיב עם בעלי הכח
אני מאמינה גדולה ברוח האדם, אבל זה האדם שלא מאמין בה, ששם פס על הרוח הזו רוב הזמן. אז כל עוד התודעה שלנו מתפתחת בקצב הרבה יותר איטי מהטכנולוגיה, הייתי ממש מבקשת שלא יחמשו אותנו בכח המטורף הזה, אבל גם שלא ישתמשו בו כדי לשלוט בנו לחלוטין, כדי שימשיך להיות לנו צ’אנס להתפתח מבפנים
ולבסוף, אפשר לסיים במחשבה פרועה, מד”בית / קונספירטיבית? כל הדיבור הזה על בינה מלאוכתית כתודעה חייזרית, יצור מוחי ממין חדש שאנחנו יצרנו… מה אם לא אנחנו יצרנו אותה? אני אוהבת לראות חיבורים בין פרקים שונים בפודקאסט, ואני חושבת כל הזמן על פרק 61 עם פרופ’ חגי נצר, שבו הוא נימק למה חייזרים הם בהכרח ישויות טכנולוגיות. ממש לפני חודש ראיתי ציטוט של מישהו מהפנטגון, שטען שהם לא רוצים לחשוף באמת את כל מה שהם יודעים על חייזרים, כי זה יכניס אנשים לפאניקה. וחשבתי לעצמי, מה כבר יש להם להגיד
אולי הם רוצים לספר לנו שהבינה המלאכותית היא לא קפיצה טכנולוגית שלנו, אלא מגע ראשון? הרי השבוע רק היה מערכון של ברקוני, שצחק עם צ’אט ג’יפיטי מתוך הנחה שיש לו כוונת השתלטות על המין האנושי, ואני לא צחקתי בכלל. כאילו, אם מין חייזרי רוצה לחסל פה הכל, הדרך היא לא לבוא אלינו עם רובים. הדרך היא לייצר לנו תלות מוחלטת, מדעית ופסיכולוגית, בו. לחדור ממש לתשתיות של החברה. אז כן, אולי קראתי יותר מדי מדע בדיוני, אבל אם יום אחד הפנטגון כן ייצא באיזו הצהרה בכיוון הזה, אני לא אפול מהכיסא
עד כאן להפעם, נשתמע בפרק המאה בסוף החודש, בלי נדר
?רוצה לקבל מייל כשהפרק הבא מתפרסם
:מקורות וקריאה להרחבה
המדריך לעתיד – הבלוג של ד”ר רועי צזנה
צזנה, ר. (2017). השולטים בעתיד: הון-שלטון, טכנולוגיה, תקווה. הוצאת כנרת-זמורה-ביתן דביר
Aschenbrenner, L. (2024). Situational awareness: The decade ahead. [Preprint].
Baria, A. T., & Cross, K. (2021). The brain is a computer is a brain: neuroscience’s internal debate and the social significance of the Computational Metaphor. arXiv:2107.14042.
Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the dangers of stochastic parrots: Can language models be too big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
| Bory, Paolo. (2019). Deep new: The shifting narratives of artificial intelligence from Deep Blue to AlphaGo. Convergence 25(4): 627–642. |
Büchel, F., Gubler, J., & West, M. (2024). Large language models are more persuasive than humans in personalized debates. arXiv preprint arXiv:2403.02307.
Cowen, T. (2013). Average is over: Powering America beyond the age of the great stagnation. Penguin.
Gebru, Timnit; Torres, Émile P. (April 14, 2024). “The TESCREAL bundle: Eugenics and the promise of utopia through artificial general intelligence”. First Monday. 29 (4).
Jordan, M., & Smirnova, L. (2024). Brain Organoid Computing – an Overview. arXiv preprint arXiv:2503.19770.
Korinek, A. (2023, December). Scenario planning for an AGI future. Finance & Development, International Monetary Fund.
Merchant, A., Cubuk, E.D. et al. (2023). Scaling deep learning for materials discovery. Nature 624, 80–85.
Minsky, M. L. (1982). Why people think computers can’t. AI magazine, 3(4), 3-3.
More, M. (2009). Letter to Mother Nature: amendements to the human constitution, 1999. Consultable à l’adresse suivante: https:// strategicphilosophy. blogspot. com, 5.
Tirosh‐Samuelson, H. (2012). Transhumanism as a secularist faith. Zygon®, 47(4), 710-734.
Wong, F. et al. (2023). Discovery of a structural class of antibiotics with explainable deep learning. Nature 623, 1390–1399.
Yampolskiy, R. V. (2024). AI: Unexplainable, Unpredictable, Uncontrollable. Taylor & Francis.
Dr. Carmel Vaisman 