מחשוב חישתי

מִחְשׁוּב חִישָׁתִי (באנגלית: Affective computing) הוא מחקר ופיתוח של מערכות והתקנים אשר יכולים לזהות, לפרש, לעבד ולדמות השפעות אנושיות. זהו ענף בינתחומי המשתרע על פני מדעי המחשב, פסיכופיזיולוגיה ומדעי הקוגניציה^[1]. ניתן למצוא כמה מרעיונות הליבה בתחום כבר בחקירה הפילוסופית המוקדמת על רגש^[2], אולם הקישור המודרני יותר אל מדעי המחשב מקורו במאמרה של רוזלינד פיקארד משנת 1995^[3] על מחשוב חישתי ובספרה Affective Computing^[4] אשר פורסם על ידי דפוס MIT. אחד המניעים למחקר הוא היכולת להעניק למכונות אינטליגנציה רגשית, לרבות לדמות אמפתיה. המכונה צריכה לפרש את המצב הרגשי של בני האדם ולהתאים את התנהגותה אליהם, כלומר - לתת מענה הולם לאותם רגשות.

תחומי מחקר

גילוי וזיהוי מידע רגשי

גילוי מידע רגשי מתחיל בדרך כלל בחיישנים פסיביים אשר אוספים נתונים על המצב הפיזי או על התנהגותו של המשתמש האנושי מבלי לפרש את הקלט. הנתונים שנאספים מקבילים תאורטית לרמזים שבני אדם משתמשים בהם כדי לתפוס רגשות אצל אחרים. לדוגמה, מצלמת וידאו עשויה ללכוד הבעות פנים, תנוחת גוף ומחוות, בעוד שמיקרופון עשוי ללכוד דיבור. חיישנים אחרים מזהים רמזים רגשיים על ידי מדידה ישירה של נתונים פיזיולוגיים, כגון טמפרטורת העור והתנגדות גלוונית^[5].

זיהוי מידע רגשי מחייב חילוץ של דפוסים משמעותיים מהנתונים שנאספו. הדבר יכול להתבצע באמצעות טכניקות למידת מכונה שונות, כגון זיהוי דיבור, עיבוד שפה טבעית או זיהוי הבעות פנים, כמו גם בשיטות מסורתיות כגון סטטיסטיקה הסקית. המטרה של רוב הטכניקות הללו היא לייצר תוויות שיתאימו לתוויות שתופס אנושי היה נותן באותו מצב: לדוגמה, אם אדם מחווה הבעת פנים כגון קימוט המצח, אזי מערכת הראייה הממוחשבת עשויה להצמיד לאותו אדם את התוויות "מבולבל", "מרוכז" או "מעט שלילי". תוויות אלה עשויות להיות תואמות או לא להתאים למה שהאדם מרגיש בפועל.

רגש במכונות

ענף נוסף במחשוב רגשי שואפת להגיע לתכנון של מכשירים חישוביים שלהם רגשות ממש או שביכולתם לדמות באופן משכנע רגשות. גישה מעשית יותר, אשר מבוססת על יכולות טכנולוגיות עדכניות, היא הדמיית רגשות בסוכני שיחה על מנת להעשיר ולהקל על האינטראקטיביות בין האדם למכונה^[6]. הגישה החדשנית "בני אדם דיגיטליים" או בני אדם וירטואליים כוללת ניסיון להקנות לתוכנות אלה, אשר מדמות בני אדם, גם את המימד הרגשי, כולל תגובות בהתאם לתגובה שאדם אמיתי היה מגיב במצב מסוים שמעורר מבחינה רגשית וכן הבעות פנים ומחוות^[7].

טכנולוגיות

בפסיכולוגיה, במדעי הקוגניציה ובמדעי המוח, קיימות שתי גישות עיקריות לתיאור האופן שבו בני אדם תופסים ומסווגים רגש: גישת הרצף והגישה הקטגורית. גישת הרצף נוטה להשתמש בממדים כמו שלילי מול חיובי, רגוע מול מגורה. הגישה הקטגורית נוטה להשתמש בסיווגים מובחנים של רגש, כמו שמח, עצוב, כועס, מפחד, מופתע, נגעל. ניתן להשתמש בסוגים שונים של רגרסיה ושיטות למידת מכונה כדי לייצר תוויות רציפות או בדידות של רגשות. ישנם מודלים אשר מאפשרים שילוב בין הקטגוריות. למשל, פרצוף מופתע-שמח או פרצוף חושש-מופתע^[8].

הסעיפים הבאים מתייחסים לנתוני הקלט העיקריים אשר משמשים עבור זיהוי רגשות.

ניטור פסיכופיזיולוגי

על פי גישת הפסיכופיזיולוגיה, ניתן לזהות את המצב הרגשי של בני אדם על ידי ניטור וניתוח הסימנים הפיזיולוגיים שלהם. סימנים אלו נעים החל משינויים בקצב הלב ובמוליכות העור, דרך ניתוח חשמלי של פעילות מוחית ופעילות השרירים ועד לניתוח כוח האחיזה^[9]. תחום זה הופך לרווח בשנים אלו ולאחרונה ניתן למצוא מוצרים אשר מיישמים את שיטה זו, הודות לחסינות השיטה להטיות מכוונות של התוצאות על ידי האדם הנמדד וכן הודות לרציפות במדידה, שמאפשרת להשתמש בתוצרי המדידה במערכות מחשוב חישתי בזמן אמת.

זיהוי רגשות מדיבור

שינויים שונים במערכת העצבים האוטונומית יכולים לשנות בעקיפין את אופן הדיבור של האדם, וטכנולוגיות מחשוב חישתי יכולות למנף מידע זה לטובת זיהוי רגש. לדוגמה, דיבור שמופק במצב של פחד, כעס או שמחה הופך להיות מהיר, רועש ומבוטא במדויק, עם טווח גבוה ורחב יותר בגובה הצליל, בעוד שרגשות כמו עייפות, שעמום או עצב נוטים ליצור דיבור איטי, מטושטש ומעורפל^[10]. עוד נמצא כי רגשות מסוימים מזוהים בקלות רבה יותר מבחינה חישובית, כגון כעס^[11] או אישור^[12].

טכנולוגיות עיבוד של דיבור רגשי מזהות את המצב הרגשי של האדם באמצעות ניתוח חישובי של תכונות דיבור. ניתן לנתח פרמטרים ווקאליים כגון משתני גובה וקצב דיבור באמצעות טכניקות זיהוי תבניות^[11][13].

ניתוח דיבור הוא שיטה יעילה לזיהוי מצב רגשי, עם דיוק ממוצע של 70% עד 80%, על פי מחקרים משנת 2003 ו-2006^[14][15]. שיטות אלו נוטות לעלות על הדיוק האנושי הממוצע (כ-60%^[11]), אך הן פחות מדויקות משיטות אחרות לזיהוי רגשות, כגון מדדים פסיכופיזיולוגיים או זיהוי הבעות פנים^[16]. עם זאת, מכיוון שמאפייני דיבור רבים אינם תלויים בסמנטיקה או בתרבות, טכניקה זו נחשבת לכיוון מבטיח למחקר נוסף.

זיהוי רגש מהבעות פנים

זיהוי ועיבוד הבעות פנים מבוצעים באמצעות שיטות שונות כגון זרימה אופטית, מודל מרקוב חבוי, עיבוד רשתות עצביות או מודלים של מראה פעיל. ניתן לשלב או למזג יותר מאופן אחד (זיהוי רב-מודאלי, למשל הבעות פנים ופרוזודית דיבור^[17], או הבעות פנים ומחוות ידיים^[18],) כדי לספק הערכה טובה יותר של מצבו הרגשי של האדם.

זיהוי מחוות גוף

ניתן להשתמש במחוות גופניות כאמצעי יעיל לזיהוי מצב רגשי מסוים של המשתמש, במיוחד כאשר נעשה בהם שימוש בשילוב עם דיבור וזיהוי הבעות פנים. בהתאם לפעולה הספציפית, מחוות יכולות להיות תגובות רפלקסיביות פשוטות, כמו הרמת כתפיים כאשר לא יודעים את התשובה לשאלה, או שהן יכולות להיות מורכבות ומשמעותיות כמו בעת תקשורת באמצעות שפת הסימנים. מחד, ללא כל שימוש בחפצים אנו יכולים לנופף בידיים, למחוא כפיים או לקרוץ. מאידך, בעת שימוש בחפצים, אנו יכולים להצביע עליהם, להזיז, לגעת או לבצע בהם פעולות. תוכנות מחשוב חישתי מסוימות מסוגלות לזהות מחוות שונות, לנתח את ההקשר ולהגיב בצורה משמעותית, על מנת לשפר את יעילות האינטראקציה שבין אדם למחשב.

ישנן שיטות רבות לזיהוי מחוות הגוף^[19]. הספרות המחקרית מבחינה בין שתי גישות שונות לזיהוי מחוות: מודל תלת מימד ומודל מבוסס מַרְאֶה^[20]. השיטה המובילה עושה שימוש במידע תלת־ממדי של אלמנטים מרכזיים של חלקי הגוף על מנת לקבל מספר פרמטרים חשובים, כמו מיקום כף היד או זוויות של מפרקים. מערכות המבוססות על מַרְאֶה משתמשות בתמונות או בסרטונים לצורך פרשנות ישירה. תנועות ידיים היו מוקד נפוץ בשיטות זיהוי מחוות גוף^[20].

יישומים אפשריים

חינוך

חיבה משפיעה על מצב הלמידה של הלומדים. באמצעות טכנולוגיית מחשוב רגשי, מחשבים יכולים לשפוט את חיבתם של הלומדים ואת מצב הלמידה שלהם על ידי זיהוי הבעות הפנים שלהם. בחינוך, המורים יכולים להשתמש בתוצאת הניתוח כדי להבין את יכולת הלמידה והקבלה של התלמידים, ולאחר מכן לגבש תוכניות הוראה סבירות. במקביל, הם יכולים לשים לב לתחושות הפנימיות של התלמידים ולהתנהל בהתאם, דבר אשר עשוי להועיל לבריאותם הפסיכולוגית של התלמידים. בחינוך מרחוק, בשל הפרדת זמן ומרחב, אין תמריץ רגשי לתקשורת דו-כיוונית בין מורים לתלמידים. ללא האווירה שמביאה הלמידה המסורתית בכיתה, התלמידים משתעממים בקלות ולדבר יש השפעה על אפקט הלמידה. יישום גישת המחשוב הרגשי בחינוך מרחוק יכול לתרום ליעילות מצב למידה זה^[21].

בריאות

רובוטים חברתיים, כמו גם מספר הולך וגדל של רובוטים אשר משמשים בתחום הבריאות, נהנים ממידה מסוימת של מודעות רגשית מכיוון שהם יכולים לשפוט טוב יותר את המצבים הרגשיים של המשתמשים והמטופלים ולשנות את הפעולות שלהם בהתאם. יכולת זו חשובה במיוחד במדינות עם אוכלוסיות מזדקנות הולכות וגדלות ובמדינות שבהן קיים מחסור בעובדים צעירים, כדי לתת מענה לצרכיהם של המבוגרים^[22].

מחשוב אפקטיבי מיושם גם בפיתוח טכנולוגיות תקשורת לטובת שימוש על ידי אנשים עם אוטיזם^[23]. גם מרכיבים רגשיים של טקסטים זוכים יותר ויותר לתשומת לב ובמיוחד תפקידם במה שמכונה האינטרנט הרגשי^[24].

תחבורה

יישומי המחשוב החישתי עשויים לתרום לשיפור הבטיחות בדרכים. לדוגמה, מכונית יכולה לנטר את הרגשות של כל הנוסעים ולהתריע על כלי רכב אחרים אם היא מזהה שהנהג כועס וייתכן שאינו מודע להתקרבותם^[25]. בנוסף, מערכות מחשוב חישתי לניטור דחק של הנהג עשויות לאפשר התערבויות שונות כגון מערכות עזר לנהג מותאמות על פי רמת הדחק^[26] והתערבויות מזעריות וישירות לשינוי מצבו הרגשי של הנהג^[27].

משחקי מחשב

למשחקי וידאו רגשיים יכולת קליטה של המצב הרגשי של השחקנים אשר משחקים בהם באמצעות אמצעי מדידה פסיכופיזיולוגיים^[28]. מדידה פסיכופיזיולוגית זמינה באמצעות גיימפאד אשר מודד את הלחץ שבו לוחצים על כפתור, שנמצא במתאם חזק עם רמת העוררות של השחקן^[29]. בנוסף ישנם משחקי מחשב אשר כוללים ממשקי מוח-מחשב ישירים^[30]. משחקים רגשיים שימשו במחקר רפואי כדי לתמוך בהתפתחות הרגשית של ילדים עם אוטיזם^[31].

אימון פסיכומוטורי

שיטות אימון של פעולות פסיכומוטוריות כמו ניהוג והכוונה משמשות בתחומים שונים כגון תעופה, תחבורה ורפואה. שילוב של יכולות מחשוב חישתי במערכות אימון כאלה, בהתאם לגישת האוטומציה האדפטיבית, נמצא כיעיל בשיפור איכות האימון ובקיצור משך האימון הנדרש^[32].

יישומים נוספים

יישומים אפשריים של מחשוב חישתי טמונים באינטראקציה בין אדם למחשב, כגון מראות רגשיות אשר מאפשרות למשתמש לראות כיצד הוא או היא מתפקדים; סוכני ניטור רגשות שמזהירים את המשתמש לפני שזה שולח מייל זועם; או אפילו נגני מוזיקה אשר בוחרים רשימות השמעה בהתאם מצב הרוח^[33].

גישות קוגניטיביסטיות לעומת גישות אינטראקציוניות

בתחום אינטראקציית אדם-מחשב, המושג הקוגניטיביסטי או "מודל המידע" של רוזלינד פיקארד של רגש זכה לביקורת על-ידי הגישה הפרגמטית ה"פוסט-קוגניטיביסטית" או ה"אינטראקציונית" של קירסטן בוהנר ואחרים, אשר רואה ברגש מטבעו מושג חברתי^[34].

המיקוד של פיקארד הוא באינטראקציה בין אדם למחשב, והמטרה שלה בתחום המחשוב הרגשי היא לתת למחשבים את היכולת לזהות, לבטא, ובמקרים מסוימים, "להיות" עם רגשות^[4]. לעומת זאת, הגישה האינטראקציונית מבקשת לעזור לאנשים להבין ולחוות את רגשותיהם^[35] ולשפר את התקשורת הבין אישית אשר מתווכת באמצעות המחשב. גישה זו לא בהכרח מבקשת למפות את הרגש למודל מתמטי אובייקטיבי לפרשנות על ידי מכונה, אלא לתת לבני אדם להבין את הביטויים הרגשיים זה של זה בדרכים פתוחות שעשויות להיות מעורפלות, סובייקטיביות ורגישות להקשר^[35].

ראו גם

• פסיכופיזיולוגיה
• אוטומציה אדפטיבית

קישורים חיצוניים

מדיה וקבצים בנושא מחשוב חישתי בוויקישיתוף

הערות שוליים

1. Jianhua Tao, Tieniu Tan, Affective Computing: A Review, Berlin, Heidelberg: Springer Berlin Heidelberg, 2005, עמ' 981–995, ISBN 978-3-540-29621-8
2. William James, II.—WHAT IS AN EMOTION ?, Mind os-IX, 1884, עמ' 188–205 doi: 10.1093/mind/os-IX.34.188
3. Picard, R. W, Affective Computing 321, 1995
4. Rosalind W. Picard, Affective computing, 1. paperback ed, Cambridge, Mass.: MIT Press, 2000, ISBN 978-0-262-66115-7
5. Nestor Garay, Idoia Cearreta, Juan Miguel Lopez, Inmaculada Fajardo, Assistive Technology and Affective Mediation, Human Technology: An Interdisciplinary Journal on Humans in ICT Environments 2, 2006-04-30, עמ' 55–83 doi: 10.17011/ht/urn.2006159
6. Sabine Payr, Robert Trappl, Agent Culture: Human-agent interaction in A Multicultural World, CRC Press, 2004-06-11, ISBN 978-1-135-61728-8. (באנגלית)
7. Kate Loveys, Mark Sagar, Elizabeth Broadbent, The Effect of Multimodal Emotional Expression on Responses to a Digital Human during a Self-Disclosure Conversation: a Computational Analysis of User Language, Journal of Medical Systems 44, 2020-07-22 doi: 10.1007/s10916-020-01624-4
8. Aleix M. Martinez, Shichuan Du, A Model of the Perception of Facial Expressions of Emotion by Humans: Research Overview and Perspectives, Cham: Springer International Publishing, 2017, עמ' 183–202, ISBN 978-3-319-57020-4
9. Yotam Sahar, Grip Force as a Measure of Stress in Psychomotor Mobile Tasks, 2022 10th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW), IEEE, 2022-10-18 doi: 10.1109/aciiw57231.2022.10086023
10. Cynthia Breazeal, Lijin Aryananda, Recognition of Affective Communicative Intent in Robot-Directed Speech, Autonomous Robots 12, 2002-01-01, עמ' 83–104 doi: 10.1023/A:1013215010749
11. Frank Dellaert, Thomas Polzin, Alex Waibel, Recognizing emotion in speech, 4th International Conference on Spoken Language Processing (ICSLP 1996), ISCA, 1996-10-03 doi: 10.21437/icslp.1996-462
12. D. Roy, A. Pentland, Automatic spoken affect classification and analysis, IEEE Comput. Soc. Press, 1996, עמ' 363–367 doi: 10.1109/AFGR.1996.557292
13. C.M. Lee, S. Narayanan, R. Pieraccini, Recognition of negative emotions from the speech signal, IEEE Workshop on Automatic Speech Recognition and Understanding, 2001. ASRU '01., IEEE doi: 10.1109/asru.2001.1034632
14. Daniel Neiberg, Kjell Elenius, Kornel Laskowski, Emotion recognition in spontaneous speech using GMMs, ISCA, 2006-09-17, עמ' paper 1581–Tue1A3O.5–0 doi: 10.21437/Interspeech.2006-277
15. Sherif Yacoub, Steve Simske, Xiaofan Lin, John Burns, Recognition of emotions in interactive voice response systems, ISCA, 2003-09-01, עמ' 729–732 doi: 10.21437/Eurospeech.2003-307
16. Eva Hudlicka, To feel or not to feel: The role of affect in human–computer interaction, International Journal of Human-Computer Studies 59, 2003-07, עמ' 1–32 doi: 10.1016/S1071-5819(03)00047-8
17. George Caridakis, Lori Malatesta, Loic Kessous, Noam Amir, Amaryllis Raouzaiou, Kostas Karpouzis, Modeling naturalistic affective states via facial and vocal expressions recognition, Proceedings of the 8th international conference on Multimodal interfaces, ACM, 2006-11-02 doi: 10.1145/1180995.1181029
18. T. Balomenos, A. Raouzaiou, S. Ioannou, A. Drosopoulos, K. Karpouzis, S. Kollias, Emotion Analysis in Man-Machine Interaction Systems, Berlin, Heidelberg: Springer Berlin Heidelberg, 2005, עמ' 318–328, ISBN 978-3-540-24509-4
19. J.K. Aggarwal, Q. Cai, Human Motion Analysis: A Review, Computer Vision and Image Understanding 73, 1999-03, עמ' 428–440 doi: 10.1006/cviu.1998.0744
20. V.I. Pavlovic, R. Sharma, T.S. Huang, Visual interpretation of hand gestures for human-computer interaction: a review, IEEE Transactions on Pattern Analysis and Machine Intelligence 19, 1997-07, עמ' 677–695 doi: 10.1109/34.598226
21. Chih‐Hung Wu, Yueh‐Min Huang, Jan‐Pan Hwang, Review of affective computing in education/learning: Trends and challenges, British Journal of Educational Technology 47, 2016-11, עמ' 1304–1323 doi: 10.1111/bjet.12324
22. Richard Yonck, Heart of the machine: our future in a world of artificial emotional intelligence, First edition, New York: Arcade Publishing, 2017, ISBN 978-1-62872-733-3
23. Group Overview ‹ Affective Computing, MIT Media Lab
24. James G. Shanahan, Yan Qu, Janyce Wiebe, Computing attitude and affect in text: theory and applications, Berlin: Springer, 2006, The Information retrieval series, ISBN 978-1-4020-4026-9
25. In-Car Facial Recognition Detects Angry Drivers To Prevent Road Rage, Gizmodo, ‏2014-03-14 (באנגלית)
26. Christian Collet, Oren Musicant, Associating Vehicles Automation With Drivers Functional State Assessment Systems: A Challenge for Road Safety in the Future, Frontiers in Human Neuroscience 13, 2019-04-24 doi: 10.3389/fnhum.2019.00131
27. Stephanie Balters, Madeline Bernstein, Pablo E. Paredes, On-road Stress Analysis for In-car Interventions During the Commute, Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems, ACM, 2019-05-02 doi: 10.1145/3290607.3312824
28. Raquel Robinson, Katelyn Wiley, Amir Rezaeivahdati, Madison Klarkowski, Regan L. Mandryk, "Let's Get Physiological, Physiological!", Proceedings of the Annual Symposium on Computer-Human Interaction in Play, ACM, 2020-11-02 doi: 10.1145/3410404.3414227
29. Jonathan Sykes, Simon Brown, Affective gaming: measuring emotion through the gamepad, ACM Press, 2003, עמ' 732 doi: 10.1145/765891.765957
30. Anton Nijholt, Danny Plass-Oude Bos, Boris Reuderink, Turning shortcomings into challenges: Brain–computer interfaces for games, Entertainment Computing 1, 2009-04, עמ' 85–94 doi: 10.1016/j.entcom.2009.09.007
31. Mitu Khandaker, Designing affective video games to support the social-emotional development of teenagers with autism spectrum disorders, Studies in Health Technology and Informatics 144, 2009, עמ' 37–39
32. Yotam Sahar, Michael Wagner, Ariel Barel, Shraga Shoval, Stress-Adaptive Training: An Adaptive Psychomotor Training According to Stress Measured by Grip Force, Sensors 22, 2022-11-01, עמ' 8368 doi: 10.3390/s22218368
33. Joris H. Janssen, Egon L. van den Broek, Joyce H. D. M. Westerink, Tune in to your emotions: a robust personalized affective music player, User Modeling and User-Adapted Interaction 22, 2012-07, עמ' 255–279 doi: 10.1007/s11257-011-9107-7
34. Katja Battarbee, Ilpo Koskinen, Co-experience: user experience as interaction, CoDesign 1, 2005-03, עמ' 5–18 doi: 10.1080/15710880412331289917
35. Kirsten Boehner, Rogério DePaula, Paul Dourish, Phoebe Sengers, How emotion is made and measured, International Journal of Human-Computer Studies 65, 2007-04, עמ' 275–291 doi: 10.1016/j.ijhcs.2006.11.016