לא תמרחו אותו: מחשב יבדוק החיבור בפסיכומטרי

הרובוט שיודע להעריך טקסט אנושי - וגם לתת ציון. אוהבים למרוח את המורה בחיבור? מוסיפים סימני קריאה רבים בסוף משפט? ייתכן שתיתקלו בקרוב בבעיה בפסיכומטרי. פיתוח חדש של המרכז הארצי לבחינות ולהערכה יאפשר בדיקה ממוחשבת של חיבורים ומתן ציונים לתלמידים בהתאם לאיכות הטקסט.

עוד בחדשות ynet:

• מחזר על גלגלים: "דרס את המטפלת בקלנועית"
• אלימות בתיכון: פצועים מדקירות במספריים ועט
  

הרפורמה בפסיכומטרי שתיכנס לתוקפה בעוד כחודשיים, כוללת לראשונה גם מטלת כתיבה שבמסגרתה יידרשו התלמידים לכתוב חיבור בהיקף של 25 עד 50 שורות. במרכז הארצי מקווים שבקרוב תועבר הבחינה באופן ממוחשב, דבר שיאפשר גם את בדיקתה באמצעות מחשב. עם זאת, הבחינה הקרובה, בעוד כחודשיים, תיבדק עדיין בצורה ידנית.

הפיתוח במסגרת "פרויקט השפה העברית" הוצג לאחרונה בכנס של האגודה הישראלית לפסיכומטריקה על ידי מנכ"ל המרכז הארצי, ד"ר יואב כהן, ועמיתתו ד"ר ענת בן סימון. מדובר בפרויקט שהחל לפני כעשור ובמסגרתו נבנו עשרות אלגוריתמים מורכבים שיודעים לנתח טקסטים ולהעריך את איכותם.

בניסוי שנערך זה מכבר, נבדקו כ-1,500 חיבורים שנכתבו על-ידי תלמידי כיתה י"ב, וכל חיבור נבדק על-ידי שני מעריכים אנושיים ועל-ידי המערכת הממוחשבת (NiteRater). התוצאות היו מפתיעות: ההבדלים בין ממוצע הציונים היה זניח.

ד"ר בן סימון מסבירה כי המערכת הממוחשבת מבוססת על שיטות ניתוח של "בלשנות חישובית" הקיימות בעולם בשפות שונות, אך הפיתוח בעברית היה קשה במיוחד לנוכח מורכבותה של השפה העברית, כגון ריבוי ההומוגרפים (מילים שנכתבות באותו האופן אך בעלות משמעות שונה), לדוגמה צירופי האותיות "חמה" או "ספר".

במקרים כאלה, המערכת החדשה מנסה למצוא את ההקשר, ופונה למילה הקודמת, כך שאם הביטוי הוא "ארוחה חמה", המחשב מבין שמשמעות המילה "חמה" קשור לחום ולא לשמש.

הפיתוח הישראלי, המשיכה ד"ר בן סימון, כולל מאות מאפיינים כמותיים של טקסט המעידים על איכותו. כך למשל נמצא שככל שהטקסט ארוך יותר כך הציון עולה בהתאמה, אך אליה וקוץ בה, המערכת, כך מבטיחים מפתחיה, יודעת גם לזהות "מריחות" ולהוריד ציונים על כתיבה מיותרת וחזרתית, שעשויה להצביע על שפה דלה.

כמה שפחות פעלים בבניין פָּעַל

בנוסף, המערכת בוחנת מאפיינים כגון אורך ממוצע של מילה או משפט, וסוג וגיוון הקשרים בין משפטים. החוקרים מצאו גם שככל שהחיבור כולל יותר מילים נדירות - כך סביר שאיכותו עולה וכן שהחיבור טוב יותר. בנוסף, ככל שהחיבור מכיל יותר פעלים בבניין פַּעָל - כך סביר יותר שהחיבור פחות טוב. הימצאות של פעלים סבילים מצביעה על איכות חיבור גבוהה, ואילו הימצאותם של סימני קריאה מנבאת כי איכותו של החיבור נמוכה.

המגמה של המרכז הארצי, מסבירה ד"ר בן סימון, היא להכניס את המערכת הממוחשבת בצורה הדרגתית גם לבחינה הפסיכומטרית בתקווה שבעתיד אפשר יהיה להשתמש בה גם במערכת החינוך ובאקדמיה. "אנחנו כעת נמצאים בתהליך של מעבר לבחינה פסיכומטרית ממוחשבת, אני מעריכה שבהתחלה ניעזר בפיתוח כבקרה על הערכות של מעריכים מומחים, ובעתיד גם בבדיקת המבחנים.

הטכנולוגיה קיימת ואין סיבה שהיא לא תפעל גם במערכות חינוך אחרות או בכל מקום שבו יידרשו לבחון את איכותם של טקסטים".

עידן-חיים כהן, המנהל הפדגוגי של "סמארט פסיכומטרי", אמר כי מדובר ב"פיתוח טכנולוגי מדהים" שיוכל לשרת היטב את הבחינה הפסיכומטרית ואת כלל מערכות החינוך והאקדמיה. "ייתכן שבעיני הציבור זה ייראה מוזר שנבחנים כותבים חיבור ואף אדם לא קורא אותם, אך אין ספק שמדובר במהפכה חיובית שתאפשר לנסח כללים לכתיבה של חיבור איכותי", הדגיש כהן, "אני מקווה שבעתיד יעשו בכך שימוש כבר בגילאים הרכים כי אנחנו חיים בעידן של מחשבים".