האם אנחנו מתקרבים לעידן שבו כלי נשק אוטונומיים מבוססי בינה מלאכותית יתקפו מטרות אויב על דעת עצמם? ייתכן שבלי ששמנו לב, העידן הזה כבר התחיל. דו"ח של האו"ם מצביע על תקרית מדאיגה שהתרחשה בשנה שעברה במהלך מלחמת האזרחים בלוב: רחפן מתוצרת טורקית עקב אחרי מטרה אנושית ותקף אותה מהאוויר מבלי שקיבל הוראה ספציפית לכך. לא ברור אם היו הרוגים בתקרית.
האירוע התרחש במרץ 2020 והוא מוזכר בדו"ח של פאנל המומחים ללוב של מועצת הביטחון של האו"ם ממרץ 2021, שנחשף לראשונה בשבוע שעבר על-ידי כתב העת המדעי New Scientist. הרקע הוא מלחמת האזרחים בלוב, שבה נלחם הצבא הלובי בכוחותיו של הגנרל חליפה חפתר. במהלך אחד הקרבות בין הצדדים, רחפן מדגם Kargu-2 תקף את אחד מחייליו של חפתר בזמן שניסה לסגת. Kargu-2 מיוצר על-ידי חברת הטכנולוגיה הצבאית הטורקית STM, ולפי הדו"ח יש לו מצב אוטונומי "יעיל ביותר" שבו אין צורך במפעיל אנושי.
"מערכות הנשק הקטלני האוטונומי תוכנתו לתקוף מטרות מבלי צורך בהעברת נתונים בין המפעיל לבין הנשק", נכתב בדו"ח האו"ם, "למעשה, מדובר ביכולת אמיתית של 'שגר, שכח ומצא'". עוד עולה מהדו"ח שלרחפן הטורקי, שנושא עליו חומר נפץ, יש מצב קמיקזה שמאפשר לו להתפוצץ על המטרות שלו (ראו בסרטון למטה), אך לא ברור אם נעשה שימוש ביכולת הזאת במהלך התקרית. לפי האתר של חברת STM, הרחפן מיועד ללוחמה א-סימטרית ולמבצעים נגד ארגוני טרור וניתן להפעיל אותו במצב ידני או במצב אוטונומי. הוא נמצא בין היתר בשימוש הצבא הטורקי.
השימוש בכלי נשק אוטונומיים מדאיג ביותר בין היתר בשל האפשרות של טעות בזיהוי: האם המערכת יודעת להבדיל בין חמוש שמהווה סכנה לבין ילד עם רובה צעצוע? האם היא יודעת להבחין בין טרוריסט לבין משקיף שלום של האו"ם שמפטרל לא רחוק ממנו? השאלות האלה מעוררות חשש בקרב מומחים לבינה מלאכותית וארגוני זכויות אדם, שקוראים לאסור על שימוש בכלי נשק אוטונומיים, בזמן שמדינות כמו ארה"ב ורוסיה מתנגדות לכך.
בדו"ח של מועצת הביטחון מצוטט זק קלנברון, מומחה לטכנולוגיה ולכלי נשק בלתי קונבציונליים, שאומר כי ייתכן שמדובר בפעם הראשונה שבה רחפן תקף בני אדם באופן אוטונומי. "עד כמה אמינה המערכת לזיהוי מטרות?", הוא תהה, "עד כמה שכיחות טעויות בזיהוי?". ג'ק ווטלינג ממכון המחקר הבריטי Royal United Services אמר ל-New Scientist בעקבות התקרית: "זה לא אומר שרגולציה על כלי נשק אוטונומיים אינה אפשרית, אבל זה אומר שהדיון על כך הוא דחוף וחשוב. הטכנולוגיה לא תחכה לנו".
