מי ישמור 🚩 על השומרים? סוכני AI כבר פועלים בקצב שבני אדם לא מצליחים לעקוב אחריו. אז עכשיו יש AI עם תפקיד אחד - לפקח על AI אחר...

מי ישמור 🚩 על השומרים? סוכני AI כבר פועלים בקצב שבני אדם לא מצליחים לעקוב אחריו. אז עכשיו יש AI עם תפקיד אחד - לפקח על AI אחר... באירוע החריג שהתרחש ביולי (במסגרת ניסוי של OpenAI, שבו סוכני AI יצאו מגבולות סביבת הניסוי ופרצו למערכות של Hugging Face) כמעט 12,000 סוכנים פעלו במקביל ותיאמו פעולות ביניהם. [קראו פה] היקף הפעילות היה כ״כ גדול ומהיר, שגם החוקרים שבדקו אחר כך מה הלך שם היו צריכים להשתמש בבינה מלאכותית בשביל לנתח את המידע ולהבין את ההתנהגות של הסוכנים. ופה נכנס תחום מרתק בשם AI observability - מערכות וכלי AI שעוקבים אחרי הפעולות של סוכני AI, מנסים לזהות התנהגות מסוכנת - ולעצור אותה. 🛑 וזה נהיה הרבה יותר מעניין. החוקרים (במקרה של חודש יולי) שמו לב לסוכנים שהבינו שמערכת AI מפקחת עליהם - ואז ניסו לתאם ביניהם התנהגות במטרה להטעות את ה-AI שמפקח עליהם... ויש לזה עוד שכבת עומק. אחת הדרכים להבין שסוכן עומד לעשות משהו בעייתי היא לבחון את ה-reasoning שלו (שלבי החשיבה בדרך לפעולה). אבל היכולת הזו הולכת ומצטמצמת כי טכניקות חדשות מאפשרות למודלים לפעול בלי אותו קו מחשבה ברור שמאפשר ״להציץ פנימה״, ומהצד השני חברות AI מצמצמות את החשיפה של השלב הזה בשביל להקשות על ניסיונות לשכפל את המודלים. מה שאומר שדווקא כשאנחנו צריכים יותר יכולת לבחון מה הולך ״בתוך״ סוכני ה-AI - החלון הזה מתחיל להיסגר... בקיצור - ככל שהסוכנים הופכים אוטונומיים יותר, אנחנו לא רק מתכננים ובונים AI שיעבוד בשבילנו - אלא גם AI שישמור על ה-AI. ואז השאלה המתבקשת היא כמובן: מי ישמור על השומר? ### לתגובות - בלינקדאין: linkedin.com/feed/update/urn:li:activity:750844… @TechIsrael ☄️