חוקר אבטחה וסייבר שפועל תחת זהות רוסית דיווח על פריצה מוצלחת ומעקף מנגנוני בטיחות (Jailbreak) במודל הבינה המלאכותית Claude מבית חברת Anthropic.
הדיווח חושף כיצד שיטות הנדסת פרומפטים מורכבות (Prompt Injection) ואנימציות קוגניטיביות איפשרו למודל לציית ולגרום לו לעקוף את המגבלות האתיות והאבטחתיות הקשיחות שהוטלו עליו על ידי מפתחיו.
האירוע מעורר דאגה מחודשת בקרב חברות אלגוריתמי ה-AI, ומדגיש את האתגר המתמשך בהגנה על מודלי שפה גדולים (LLMs) מפני מניפולציות טקסטואליות.
שיטת הפריצה: הנדסת פרומפטים מתקדמת ועקיפת הגדרות
על פי הממצאים שפורסמו, הטכניקה שבה נעשה שימוש אינה התבססה על כתיבת קוד זדוני או פגיעה בתשתית השרתים של Anthropic, אלא על ניצול אופן המחשבה והפרשנות של המודל:
- שימוש בהקשרים מופשטים ותסריטים היפותטיים: התוקף השתמש בשרשרת שיחות מורכבת שבה העמיד את המודל בתוך תרחיש משחק תפקידים (Roleplay) או ניתוח ספרותי מופשט, תוך הזרקת הוראות הסוואתיות המטשטשות את כוונתו המקורית.
- עקיפת מנגנון הבטיחות החוקתי (Constitutional AI): מודלי Claude מוגנים באמצעות שיטה ייחודית של חברת Anthropic המכונה "AI חוקתי", המיועדת להבטיח שהמודל יסרב לייצר תוכן מזיק. למרות זאת, העקיפה המוצלחת הובילה את המודל לספק תשובות מפורטות לנושאים המסומנים בדרך כלל כחסומים להצגה.
המשמעות לתעשייה: המאבק העיקש על בטיחות ה-AI
מקרה זה מצטרף לשורה ארוכה של ניסיונות פריצה מוצלחים נגד מודלים מובילים בשוק, כמו ChatGPT של OpenAI ו-Gemini של גוגל. מומחי אבטחה מבהירים כי ככל שמודלי השפה הופכים לחכמים ומורכבים יותר, כך גדל גם שטח התקיפה המבוסס על שפה טבעית.
בתגובה לגילויים מסוג זה, חברות הטכנולוגיה פועלות באופן רציף לעדכון שכבות הסינון ומנגנוני ה-Guardrails של המודלים, לצד שיתוף פעולה הדוק עם חוקרי אבטחה ברחבי העולם במסגרת תוכניות מענקי פריצה (Bug Bounty).
