דף הבית / בדיקות חדירה למערכות AI ו-LLM
שירות
בדיקות חדירה למערכות AI ו-LLM
מערכת מבוססת LLM נשברת בשני מקומות: במודל עצמו, ובאפליקציה שמסביבו. רוב הממצאים החמורים שראינו היו דווקא באפליקציה שמסביב — מי רשאי לקרוא למודל, מה מגיע אליו, ומה מותר לו לעשות עם התשובה.
למי זה מתאים
- בניתם צ׳אט תמיכה, עוזר פנימי או פיצ׳ר מבוסס LLM על גבי מערכת קיימת.
- המודל שלכם יכול לקרוא ל-API, לגשת למסמכים, או לבצע פעולות בשם המשתמש.
- אתם משתמשים ב-RAG ולא בטוחים מה בדיוק נכנס להקשר.
מה אנחנו בודקים בפועל
- Prompt injection — ישיר ועקיף, כולל דרך תוכן שהמערכת שולפת בעצמה.
- Function calling: האם המודל יכול להרכיב קריאה ל-endpoint שהמשתמש לא רשאי להגיע אליו. ראינו את זה קורה בפועל אצל לקוח.
- בידוד בין משתמשים: האם ההקשר של משתמש אחד יכול לדלוף למשתמש אחר.
- כל מה שמסביב — הרשאות, ולידציית קלט, לוגיקה עסקית ו-API.
איך זה עובד
- אנחנו מתחילים מהמערכת שמסביב, כי שם ההשפעה הגדולה ביותר, וממשיכים למודל עצמו.
- כל ממצא מלווה בשחזור מלא — הקלט המדויק והתוצאה.
מה מקבלים
- דוח שמפריד בין בעיות במודל לבין בעיות בהרשאות, כי הפתרון שונה לחלוטין.
- המלצות מעשיות ברמת הארכיטקטורה, לא רק ברמת ה-prompt.
הבדיקות עצמן
קטלוג הבדיקות שלנו פתוח לעיון: 276 מקרי בדיקה ב-42 עמודי קטגוריה. לכל מקרה מצוין מה הוא מוכיח, איך הוא מתבצע ומה נדרש מראש. הקטלוג כתוב באנגלית.
הסבר על הקטלוג בעברית · קטלוג הבדיקות · מטריצת הכיסוי · מצבי הבדיקה (Black / Grey / White Box)
נשמח לשמוע מה אתם בונים
ספרו לנו מה המערכת עושה ומה מדאיג אתכם בה. נחזור אליכם עם שאלות אפיון, הצעה ברורה ולוח זמנים מציאותי — ואם בדיקה היא לא מה שאתם צריכים בשלב הזה, נגיד גם את זה. צרו קשר.
ספרו לנו מה המערכת עושה ומה מדאיג אתכם.
אם בדיקת חדירה אינה מה שאתם צריכים עכשיו, נאמר זאת.