פיתוח אפליקציות2 דקות קריאה

לבדוק את בדיקות האבטחה: Mutation Testing לאבטחת אפליקציות מובייל

טסט אבטחה שאף פעם לא נכשל לא מוכיח כלום. כך mutation testing אימת את חבילת בדיקות האבטחה של QA באפליקציית בנקאות, ולמה 13 מנגנונים שבורים עברו את טסטי המפתחים.

חבילת טסטים לאבטחה שתמיד ירוקה נותנת תחושת ביטחון. אבל טסט שמעולם לא נכשל מעולם לא הוכיח שהוא מסוגל להיכשל. אם בדיקת root מפסיקה לעבוד בשקט, משהו ישים לב?

במהלך תיקון ממצאי אבטחה באפליקציית ה-Android של בנק קמעונאי, שאלנו את השאלה הזו על תהליך האימות שלנו עצמנו. במאמר הזה נסביר איך mutation testing עובד עבור בדיקות אבטחה, מה הוא מצא, ולמה הוא שינה את האופן שבו אנחנו חושבים על "נבדק".


הבעיה: טסטים ירוקים מוכיחים מעט

אחרי תיקון הממצאים, צוות ה-QA בנה חבילת אימות אבטחה של 79 בדיקות סקריפטיות שמכסות 45 טיקטים של אבטחה. כל הבדיקות עברו. זה אמר לנו שהמנגנונים נראים עובדים — אבל לא אם הבדיקות יתפסו מנגנון שהפסיק לעבוד.

📌 תובנה מרכזית:

השאלה האמיתית היא לא "האם טסטי האבטחה עוברים?" אלא "האם הם ייכשלו אם האבטחה תישבר?"


איך mutation testing עובד עבור אבטחה

שלב 1: יוצרים מוטנטים

מוטנט הוא build של בדיקה שבו מנגנון אבטחה אחד שבור בכוונה. דוגמאות להמחשה לסוג השבירות שזה מכסה:

  • מנגנון זיהוי root או hooking שתמיד מדווח על מכשיר נקי.

  • קונפיגורציית רשת שמקבלת גרסאות TLS חלשות יותר.

  • clipboard שאף פעם לא מתנקה.

  • התחברות ביומטרית שסומכת על ה-callback במקום על מפתח.

שלב 2: מריצים את הבדיקות על כל מוטנט

חבילת בדיקות האבטחה המלאה רצה על כל מוטנט. עבור כל אחד מהם, לפחות בדיקה אחת חייבת להיכשל. מוטנט שעובר את כל הבדיקות שרד — והוא מצביע על נקודה עיוורת.

שלב 3: משווים מול הטסטים של המפתחים

אותם מוטנטים הורצו גם מול הטסטים של המפתחים עצמם, כדי לראות איפה ה-QA העצמאי הוסיף כיסוי שלמפתחים לא היה.


מה מצאנו

שכבת בדיקה תוצאה
חבילת בדיקות האבטחה של QA תפסה כל מוטנט (164/164)
הטסטים של המפתחים עצמם 13 מוטנטים שרדו

חבילת ה-QA תפסה כל מוטנט. המספר המעניין יותר הוא השני: 13 מנגנונים שבורים היו עוברים את הטסטים של המפתחים. כל אחד מהם היה מנגנון ששינוי עתידי יכול היה לשבור בלי שאף טסט של מפתח היה הופך לאדום.

זו לא ביקורת על המפתחים. טסטים של מפתחים בודקים שהקוד עושה את מה שהוא צריך; הם רק לעיתים רחוקות בודקים שתכונת אבטחה מתקיימת מקצה לקצה. זה בדיוק הפער שבדיקה עצמאית נועדה לסגור.


למה זה חשוב לאפליקציות בתחומים מפוקחים

  • ראיות, לא טענות. מבקר יכול לראות לא רק שהבדיקות עוברות, אלא שהוכח שהן מסוגלות להיכשל.

  • הגנה מפני רגרסיות. refactor עתידי שמחליש מנגנון ייתפס לפני השחרור.

  • כיסוי כן. מוטנטים ששרדו מראים איפה הכיסוי דל, במקום להסתיר את זה מאחורי אחוז הצלחה.


מתי להשתמש ב-mutation testing לאבטחה

  • עבור מנגנונים שמגינים על כסף, על פרטי התחברות או על מידע אישי.

  • אחרי תיקון ממצאי אבטחה, כדי להוכיח שאפשר לאמת את התיקונים.

  • לפני שמסתמכים על חבילת טסטים לאבטחה כראיה באודיט.

זה לא מחליף מבדק חדירות. Mutation testing בודק את הכשלים שצפיתם; pentest מחפש את אלה שלא צפיתם.

איך Mobian עוזרת

ב-Mobian, mutation testing היה השלב האחרון בפרויקט אבטחה שהתחיל מציון MobSF של 48/100 והגיע ל-48 פערים מדורגים לפי CVSS ול-124 תיקונים במעקב. אנחנו מפרידים בין האנשים שבונים מנגנון לבין הבדיקות שמאמתות אותו, ואז בודקים את הבדיקות.

סיכום

טסט אבטחה שעובר הוא בעל משמעות רק אם הוא מסוגל להיכשל. על ידי שבירה מכוונת של כל מנגנון והרצת הבדיקות מולו, חבילת ה-QA הוכיחה שהיא תופסת כל כשל מתוכנן — והראתה 13 מקומות שבהם הטסטים של המפתחים לבדם היו מעבירים מנגנון שבור. באפליקציות שמטפלות בכסף, זה ההבדל בין "נבדק" לבין "אומת".

שאלות נפוצות

מה זה mutation testing?

Mutation testing מכניס בכוונה תקלות קטנות לקוד, שנקראות מוטנטים (mutants), ובודק אם חבילת הטסטים תופסת אותן. חבילת טסטים שמאפשרת למוטנטים לשרוד היא חבילה עם פערים, גם אם כל הטסטים שלה עוברים.

איך mutation testing רלוונטי לאבטחה?

כל מוטנט מנטרל או מחליש מנגנון אבטחה ספציפי, למשל מסיר בדיקת root או מאפשר גרסת TLS ישנה יותר. אחר כך מריצים את בדיקות האבטחה על ה-build הזה. כל מוטנט צריך לגרום לפחות לבדיקה אחת להיכשל.

מה mutation testing מצא בפרויקט הזה?

חבילת בדיקות האבטחה העצמאית של QA תפסה כל מוטנט. אבל 13 מהמוטנטים שרדו את הטסטים של המפתחים עצמם, כלומר המנגנונים האלה יכלו להישבר בלי שאף טסט של מפתח היה שם לב. 13 המקרים האלה מראים בדיוק איפה אימות עצמאי מצדיק את קיומו.

האם mutation testing יקר?

הוא דורש מאמץ נוסף בתכנון המוטנטים ובבניית גרסאות בדיקה, אבל הוא הרבה יותר זול מלגלות באודיט, או ב-production, שבדיקת אבטחה מסוימת אף פעם לא הייתה מסוגלת להיכשל. הוא הכי שווה עבור מנגנונים שמגינים על כסף או על מידע.

האם זה מחליף מבדק חדירות?

לא. Mutation testing מוכיח שהבדיקות שלכם מזהות את הכשלים שתכננתם אותן לזהות. מבדק חדירות מחפש חולשות שאף אחד לא צפה. הם עונים על שאלות שונות ועובדים הכי טוב יחד.

הערכה ללא עלות · ללא התחייבות

מתכננים פיתוח על ה-stack הזה?

עבדנו עם הכלים שאנחנו כותבים עליהם. ספרו לנו על הפרויקט וקבלו חוות דעת שנייה ממהנדסים שהשיקו איתם מוצרים.

  • 1אנחנו עוברים על המוצר, ה-stack ומפת הדרכים שלכם
  • 2אנחנו מצביעים על הסיכונים שראינו בפרויקטים דומים
  • 3תוך 48 שעות מקבלים הרכב צוות ולוח זמנים משוער

ספרו לנו על הפרויקט

מעדיפים לדבר קודם? קבעו שיחה של 30 דקות