App-Entwicklung3 Min. Lesezeit

Die Sicherheitstests testen: Mutationstests für die Sicherheit mobiler Apps

Ein Sicherheitstest, der nie scheitert, beweist nichts. Wie Mutationstests das QA-Paket einer Bank-App prüften und warum 13 Defekte Entwicklertests bestanden.

Eine Sicherheits-Testsuite, die immer grün ist, wirkt beruhigend. Doch ein Test, der noch nie fehlgeschlagen ist, hat nie bewiesen, dass er fehlschlagen kann. Wenn eine Root-Prüfung unbemerkt aufhört zu funktionieren – würde das irgendetwas bemerken?

Bei einer Sicherheitsbehebung für die Android-App einer Retail-Bank haben wir uns diese Frage zu unserer eigenen Verifizierung gestellt. In diesem Artikel erklären wir, wie Mutationstests für Sicherheitsprüfungen funktionieren, was sie ergeben haben und warum sie unser Verständnis von „getestet“ verändert haben.


Das Problem: Grüne Tests beweisen wenig

Nach der Behebung erstellte das QA-Team ein Paket zur Sicherheitsverifizierung mit 79 skriptgesteuerten Prüfungen für 45 Sicherheitstickets. Jede Prüfung bestand. Das zeigte uns, dass die Schutzmaßnahmen zu funktionieren schienen – aber nicht, ob die Prüfungen eine Schutzmaßnahme erkennen würden, die nicht mehr funktioniert.

📌 Kernaussage:

Die eigentliche Frage lautet nicht „Bestehen die Sicherheitstests?“, sondern „Würden sie fehlschlagen, wenn die Sicherheit versagt?“


Wie Mutationstests für die Sicherheit funktionieren

Schritt 1: Mutanten erstellen

Ein Mutant ist ein Test-Build, in dem eine Schutzmaßnahme absichtlich außer Kraft gesetzt ist. Beispiele für die Art von Defekten, die damit abgedeckt werden:

  • Ein Root- oder Hooking-Detektor, der immer ein sauberes Gerät meldet.

  • Eine Netzwerkkonfiguration, die schwächere TLS-Versionen akzeptiert.

  • Eine Zwischenablage, die nie geleert wird.

  • Ein biometrischer Login, der dem Callback statt einem Schlüssel vertraut.

Schritt 2: Die Prüfungen gegen jeden Mutanten laufen lassen

Das komplette Security-Paket läuft gegen jeden Mutanten. Bei jedem muss mindestens eine Prüfung fehlschlagen. Ein Mutant, der alle Prüfungen besteht, hat überlebt – und weist auf einen blinden Fleck hin.

Schritt 3: Mit den Entwicklertests vergleichen

Dieselben Mutanten liefen auch gegen die eigenen Tests der Entwickler, um zu sehen, wo die unabhängige QA eine Abdeckung hinzufügte, die die Entwickler nicht hatten.


Was wir herausgefunden haben

Testebene Ergebnis
QA-Security-Paket Jeder Mutant erkannt (164/164)
Eigene Tests der Entwickler 13 Mutanten überlebten

Das QA-Paket hat jeden Mutanten erkannt. Interessanter ist die zweite Zahl: 13 defekte Schutzmaßnahmen hätten die Entwicklertests bestanden. Jede davon war eine Schutzmaßnahme, die durch eine künftige Änderung hätte ausgehebelt werden können, ohne dass ein Entwicklertest rot geworden wäre.

Das ist keine Kritik an den Entwicklern. Entwicklertests prüfen, ob der Code tut, was er soll; selten prüfen sie, ob eine Sicherheitseigenschaft durchgängig gilt. Genau diese Lücke soll eine unabhängige Prüfung schließen.


Warum das für regulierte Apps wichtig ist

  • Nachweise statt Behauptungen. Ein Auditor sieht nicht nur, dass Prüfungen bestehen, sondern auch, dass nachweislich feststeht, dass sie fehlschlagen können.

  • Schutz vor Regressionen. Ein künftiges Refactoring, das eine Schutzmaßnahme schwächt, wird vor dem Release erkannt.

  • Ehrliche Abdeckung. Überlebende Mutanten zeigen, wo die Abdeckung dünn ist, statt das hinter einer Erfolgsquote zu verbergen.


Wann sich Mutationstests für die Sicherheit lohnen

  • Für Schutzmaßnahmen, die Geld, Zugangsdaten oder personenbezogene Daten schützen.

  • Nach einer Sicherheitsbehebung, um nachzuweisen, dass die Fixes überprüfbar sind.

  • Bevor man sich auf eine Sicherheits-Testsuite als Audit-Nachweis verlässt.

Ein Penetrationstest wird dadurch nicht ersetzt. Mutationstests prüfen auf die Fehler, die Sie vorhergesehen haben; ein Pentest sucht nach denen, die Sie nicht vorhergesehen haben.

Wie Mobian unterstützt

Bei Mobian waren Mutationstests der letzte Schritt eines Sicherheitsprojekts, das von einem MobSF-Score von 48/100 zu 48 nach CVSS bewerteten Lücken und 124 nachverfolgten Fixes führte. Wir trennen die Personen, die eine Schutzmaßnahme bauen, von den Prüfungen, die sie verifizieren – und dann testen wir die Prüfungen.

Fazit

Ein bestandener Sicherheitstest ist nur aussagekräftig, wenn er fehlschlagen kann. Indem wir jede Schutzmaßnahme absichtlich außer Kraft setzten und die Prüfungen dagegen laufen ließen, hat das QA-Paket bewiesen, dass es jeden vorgesehenen Fehler erkennt – und 13 Stellen aufgezeigt, an denen Entwicklertests allein eine defekte Schutzmaßnahme durchgelassen hätten. Bei Apps, die mit Geld umgehen, ist das der Unterschied zwischen „getestet“ und „verifiziert“.

Häufige Fragen

Was sind Mutationstests?

Beim Mutationstesten werden absichtlich kleine Fehler, sogenannte Mutanten, in den Code eingebaut, und es wird geprüft, ob die Testsuite sie erkennt. Eine Testsuite, die Mutanten überleben lässt, hat Lücken, selbst wenn alle ihre Tests bestehen.

Wie lassen sich Mutationstests auf Sicherheit anwenden?

Jeder Mutant deaktiviert oder schwächt eine bestimmte Schutzmaßnahme, zum Beispiel indem eine Root-Prüfung entfernt oder eine ältere TLS-Version zugelassen wird. Anschließend laufen die Sicherheitsprüfungen gegen diesen Build. Jeder Mutant sollte mindestens eine Prüfung fehlschlagen lassen.

Was haben die Mutationstests in diesem Projekt ergeben?

Das unabhängige QA-Security-Paket hat jeden Mutanten erkannt. Aber 13 der Mutanten überlebten die eigenen Tests der Entwickler – die Schutzmaßnahmen hätten also ausfallen können, ohne dass ein Entwicklertest es bemerkt hätte. Diese 13 Fälle zeigen genau, wo sich eine unabhängige Verifizierung bezahlt macht.

Sind Mutationstests teuer?

Es kostet zusätzlichen Aufwand, Mutanten zu entwerfen und Testvarianten zu bauen, aber es ist weit günstiger, als in einem Audit oder in der Produktion festzustellen, dass eine Sicherheitsprüfung nie fehlschlagen konnte. Am wertvollsten sind Mutationstests für Schutzmaßnahmen, die Geld oder Daten schützen.

Ersetzt das einen Penetrationstest?

Nein. Mutationstests belegen, dass Ihre Prüfungen die Fehler erkennen, für die Sie sie entworfen haben. Ein Penetrationstest sucht nach Schwachstellen, die niemand vorhergesehen hat. Beide beantworten unterschiedliche Fragen und funktionieren am besten zusammen.

Kostenlose Einschätzung · unverbindlich

Sie planen ein Projekt mit diesem Stack?

Wir haben mit den Tools gearbeitet, über die wir schreiben. Erzählen Sie uns von Ihrem Projekt und holen Sie sich eine Zweitmeinung von Engineers, die damit Produkte ausgeliefert haben.

  • 1Wir sehen uns Ihr Produkt, Ihren Tech-Stack und Ihre Roadmap an
  • 2Wir benennen Risiken, die wir aus ähnlichen Projekten kennen
  • 3Innerhalb von 48 Stunden erhalten Sie eine Teamaufstellung und einen groben Zeitplan

Erzählen Sie uns von Ihrem Projekt

Lieber zuerst sprechen? 30-Minuten-Gespräch buchen