Développement d’applications3 min de lecture

Tester les tests de sécurité : les tests de mutation au service de la sécurité des apps mobiles

Un test de sécurité qui n’échoue jamais ne prouve rien. Les tests de mutation ont validé le pack QA d’une app bancaire, et montré 13 contrôles cassés passés inaperçus.

Une suite de tests de sécurité toujours au vert a quelque chose de rassurant. Mais un test qui n’a jamais échoué n’a jamais prouvé qu’il pouvait échouer. Si une détection du root cesse de fonctionner sans bruit, quelque chose le remarquera-t-il ?

Lors d’une remédiation de sécurité pour l’app Android d’une banque de détail, nous nous sommes posé cette question à propos de notre propre vérification. Dans cet article, nous expliquons comment fonctionnent les tests de mutation appliqués aux vérifications de sécurité, ce qu’ils ont révélé, et pourquoi ils ont changé notre conception de ce que « testé » veut dire.


Le problème : des tests au vert ne prouvent pas grand-chose

Après la remédiation, l’équipe QA a constitué un pack de vérification de sécurité de 79 vérifications scriptées couvrant 45 tickets de sécurité. Toutes passaient. Cela nous indiquait que les contrôles semblaient fonctionner — mais pas si les vérifications détecteraient un contrôle qui cesserait de fonctionner.

📌 À retenir :

La vraie question n’est pas « les tests de sécurité passent-ils ? » mais « échoueraient-ils si la sécurité était cassée ? »


Comment fonctionnent les tests de mutation appliqués à la sécurité

Étape 1 : créer des mutants

Un mutant est un build de test dans lequel un contrôle de sécurité est volontairement cassé. Quelques exemples, à titre d’illustration, du type de défaillances couvertes :

  • Un détecteur de root ou de hooking qui signale toujours un appareil sain.

  • Une configuration réseau qui accepte des versions de TLS plus faibles.

  • Un presse-papiers qui n’est jamais effacé.

  • Une connexion biométrique qui se fie au callback plutôt qu’à une clé.

Étape 2 : exécuter les vérifications sur chaque mutant

L’intégralité du pack de sécurité est exécutée sur chaque mutant. Pour chacun, au moins une vérification doit échouer. Un mutant qui passe toutes les vérifications a survécu — et révèle un angle mort.

Étape 3 : comparer avec les tests des développeurs

Les mêmes mutants ont aussi été soumis aux propres tests des développeurs, pour voir où la QA indépendante apportait une couverture que les développeurs n’avaient pas.


Ce que nous avons découvert

Couche de test Résultat
Pack de sécurité QA A détecté tous les mutants (164/164)
Tests des développeurs 13 mutants ont survécu

Le pack QA a détecté tous les mutants. Le chiffre le plus intéressant est le second : 13 contrôles cassés auraient passé les tests des développeurs. Chacun d’eux était un contrôle qu’une modification future aurait pu casser sans qu’aucun test développeur ne passe au rouge.

Ce n’est pas une critique des développeurs. Les tests développeurs vérifient que le code fait ce qu’il doit faire ; ils vérifient rarement qu’une propriété de sécurité tient de bout en bout. C’est précisément la lacune qu’une vérification indépendante est censée combler.


Pourquoi c’est important pour les apps réglementées

  • Des preuves, pas des affirmations. Un auditeur peut constater non seulement que les vérifications passent, mais aussi qu’il a été prouvé qu’elles pouvaient échouer.

  • Une protection contre les régressions. Un futur refactoring qui affaiblit un contrôle sera détecté avant la mise en production.

  • Une couverture honnête. Les mutants survivants montrent où la couverture est faible, au lieu de la masquer derrière un taux de réussite.


Quand utiliser les tests de mutation pour la sécurité

  • Pour les contrôles qui protègent de l’argent, des identifiants ou des données personnelles.

  • Après une remédiation de sécurité, pour prouver que les correctifs sont vérifiables.

  • Avant de s’appuyer sur une suite de tests de sécurité comme preuve lors d’un audit.

Ils ne remplacent pas un test d’intrusion. Les tests de mutation vérifient les défaillances que vous avez anticipées ; un pentest recherche celles que vous n’avez pas anticipées.

Comment Mobian vous aide

Chez Mobian, les tests de mutation ont constitué la dernière étape d’une mission de sécurité partie d’un score MobSF de 48/100 pour aboutir à 48 lacunes notées CVSS et 124 correctifs suivis. Nous séparons les personnes qui construisent un contrôle des vérifications qui le valident, puis nous testons ces vérifications.

Conclusion

Un test de sécurité qui passe n’a de sens que s’il peut échouer. En cassant volontairement chaque contrôle et en exécutant les vérifications sur le résultat, le pack QA a prouvé qu’il détecte chaque défaillance prévue — et a mis en évidence 13 endroits où les seuls tests des développeurs auraient laissé passer un contrôle cassé. Pour les apps qui gèrent de l’argent, c’est toute la différence entre « testé » et « vérifié ».

Questions fréquentes

Qu’est-ce qu’un test de mutation ?

Le test de mutation consiste à introduire volontairement de petites erreurs, appelées mutants, dans le code, puis à vérifier si la suite de tests les détecte. Une suite de tests qui laisse survivre des mutants présente des lacunes, même si tous ses tests passent.

Comment le test de mutation s’applique-t-il à la sécurité ?

Chaque mutant désactive ou affaiblit un contrôle de sécurité précis, par exemple en supprimant une détection du root ou en autorisant une version plus ancienne de TLS. Les vérifications de sécurité sont ensuite exécutées sur ce build. Chaque mutant doit faire échouer au moins une vérification.

Qu’ont révélé les tests de mutation dans ce projet ?

Le pack de sécurité QA indépendant a détecté tous les mutants. Mais 13 mutants ont survécu aux propres tests des développeurs : les contrôles auraient pu être cassés sans qu’aucun test développeur ne s’en aperçoive. Ces 13 cas montrent précisément où une vérification indépendante prend tout son sens.

Le test de mutation coûte-t-il cher ?

Concevoir les mutants et construire les variantes de test demande un effort supplémentaire, mais cela coûte bien moins cher que de découvrir lors d’un audit, ou en production, qu’une vérification de sécurité n’a jamais été capable d’échouer. C’est pour les contrôles qui protègent de l’argent ou des données qu’il est le plus précieux.

Cela remplace-t-il un test d’intrusion ?

Non. Le test de mutation prouve que vos vérifications détectent les défaillances pour lesquelles vous les avez conçues. Un test d’intrusion recherche des failles que personne n’avait anticipées. Ils répondent à des questions différentes et donnent les meilleurs résultats ensemble.

Estimation gratuite · sans engagement

Vous prévoyez un projet sur cette stack ?

Nous avons travaillé avec les outils dont nous parlons. Présentez-nous votre projet et obtenez un deuxième avis d’ingénieurs qui les ont mis en production.

  • 1Nous passons en revue votre produit, votre stack et votre roadmap
  • 2Nous vous signalons les risques déjà rencontrés sur des projets similaires
  • 3Vous recevez une proposition d’équipe et un calendrier indicatif sous 48 heures

Parlez-nous de votre projet

Vous préférez d’abord en parler ? Réservez un appel de 30 minutes