Desarrollo de apps3 min de lectura

Probar las pruebas de seguridad: pruebas de mutación para la seguridad de apps móviles

Una prueba de seguridad que nunca falla no demuestra nada. Cómo verificamos con pruebas de mutación el QA de seguridad de una app bancaria y qué revelaron.

Un conjunto de pruebas de seguridad siempre en verde transmite tranquilidad. Pero una prueba que nunca ha fallado nunca ha demostrado que pueda fallar. Si una comprobación de root deja de funcionar sin avisar, ¿lo notará algo?

Durante la remediación de seguridad de la app Android de un banco minorista, nos hicimos esa pregunta sobre nuestra propia verificación. En este artículo explicamos cómo funcionan las pruebas de mutación aplicadas a las comprobaciones de seguridad, qué encontraron y por qué cambiaron nuestra forma de entender qué significa «probado».


El problema: las pruebas en verde demuestran poco

Tras la remediación, QA creó un paquete de verificación de seguridad de 79 comprobaciones automatizadas que cubrían 45 tickets de seguridad. Todas las comprobaciones pasaron. Eso nos indicaba que los controles parecían funcionar, pero no si las comprobaciones detectarían un control que dejara de hacerlo.

📌 Idea clave:

La verdadera pregunta no es «¿pasan las pruebas de seguridad?», sino «¿fallarían si la seguridad se rompiera?».


Cómo funcionan las pruebas de mutación en seguridad

Paso 1: crear mutantes

Un mutante es un build de prueba en el que se rompe deliberadamente un control de seguridad. Algunos ejemplos ilustrativos del tipo de roturas que cubre:

  • Un detector de root o de hooking que siempre informa de un dispositivo limpio.

  • Una configuración de red que acepta versiones de TLS más débiles.

  • Un portapapeles que nunca se borra.

  • Un inicio de sesión biométrico que confía en el callback en lugar de en una clave.

Paso 2: ejecutar las comprobaciones contra cada mutante

El paquete de seguridad completo se ejecuta contra cada mutante. En cada uno debe fallar al menos una comprobación. Un mutante que supera todas las comprobaciones ha sobrevivido y señala un punto ciego.

Paso 3: comparar con las pruebas de los desarrolladores

Los mismos mutantes se ejecutaron también contra las pruebas de los propios desarrolladores, para ver dónde el QA independiente aportaba una cobertura que los desarrolladores no tenían.


Qué encontramos

Capa de pruebas Resultado
Paquete de seguridad de QA Detectó todos los mutantes (164/164)
Pruebas de los propios desarrolladores Sobrevivieron 13 mutantes

El paquete de QA detectó todos los mutantes. La cifra más interesante es la segunda: 13 controles rotos habrían superado las pruebas de los desarrolladores. Cada uno era un control que un cambio futuro podría haber roto sin que ninguna prueba de desarrollo se pusiera en rojo.

No es una crítica a los desarrolladores. Las pruebas de desarrollo comprueban que el código hace lo que debe; rara vez comprueban que una propiedad de seguridad se cumpla de principio a fin. Esa es precisamente la laguna que una comprobación independiente está pensada para cubrir.


Por qué importa en las apps reguladas

  • Pruebas, no afirmaciones. Un auditor puede ver no solo que las comprobaciones pasan, sino que se demostró que eran capaces de fallar.

  • Protección frente a regresiones. Una refactorización futura que debilite un control se detectará antes del lanzamiento.

  • Una cobertura honesta. Los mutantes supervivientes muestran dónde la cobertura es escasa, en lugar de ocultarlo tras una tasa de aprobados.


Cuándo usar pruebas de mutación de seguridad

  • En los controles que protegen dinero, credenciales o datos personales.

  • Después de una remediación de seguridad, para demostrar que las correcciones son verificables.

  • Antes de presentar un conjunto de pruebas de seguridad como evidencia en una auditoría.

No sustituyen a una prueba de penetración. Las pruebas de mutación comprueban los fallos que usted previó; un pentest busca los que no previó.

Cómo ayuda Mobian

En Mobian, las pruebas de mutación fueron el último paso de un proyecto de seguridad que pasó de una puntuación de MobSF de 48/100 a 48 carencias puntuadas con CVSS y 124 correcciones con seguimiento. Separamos a las personas que construyen un control de las comprobaciones que lo verifican, y después probamos las comprobaciones.

Conclusión

Una prueba de seguridad superada solo tiene sentido si puede fallar. Al romper deliberadamente cada control y ejecutar las comprobaciones contra él, el paquete de QA demostró que detecta todos los fallos diseñados y reveló 13 puntos en los que las pruebas de los desarrolladores, por sí solas, habrían dejado pasar un control roto. En las apps que manejan dinero, esa es la diferencia entre «probado» y «verificado».

Preguntas frecuentes

¿Qué son las pruebas de mutación?

Las pruebas de mutación (mutation testing) introducen deliberadamente pequeños fallos, llamados mutantes, en el código y comprueban si el conjunto de pruebas los detecta. Un conjunto de pruebas que deja sobrevivir a los mutantes tiene lagunas, aunque todas sus pruebas pasen.

¿Cómo se aplican las pruebas de mutación a la seguridad?

Cada mutante desactiva o debilita un control de seguridad concreto, por ejemplo eliminando una comprobación de root o permitiendo una versión antigua de TLS. A continuación, las comprobaciones de seguridad se ejecutan contra ese build. Cada mutante debería hacer fallar al menos una comprobación.

¿Qué encontraron las pruebas de mutación en este proyecto?

El paquete independiente de pruebas de seguridad de QA detectó todos los mutantes. Pero 13 de ellos sobrevivieron a las pruebas de los propios desarrolladores, es decir, esos controles podrían haberse roto sin que ninguna prueba de desarrollo lo advirtiera. Esos 13 casos muestran exactamente dónde se justifica una verificación independiente.

¿Son caras las pruebas de mutación?

Exigen un esfuerzo adicional para diseñar los mutantes y crear las variantes de prueba, pero salen mucho más baratas que descubrir en una auditoría, o en producción, que una comprobación de seguridad nunca fue capaz de fallar. Aportan más valor en los controles que protegen dinero o datos.

¿Sustituye esto a una prueba de penetración?

No. Las pruebas de mutación demuestran que sus comprobaciones detectan los fallos para los que se diseñaron. Una prueba de penetración busca debilidades que nadie había previsto. Responden a preguntas distintas y funcionan mejor juntas.

Estimación gratuita · sin compromiso

¿Planea un desarrollo con este stack?

Hemos trabajado con las herramientas sobre las que escribimos. Cuéntenos su proyecto y obtenga una segunda opinión de ingenieros que ya las han usado en producción.

  • 1Revisamos su producto, su stack y su roadmap
  • 2Le señalamos los riesgos que hemos visto en proyectos similares
  • 3Recibe una propuesta de equipo y un calendario estimado en 48 horas

Cuéntenos sobre su proyecto

¿Prefiere hablar primero? Reserve una llamada de 30 minutos