Pruebas de mutación para código escrito por agentes
Las suites de pruebas generadas por LLM pueden alcanzar un 100 % de cobertura de líneas y ramas, pero un estudio reciente muestra que obtienen solo un 4 % en las pruebas de mutación, lo que expone una brecha de fiabilidad que los desarrolladores podrían pasar por alto en las revisiones de sprint.
Los investigadores evaluaron las suites de pruebas producidas por agentes de codificación basados en modelos de lenguaje extensos en el benchmark HumanEval-Java. Una suite cubría cada línea de código y ejecutaba cada rama condicional. Cuando la misma suite se sometió a pruebas de mutación —una técnica que inyecta pequeños fallos para ver si las pruebas los detectan—, solo detectó una pequeña fracción de los errores inyectados.
La cobertura parece buena, pero ¿qué significa realmente?
Las métricas de cobertura tradicionales cuentan cuántas sentencias o ramas ejecuta una prueba. A los equipos les encantan las cifras llamativas en las demostraciones de sprint. Sin embargo, la métrica no dice nada sobre si las pruebas fallarían si el código fuera incorrecto. Las pruebas de mutación llenan ese vacío introduciendo fallos deliberadamente (mutantes) y midiendo el porcentaje de esos mutantes que provocan un fallo en la prueba: la "puntuación de mutación".
En el estudio, la suite con un 100 % de cobertura pasó por alto casi todos los mutantes, incluidos errores lógicos simples como el manejo incorrecto de fechas de años bisiestos. La puntuación de mutación del 4 % significa que la suite solo señalaría un puñado de errores reales.
Por qué esto es importante para el desarrollo asistido por IA
- Falsa confianza: los desarrolladores pueden confiar en una suite de pruebas que parece perfecta sobre el papel.
- Defectos ocultos: muchos errores pasan desapercibidos.
- Coste de remediación: corregir errores más tarde cuesta mucho más que detectarlos a tiempo.
Contrapunto: la cobertura no es inútil
La cobertura sigue indicando si se ejecutan las rutas de código, pero no garantiza la detección de fallos.
Qué observar a continuación
- Integración de herramientas: integrar las pruebas de mutación en los pipelines de CI.
- Mejoras en los LLM: entrenar a los agentes para generar pruebas que "maten" mutantes.
- Directrices de la industria: adoptar estándares que combinen la cobertura con las puntuaciones de mutación.
Conclusión: Los altos índices de cobertura de las pruebas generadas por IA ya no son prueba suficiente de calidad; una puntuación de mutación baja indica que las pruebas podrían no detectar errores reales, lo que insta a los desarrolladores a adoptar las pruebas de mutación como una red de seguridad.