Quiero compartirte una reflexión que, con el tiempo y luego de haberlo tratado y discutido (en el buen sentido de la palabra, con otros colegas), aprendí a valorar como una de las “columnas” principales en el liderazgo en QA & QC.
Primero, quiero hablarte acerca de las métricas de vanidad
Las métricas de vanidad son aquellos indicadores que, a primera vista, parecen demostrar progreso o esfuerzo, pero que no ofrecen información útil para la toma de decisiones. Son números que se ven bien en un reporte, pero que no orientan ninguna acción concreta.
Un ejemplo clásico: «Se ejecutaron 10.000 casos de prueba durante el sprint.» ¿Pero cuántos defectos críticos se detectaron? ¿Se cubrieron los flujos de negocio de mayor riesgo? El volumen, por sí solo, no dice nada. Como señalo en el material del curso que dicto, a los sponsors no les importa el volumen: les importa el riesgo residual. Si ejecutamos miles de pruebas sin cubrir el flujo crítico del negocio, el valor real de QA es nulo.
¿Por qué los objetivos S.M.A.R.T. pueden ayudarnos?
Las buenas prácticas y estándares internacionales relativos a nuestra práctica profesional nos exigen formular objetivos de prueba con criterios S.M.A.R.T.: Específicos, Medibles, Alcanzables, Relevantes y con Límite de Tiempo. No es un formalismo burocrático; es la condición necesaria para que QA tenga autoridad y credibilidad frente al negocio.
Aquí te podría contar de que manera la IA nos puede facilitar la tarea de identificación y gestión de esta composición, pero prefiero continuar compartiendo los aspectos vinculados con el marco teórico para afianzar nuestro conocimiento.
Cuando un objetivo no es medible, no se puede saber cuándo se cumplió, ni justificar cuándo detener las pruebas. Cuando no es específico, cualquier resultado puede interpretarse como éxito. Y cuando no tiene un horizonte temporal, pierde toda utilidad como herramienta de control.
El modelo que debemos aplicar es el siguiente:
[Acción medible] + [Indicador clave] + [Meta numérica] + [Contexto o alcance] + [Plazo temporal]
La diferencia en la práctica
Te propongo el siguiente ejercicio con un ejemplo concreto para contrastar escenarios:
- Objetivo con métrica de vanidad: «Ejecutar el 100% de los casos de regresión antes del cierre del sprint.» Ejecutar mucho no equivale a probar lo que importa.
- Objetivo S.M.A.R.T.: «Reducir los defectos críticos en producción un 15% durante el tercer trimestre, priorizando el conjunto de regresión sobre el flujo de checkout antes de cada despliegue semanal.»
La diferencia que aquí te muestro no es solo de forma: es de intención y utilidad. El segundo objetivo permite medir avance, justificar prioridades y defender decisiones ante cualquier interlocutor del negocio.
Mis recomendaciones concretas
- Revisa los objetivos de tu plan de pruebas actual y verifica si cada uno cumple los cinco criterios S.M.A.R.T. Si alguno puede cumplirse con cualquier resultado, es una métrica de vanidad disfrazada de objetivo.
- Asocia cada objetivo a un indicador accionable: no uno que describa actividad, sino uno que oriente una decisión. Si el DRE (Defect Removal Efficiency) cae por debajo del umbral definido, ¿Qué acción dispara esa señal? Eso es un objetivo operativo bien construido.
- Usa el modelo S.M.A.R.T. como estándar de equipo: incorpora como parte del proceso de definición del plan de pruebas, no como una revisión de última hora.
- Comunica los objetivos en el lenguaje del negocio: el equipo de desarrollo y los sponsors no miden calidad en casos de prueba; la miden en riesgo, tiempo y costo. Formula tus objetivos en esos términos.
Con estos criterios aplicados de manera consistente, QA deja de ser un proceso difuso para convertirse en una función con valor demostrable y decisiones respaldadas por evidencia.
Esta síntesis resume el Framework de Prompting para Test Management que hemos construido, diseñado para elevar el perfil estratégico de QA mediante la automatización inteligente.Obstáculos que resolvemos (Dolores)
Framework a diseñar
El framework que se debe diseñar (elaborar) deberá enfocarse directamente a los puntos de fricción que restan autoridad al Test Manager ó Test Lead frente al «negocio»:
- Objetivos difusos: Debemos eliminar la redacción vaga («asegurar la calidad»), que es la causa principal de que los planes de prueba naufraguen por falta de enfoque.
- Métricas de vanidad: Debemos combatir la tendencia a reportar volúmenes (ej. «cantidad de casos ejecutados»), que se ven bien pero no ayudan a tomar decisiones estratégicas.
- Desconexión con el negocio: Debemos evitar que QA sea visto como un «centro de costos», traduciendo necesidades técnicas (como la creación de una Epicrisis) a impacto de negocio (riesgo legal y facturación).
- Dependencia de IA sin control: Debemos solucionar la falta de validación interna en las respuestas de la IA. El framework no solo genera texto, sino que debe auto-auditarse.
El Framework: Estructura en 3 Niveles
Para garantizar calidad, debemos dividir el proceso en tres pasos encadenados:
- Prompt de preparación de Input: Actúa como filtro previo. Estructura el requerimiento (o historia de usuario) para identificar el «qué» y el «por qué» (objetivo, riesgo y métrica técnica) antes de que la IA empiece a trabajar.
- Prompt maestro (el núcleo): Utiliza Chain of Thought para transformar la data en metas S.M.A.R.T. Su característica diferencial es la Capa de verificación interna (Autocorrección): obliga a la IA a auditar su propio borrador contra criterios de negocio y viabilidad antes de mostrarte el resultado final.
- Prompt de definición de Output (Setup): Define qué es un «éxito» antes de empezar, eliminando cualquier posibilidad de que la IA sugiera objetivos genéricos o métricas de vanidad.
Resultados que perseguimos
Al aplicar este set de prompts, podemos obtener:
- Autoridad estratégica: Objetivos definidos en lenguaje de negocio (riesgo, costo, tiempo), alineados con la visión de los stakeholders.
- Defendible: Metas S.M.A.R.T. perfectamente fundamentadas (defendibles), porque nacen de un proceso de verificación interna basado en estándares (como el rigor legal de la Ley 26.529 en el caso de la Epicrisis para un caso de uso en particular si estamos tratando el desarrollo de una aplicación en el área de la salud).
- Calidad proactiva: El framework garantiza que, antes de ver una sola palabra, el resultado ha sido «limpiado» de ambigüedades.
- Eficiencia: Transformar la definición de objetivos de una tarea manual e iterativa a un proceso rápido, escalable y con resultados de alta calidad desde el primer intento.
Este framework no solo redacta metas; blinda tu estrategia de QA mediante una estructura de calidad profesional.
Puedes seguir mis publicaciones por LinkedIn y contactarme por DM para consultas y/o pedidos.
Muchas gracias por seguirme.
