Introducción
La calidad del software en la era actual exige un cambio de mentalidad fundamental, transitando de estructuras aisladas y secuenciales (silos) a una visión holística, colaborativa y centrada en el valor del producto y el usuario final. La calidad se convierte en una responsabilidad compartida por todo el equipo, dejando de ser una fase final para integrarse como una actividad continua desde la concepción de la idea.
Esta transformación está impulsada por el imperativo del enfoque temprano (Shift Left), buscando la prevención de defectos en las etapas iniciales, lo cual reduce drásticamente los costos y aumenta la estabilidad del sistema. Para lograr esto, es mandatorio implementar la automatización de pruebas de manera estratégica en todas las capas (unitarias, API, E2E, no funcionales).
La Inteligencia Artificial (IA) no es el futuro, sino el presente, actuando como un aliado crucial para acelerar tareas repetitivas, optimizar la creación de datos de prueba, y potenciar la productividad mediante el uso de Agentes de IA y protocolos como MCP. Sin embargo, la implementación de IA presenta desafíos significativos, como el no-determinismo y la gestión de sesgos, haciendo que el juicio humano y el pensamiento crítico del QA sean más necesarios que nunca para validar el impacto social y ético de las soluciones.
En sistemas críticos (como SAP o APIs de alto tráfico), la calidad requiere estrategias especializadas: el uso de la Observabilidad (logs, traces, métricas) es vital para diagnosticar el comportamiento del sistema bajo presión, y la seguridad debe ser vista como otro defecto a detectar y prevenir desde el inicio, integrando herramientas de escaneo en los pipelines.
Análisis de los temas clave
I. La transformación del Rol de QA y el cambio de mentalidad
El factor común más prominente en las fuentes es la necesidad de una evolución cultural y de rol, alejándose de modelos ineficientes y adoptando una perspectiva integral de la calidad.
- De silos a colaboración holística:
- Los modelos de trabajo tradicionales (silos) se caracterizan por roles aislados, interacciones puntuales, entregas secuenciales (carrera de relevos), y un tester aislado cuya principal labor era la verificación al final del proceso.
- La nueva cultura de calidad enfatiza el trabajo colaborativo (holding), la responsabilidad compartida de la calidad (Quality is Everyone’s Responsibility), y el involucramiento de todas las disciplinas desde el día uno.
- El Modelo de Pruebas Holísticas refuerza que las pruebas no son una fase, sino una actividad continua que ocurre durante todo el ciclo de vida del desarrollo.
- Evolución del rol del Tester:
- El Tester tradicional es visto como un ejecutor de checklists que solo ve la tarea puntual (el árbol).
- El QA moderno ya tiene una visión sistémica, entiende los riesgos del producto (el bosque), colabora y automatiza algunas tareas.
- El Quality Engineer (QE) tiene una visión de producto completa (el ecosistema), entiende el negocio y el contexto técnico, usa pensamiento sistémico y conecta la calidad con el valor para el usuario.
- El QA moderno debe ser un profesional híbrido, capaz de moverse entre la visión del usuario, el conocimiento técnico y la entrega de valor continuo, actuando como un puente entre negocio y desarrollo.
II. Estrategia de calidad: El imperativo del ‘Shift Left’ y la automatización
El enfoque temprano y la automatización sistemática son identificadores transversales para garantizar entregas sostenibles y de valor.
- Shift Left y prevención:
- El Shift Left Testing implica la intervención de QA en etapas tempranas, desde el descubrimiento y la especificación de requisitos, para identificar supuestos ocultos y riesgos.
- Es crucial identificar los atributos de calidad relevantes (seguridad, performance, usabilidad) antes de la codificación, ya que estos impactan el diseño de la solución y evitan retrabajo.
- La prevención de errores, en lugar de solo la detección, reduce costos y aumenta la satisfacción del cliente.
- Automatización estratégica:
- La automatización debe ser implementada con propósito, ofreciendo feedback útil y mitigando riesgos relevantes.
- El objetivo es que cada commit o pull request sea potencialmente desplegable en producción, garantizado por procesos automatizados.
- Se requiere estandarización en la construcción del código (frameworks, patrones) para que las pruebas automatizadas (como las de aceptación) sean mantenibles y el desarrollador se sienta cómodo con ellas.
- La madurez de la función QA se mide, en parte, por el nivel de automatización, siguiendo una hoja de ruta progresiva: pruebas manuales, automatizadas, integración con CI/CD, e incorporación de IA.
- Uso de metodologías colaborativas:
- Técnicas como ATDD (Acceptance Test Driven Development) y BDD (Behavior Driven Development) son vitales para alinear al equipo (desarrollador, tester, negocio) y definir ejemplos concretos de comportamiento esperado antes de empezar a codificar.
- El uso de Gerkin/Cucumber ayuda a unir el lenguaje de negocio con la tecnología, permitiendo automatizar criterios de aceptación de forma temprana.
III. El ecosistema tecnológico: datos, APIs y observabilidad
La calidad moderna está íntimamente ligada a la gestión de datos, la robustez de las integraciones (APIs) y la capacidad de monitorear el comportamiento real de los sistemas.
- Gestión de datos de prueba:
- La creación repetitiva de datos de prueba para escenarios complejos introduce overhead y consume mucho tiempo.
- Es común la necesidad de generar datos que sigan ciertas reglas (longitud, formato, validez).
- Herramientas como Instancio y Data Faker permiten generar valores aleatorios o basados en patrones y locales (idiomas), reduciendo la complejidad del setup de la prueba.
- La recomendación es delegar esta responsabilidad a la librería y centralizar la lógica de generación de objetos en un solo lugar.
- Diseño y testing de APIs:
- Las APIs son el lenguaje común de los sistemas; deben ser robustas, seguras y bien diseñadas.
- Se recomienda la estrategia Design First sobre Code First, enfocando el diseño completo antes de codificar.
- La Open API Specification (OAS) funge como una fuente única de verdad, legible tanto para humanos como para máquinas, crucial para alinear equipos y automatizar procesos.
- Existen herramientas diversas más allá de Postman (como Bruno para un enfoque open source y Git-friendly, Karate para BDD, K6 para performance, o Prism para mocking) que facilitan la adopción del Shift Left.
- Performance y observabilidad:
- Las métricas de performance (como una baja tasa de error) no siempre garantizan que todo esté bien, ya que puede haber fallas silenciosas o específicas que solo se manifiestan bajo concurrencia.
- El Performance es el síntoma, pero la Observabilidad es el diagnóstico.
- La observabilidad se logra mediante el seguimiento de logs y traces (rastros) que deja el sistema, a menudo correlacionados mediante un ID único que viaja a través de todos los componentes y peticiones.
- Herramientas como Kibana ayudan a filtrar y visualizar estos logs para identificar exactamente qué componente está fallando o saturándose (el cuello de botella).
IV. IA y Agentes autónomos: El futuro de la calidad
La integración de la IA está transformando el desarrollo, pero exige un replanteamiento de cómo se aseguran la calidad y la ética.
- Desafíos específicos de la IA en Testing:
- Los sistemas de IA son no deterministas; una misma entrada puede generar múltiples respuestas válidas, lo que complica el criterio de aceptación Pass/Fail.
- Los modelos son a menudo «cajas negras» (black boxes), y la falta de explicabilidad dificulta entender cómo se procesan los resultados.
- La IA puede generar sesgos si los datos de entrenamiento (datasets) no son balanceados, lo que requiere guardianes de la equidad (Fairness and Safety).
- Los modelos aprenden continuamente y cambian, por lo que los resultados que hoy son correctos pueden ser falsos mañana.
- El rol del QA frente a la IA:
- El QA necesita desarrollar habilidades en Machine Learning básico y comprender métricas estadísticas como Precisión, Recall y F1 Score para evaluar la exactitud y las consecuencias de los falsos positivos/negativos.
- El Data Quality Testing (confiabilidad, relevancia, balance) se convierte en una prioridad, siendo el dataset la parte más costosa y fundamental del testing de IA.
- Los testers deben aplicar técnicas de QA conocidas (ej. Boundary, Negative Testing) a la validación de Prompts.
- Agentes de IA y MCP servers:
- Los Agentes de IA son más que una herramienta: piensan, planifican y actúan, llevando a cabo tareas autónomas (ej. un PM o un Tester agentes).
- El Model Context Protocol (MCP) es un estándar que dota a los modelos de IA de «brazos» (tools y resources) para conectarse a sistemas externos (Jira, bases de datos, APIs) de manera estandarizada e interoperable, rompiendo el vendor locking.
- Los Agentes utilizan patrones de diseño (como Planificación, Reflexión o ReAct [Razonamiento y Acción]) para autoevaluarse y optimizar sus acciones.
- La colaboración multiagente permite orquestar varios agentes bajo roles definidos (ej., PM, Tester, Desarrollador).
V. Desafíos en contextos críticos (SAP y Seguridad)
La implementación de proyectos grandes y críticos como las migraciones SAP o la integración de seguridad requieren una metodología y una gestión del cambio robustas.
- Desmitificando SAP con QA estratégico:
- Los proyectos SAP (S/4HANA, etc.) implican una transformación profunda y suelen durar años, con grandes volúmenes de procesos y usuarios.
- La principal brecha se da entre el experto de negocio (que conoce el proceso contable o de compras) y el automatizador (experto en la herramienta).
- Desafíos Técnicos de SAP: SAP GUI (escritorio) requiere infraestructura Windows y sesiones RDP activas, lo cual choca con las políticas de seguridad empresariales. Las transacciones customizadas (transacciones Z) y los identificadores dinámicos también complican la automatización.
- Lecciones Aprendidas: Es vital iniciar con proyectos preparatorios, mapear los procesos de negocio end-to-end con un enfoque de proceso, y fidelizar al usuario de negocio para que participe en la creación de casos de prueba, entendiendo que el escenario no definido es un riesgo asumido.
- Es crucial medir y gestionar los resultados consolidados en una herramienta de gestión de pruebas, ya que «lo que no se puede medir, no existe».
- Seguridad QA:
- El QA es el primer filtro humano para detectar vulnerabilidades, tratándolas como cualquier otro defecto.
- Las pruebas de seguridad se dividen en estáticas (análisis de código sin ejecución) y dinámicas (escaneo durante la ejecución).
- Herramientas open source como ZAP (utilizando la API) pueden integrarse a los pipelines para realizar escaneos pasivos (no intrusivos) o activos (en ambientes controlados) en búsqueda de vulnerabilidades comunes (ej., OWASP Top 10).
Ideas clave
Charla | Descripción de las ideas clave |
Charla Harnessing Randomness: Datafaker and Instancio in Test Data Generation | El principal problema es el overhead de generar datos de prueba variados y reales que sigan constraints. Las librerías (Instancio, Data Faker) permiten generar datos aleatorios basados en patrones/reglas, reduciendo la duplicación de código y el tiempo de setup. |
API Testing Multiverse: una OpenAPI, infinitas dimensiones | Adoptar una estrategia Design First y usar la Open API Specification (OAS) como fuente única de verdad es esencial para la gobernanza y automatización del testing de APIs. El Shift Left con OAS permite mocking y testeo desde el minuto cero, utilizando herramientas especializadas más allá de Postman (Bruno, Karate, K6, ZAP). |
Observabilidad en acción: las huellas del sistema bajo presión | Las métricas de performance (ej. 1% error) pueden ocultar fallas críticas. La Observabilidad es clave para el diagnóstico, permitiendo identificar cuellos de botella mediante el rastreo de peticiones (ID único, logs, traces) a través de Kibana u otras herramientas. |
Pruebas holísticas: una mirada integral a la calidad del software | El testing debe ser visto de forma integral (holística), como una actividad continua, no una fase. La estrategia debe basarse en el contexto (negocio, sistema, equipo) y los riesgos. Es vital el Shift Left, la colaboración (tres amigos), y definir explícitamente qué significa calidad. |
QA como rol. Una estrategia para el aseguramiento de la calidad | El rol de QA debe ser un puesto consolidado que vele por el proceso de calidad desde el principio. La estrategia debe enfocarse en la automatización de testing y la sistematización del testing exploratorio. Se recomienda la compatibilidad de herramientas con el lenguaje de desarrollo del proyecto para acercar al QA al desarrollador. |
Taller de seguridad QA: detecta vulnerabilidades con pruebas automatizadas | QA actúa como el primer filtro para detectar vulnerabilidades básicas (OWASP Top 10). Las pruebas de seguridad (dinámicas/estáticas) se pueden automatizar e integrar en el CI/CD usando herramientas como ZAP (vía API). El escaneo activo debe realizarse solo en ambientes controlados, no en producción. |
Testeando las fuerzas de trabajo híbridas | La IA, la realidad virtual y la robótica están reconfigurando el trabajo. El beneficio principal de la IA es la detección de insights (cosas no obvias). El desafío principal para los testers es el pensamiento crítico para validar el impacto ético y social de las soluciones. |
Cambiar de mentalidad: de silos a visión de producto | Es esencial migrar de un trabajo en silos (cubículos, entregas secuenciales) a un modelo colaborativo y holístico. La calidad es responsabilidad de todos y debe enfocarse en el propósito y el valor para el usuario final. La evolución del tester implica pasar a un rol de QE con visión sistémica y enfoque en la estrategia de calidad. |
Del testing tradicional a la era inteligente: BDD, Agile e IA al servicio de la Calidad | El Testing Ágil implica aplicar agilidad durante todo el ciclo de vida, con colaboración continua y prevención de errores. BDD es una forma de trabajo que alinea al PO, desarrollador y tester en la definición de criterios de aceptación (Gerkin). La IA ayuda en la generación de datos y scripts, reduciendo tiempos y optimizando el rol de QA a tareas de mayor valor. |
Automatizando lo imposible: desmitificando SAP con QA estratégico | La automatización SAP es crítica pero compleja, enfrentando brechas de conocimiento entre negocio y automatizadores, y dificultades técnicas (ej., sesiones RDP requeridas para SAP GUI). La ejecución remota desatendida y la consolidación de resultados en herramientas de gestión de pruebas son necesarias para la medición y trazabilidad. |
Organización y visibilidad de pruebas | La visibilidad y trazabilidad del proceso de testing son cruciales, beneficiando al negocio y al equipo. Xray (en Jira) provee issue types y dashboards para estandarizar la documentación, organizar, planificar y ejecutar pruebas (manuales, BDD, genéricas), permitiendo la observabilidad del estado de la calidad. |
Lecciones y desafíos en proyectos SAP | Los proyectos SAP requieren la participación de células 100% dedicadas y una gestión del cambio robusta, ya que implican un cambio cultural. Es crucial el levantamiento de procesos End-to-End para gobernar el volumen de pruebas (casos Z y estándares). El equipo de QA debe ser un puente entre el negocio y la tecnología, adaptando las metodologías (como SAP Activate). |
¿Falló el pago? Ya es muy tarde. Hablemos de continuous performance (Shift Left) | El performance no se prueba al final, se construye desde el inicio. Las pruebas tempranas de performance (baseline, smoke) son un seguro contra el desastre. Es fundamental monitorear en tiempo real (Observabilidad) para encontrar la causa raíz del problema. El rol debe ser transformar el sistema, no solo medir, y probar hipótesis. |
ChatGPT Agents aplicado a la gestión de proyectos ágiles y testing: Un modelo teórico. | Los Agentes de IA (ej. usando Patrones de Diseño como ReAct, Planificación, Reflexión) pueden realizar tareas complejas en testing o gestión ágil, actuando de forma autónoma. La combinación de modelos (ISTQB duro y Testing Holístico) con Agentes puede optimizar la planificación y curación de scripts. La intervención humana (Human in the Loop) es necesaria para seguridad y verificación. |
Potenciando el testing con IA y MCP servers | El Model Context Protocol (MCP) es un protocolo unificado de Anthropic que da a la IA la capacidad de interactuar con sistemas externos (brazos). MCP estandariza la comunicación, promueve la interoperabilidad y la reutilización de MCP Servers (que contienen tools y resources). Es crucial para potenciar la capacidad de los Agentes en tareas de testing (ej., obtención de datos, control de navegador). |
No más clic clic clic, del QA al QTeam | La responsabilidad de la calidad es de todos (QTeam), requiriendo un enfoque holístico y colaborativo. El proceso de desarrollo se debe estructurar en etapas (Descubrimiento, Diseño, Desarrollo, Entrega), donde el Descubrimiento es clave para entender al cliente y definir métricas de producto. Se debe priorizar la seguridad, observabilidad y trazabilidad como requerimientos no funcionales. |
Productividad y madurez de la función QA | La productividad (menor tiempo, mayor alcance, contención de costo) se logra mediante la automatización, la incorporación de IA y la gestión a través de indicadores (OKR). El modelo TMMI (Testing Maturity Model Integration) mide la madurez de la función QA en cinco niveles, siendo esencial contar con una base sólida de prácticas (ej., ISTQB) y estandarización. |
Conceptos comunes
1. Transformación del rol de QA y responsabilidad compartida (cambio de mentalidad)
Todas las fuentes enfatizan la necesidad de un cambio cultural y la evolución del rol de QA, alejándose de modelos de trabajo aislados (silos) y promoviendo una visión integral y colaborativa.
- Evolución del Rol: El rol pasa de ser un «tester» (ejecutor de checklists que solo ve el árbol) a un Quality Engineer (QE) o QA moderno con una visión sistémica, de producto, y analítica. El QA moderno es un profesional híbrido que conecta el negocio, el conocimiento técnico y la entrega de valor continuo.
- Propiedad Colectiva: La calidad deja de ser una fase final y se convierte en una responsabilidad compartida por todo el equipo (Quality is Everyone’s Responsibility). Esto implica que todos, incluyendo desarrolladores y negocio, deben probar y verificar.
2. Adopción del enfoque temprano (Shift Left)
La filosofía de Shift Left Testing es un imperativo constante, promoviendo la intervención de QA y la realización de pruebas lo antes posible en el ciclo de vida, idealmente desde la fase de descubrimiento o especificación, para lograr la prevención de defectos.
- Prevención vs. Detección: El foco debe estar en la prevención de errores en etapas tempranas, lo cual es significativamente menos costoso que la detección tardía.
- Integración Temprana: Se requiere alinear a todas las partes (negocio, desarrollo, QA) al principio (usando dinámicas como los tres amigos o Design First) para definir especificaciones claras y contratos antes de escribir código.
3. Automatización estratégica e integración continua (CI/CD)
La automatización no es una opción, sino una necesidad fundamental para sostener la cadencia de entrega de valor en el desarrollo de software moderno y alcanzar la madurez en la función QA.
- Alcance de la Automatización: La automatización debe ser estratégica y abarcar todas las capas de la arquitectura (unitarias, API, funcionales, regresión, datos).
- Objetivo de la Entrega Continua: El propósito principal es garantizar que cada commit o pull request sea potencialmente desplegable en producción, mediante la ejecución de pruebas automatizadas integradas en pipelines de CI/CD (Integración Continua/Despliegue Continuo).
- Datos de Prueba: La automatización incluye el uso de herramientas especializadas para la generación de datos de prueba variados, realistas y basados en patrones, reduciendo el overhead y la duplicación de código (ej. Data Faker, Instancio).
4. La Inteligencia Artificial (IA) como aliado y desafío presente
La IA ya no es una tecnología futura, sino una herramienta presente que está transformando el desarrollo y testing. Sin embargo, su implementación conlleva nuevos desafíos que requieren el juicio humano.
- Potenciación del QA: La IA actúa como un superpoder para el QA, automatizando tareas repetitivas, generando scripts o datos de prueba, y liberando al tester para enfocarse en tareas de mayor valor y análisis crítico.
- Agentes y Protocolos: La tendencia tecnológica apunta al uso de Agentes de IA (sistemas que piensan, planifican y actúan), apoyados por protocolos como MCP (Model Context Protocol) que les permiten interactuar con herramientas externas (Jira, APIs, bases de datos).
- Desafío del No-Determinismo y Ética: Los sistemas de IA son inherentemente no deterministas (misma entrada, múltiples respuestas válidas) y pueden presentar sesgos. Esto exige que el QA desarrolle juicio crítico para validar el impacto social y ético de las soluciones.
5. Observabilidad, trazabilidad y gestión basada en métricas
La calidad debe ser visible, medible y rastreable a lo largo de todo el ciclo de vida. Es crucial entender el comportamiento del sistema bajo presión, no solo si la funcionalidad básica pasa o falla.
- Observabilidad como Diagnóstico: La Observabilidad (logs, traces, métricas) es fundamental para diagnosticar el estado de salud del sistema, especialmente en pruebas no funcionales. El performance es el síntoma, la observabilidad es el diagnóstico. Esto se logra mediante el rastreo de peticiones a través de identificadores únicos (trace ID) en todos los componentes.
- Visibilidad y Trazabilidad: Las herramientas de gestión (ej. Xray, Jira) son esenciales para la organización, visibilidad y trazabilidad de las pruebas, permitiendo que el negocio y el equipo técnico conozcan el estado de calidad de forma continua.
- Gestión por Indicadores: La gestión de la función QA y la productividad se mide a través de indicadores clave (KPI/OKR) que permiten la toma de decisiones informadas, la mejora continua y la justificación de los costos.
6. Calidad no funcional como requisito de diseño
Aspectos como el rendimiento (performance) y la seguridad deben ser considerados y probados tempranamente, ya que impactan directamente el diseño y la arquitectura de la solución.
- Integración de Seguridad: La seguridad es tratada como otro defecto más a detectar, y debe ser integrada tempranamente, a menudo mediante herramientas de escaneo dinámico (ej. ZAP) o estático en los pipelines.
- Performance Continuo: Las pruebas de performance no deben ser una actividad de último momento («Ya es muy tarde»), sino que deben construirse desde el inicio (Continuous Performance), buscando la estabilidad y la resistencia del sistema. Es necesario probar hipótesis y entender la arquitectura subyacente.
CONCLUSIÓN
La 9ª edición del «Testing Day Chile» (2025) cristalizó una visión convincente, aunque exigente, de la evolución necesaria en el aseguramiento de la calidad del software. El mensaje central, resonando a través de las diversas charlas (y en los pasillos y espacios comunes durante el evento), es la transición irrevocable desde modelos operativos fragmentados y reactivos (silos) hacia un paradigma holístico, colaborativo y proactivo, donde la calidad se integra intrínsecamente en todo el ciclo de vida del desarrollo y es una responsabilidad compartida por la totalidad del equipo, no solo del rol de QA.
Esta transformación se articula sobre los pilares interconectados del ‘Shift Left’ —incrustando la calidad desde la concepción y especificación para priorizar la prevención sobre la detección tardía— y la automatización estratégica en todas las capas (unitaria, API, E2E, no funcional). La automatización ya no se percibe como una opción, sino como un imperativo operacional para habilitar la entrega continua y liberar recursos humanos hacia tareas de mayor valor cognitivo.
La Inteligencia Artificial (IA) emerge no como una panacea futura, sino como una herramienta presente y potente, un «superpoder» para optimizar tareas (generación de datos/scripts, análisis iniciales) mediante Agentes y protocolos emergentes como MCP. Sin embargo, aplicando un filtro de realidad, la síntesis también subraya los desafíos inherentes: el no-determinismo, la explicabilidad limitada (cajas negras), el riesgo de sesgos algorítmicos, y la necesidad crítica de validación humana. Esto redobla la importancia del pensamiento crítico y el juicio ético del profesional de QA, quien debe actuar como guardián no solo de la funcionalidad, sino del impacto social de la IA.
Tecnológicamente, se enfatiza la madurez en la gestión del ecosistema: desde la generación eficiente de datos de prueba (usando herramientas como Data Faker/Instancio) y el diseño robusto de APIs (priorizando Design First y OAS), hasta la implementación de la Observabilidad (logs, traces, métricas) como herramienta diagnóstica fundamental, superando las limitaciones de las métricas superficiales de rendimiento.
Si bien la visión del Quality Engineer (QE) moderno —híbrido, con visión sistémica y de producto, puente entre negocio y tecnología— es inspiradora, su materialización universal enfrenta barreras prácticas significativas: la inercia cultural, la brecha de habilidades preexistente, y la necesidad de inversión sostenida en formación y herramientas. Lograr este cambio requiere un compromiso organizacional profundo que va más allá de la adopción de nuevas técnicas.
En esencia, Testing Day Chile 2025 delineó no solo qué implica la calidad moderna, sino que también subrayó el profundo compromiso organizacional, la evolución continua de habilidades y el pensamiento crítico necesarios para lograrla. La visión es clara, pero el camino exige una ejecución rigurosa y adaptada al contexto, más allá de las consignas.
Gracias a todos los colegas que tuve la oportunidad de conocer durante la sesión del networking antes del día del evento de charlas y felicito a Marcela Mellado y equipo de colaboradores de Testing en Chile por el gran trabajo que han realizado para concretar el evento, tanto el online como el presencial.