En este momento estás viendo Análisis de Mapeo: AiU GenAiA-TE vs. ISTQB CT-AI v2.0

Análisis de Mapeo: AiU GenAiA-TE vs. ISTQB CT-AI v2.0

En esta artículo presento un análisis comparativo y de brechas (gap analysis) entre la certificación que en mi caso ya poseo, AiU Certified GenAI-Assisted Test Engineer (GenAiA-TE), y la certificación ISTQB Certified Tester AI Testing (CT-AI) v2.0.

1. La diferencia

Antes de entrar en el mapeo temático, es crucial entender que estas dos certificaciones abordan la Inteligencia Artificial desde perspectivas opuestas pero complementarias:

AiU GenAiA-TE (Mi certificación actual)-> ENFOQUE: «Using AI for Testing» (Usar la IA como herramienta)¿Cómo uso ChatGPT/LLMs para escribir mejores pruebas, reportes y datos para probar software tradicional?

versus

ISTQB CT-AI v2.0 (La certificación objetivo)-> ENFOQUE: «Testing AI Systems» (Probar el sistema de IA)¿Cómo pruebo un modelo de Machine Learning, una red neuronal o una aplicación basada en LLMs para asegurar que sea segura y robusta?   

Un poco de historia: En abril de 2026, ISTQB lanzó la versión 2.0 de su syllabus CT-AI eliminando por completo el contenido de «usar la IA para ayudar a probar» (que ahora se movió a una certificación llamada CT-GenAI) para enfocar CT-AI v2.0 exclusivamente en probar sistemas basados en IA y Machine Learning.

2. ¿En cuánto me ayuda estar certificado en AiU GenAiA-TE?

Mis bases actuales me darán una ventaja inicial de aproximadamente un 20% a 25% del contenido total de CT-AI v2.0, concentrado principalmente en la comprensión conceptual de modelos probabilísticos y en una sección específica de pruebas para LLMs.

Áreas de sinergia (Lo que me resultará familiar):

  1. Comprensión de los LLMs y la No-Determinación: En el curso de GenAiA-TE aprendí cómo funcionan los LLMs a nivel conceptual, sus limitaciones, alucinaciones y la naturaleza probabilística de sus salidas. Esta mentalidad de «no esperar siempre el mismo resultado» es fundamental para entender por qué las técnicas de prueba tradicionales fallan en sistemas de IA.
  2. Evaluación de salidas de GenAI (Red Teaming básico): Mis conocimientos en Prompt Engineering avanzado me ayudarán a comprender las técnicas de Red Teaming, pruebas de inyección de prompts (Prompt Injection) y evasión de seguridad (Jailbreaking) que se evalúan en la sección de Generative AI de la CT-AI v2.0.
  3. Calidad de los datos: En AiU he visto este tema, desde el punto de vista de generar datos de prueba sintéticos con LLMs, ya tengo nociones sobre cómo estructurar datos, expresiones regulares y representaciones de datos.

3. Análisis de brechas: ¿Qué nuevos contenidos se aprenden en CT-AI v2.0?

La certificación ISTQB CT-AI v2.0 es significativamente más profunda a nivel de ingeniería de datos y matemáticas de Machine Learning (ML). Se aprende una disciplina completamente nueva: asegurar la calidad de modelos matemáticos y estadísticos.

A continuación, se detallan los contenidos totalmente nuevos divididos por capítulos del nuevo Syllabus v2.0:

Capítulo 1 & 2: Fundamentos y características de calidad (ISO/IEC 25059)

  • Estándar ISO/IEC 25059: Se aprende a evaluar características específicas de calidad para sistemas de IA: Robustez, Transparencia (Explicabilidad), Adaptabilidad Funcional, Controlabilidad por el Usuario, e Intervenibilidad.
  • Ética y regulaciones: Se aprende acerca de la regulación de sistemas de IA (como la Ley de IA de la UE o EU AI Act), sesgos éticos y análisis de impacto dispar.

Capítulo 3: El núcleo de Machine Learning (ML)

  • Tipos de aprendizaje: Aprendizaje Supervisado, No Supervisado y por Refuerzo (Deep Reinforcement Learning).
  • Métricas de rendimiento de ML (K3 – Práctico): Se aprende a calcular e interpretar matrices de confusión y métricas cruciales: Exactitud (Accuracy), Precisión, Sensibilidad (Recall) y la puntuación F1 (F1-score). Esto no se ve en absoluto en la certificación orientada a prompts.
  • Redes neuronales: Arquitectura básica de redes neuronales, pesos, sesgos, funciones de activación y cómo se entrenan.

Capítulo 4, 5 & 6: Niveles de prueba específicos para ML

  • Pruebas de datos de entrada (Input Data Testing):
    • Validación de tuberías de datos (Data Pipelines).
    • Detección de sesgos en los conjuntos de datos de entrenamiento.
    • Verificación de la representatividad de los datos y exactitud del etiquetado (label correctness).
  • Pruebas del modelo (Model Testing):
    • Pruebas metamórficas (Metamorphic Testing): Técnica matemática para probar sistemas sin un «oráculo de pruebas» claro (por ejemplo, si rotas una imagen de entrada, el modelo de clasificación debería mantener o cambiar su predicción de forma predecible).
    • Pruebas adversarias (Adversarial Testing): Introducción deliberada de perturbaciones imperceptibles en los datos de entrada para engañar al modelo.
    • Pruebas de deriva (Drift Testing): Cómo detectar la pérdida de precisión del modelo con el tiempo debido a cambios en el mundo real (Concept Drift y Data Drift).
    • Overfitting y underfitting: Cómo probar si un modelo está sobreajustado o subajustado a los datos de entrenamiento.

Capítulo 7: Pruebas de despliegue en producción

  • Técnicas de despliegue controlado de modelos de IA como Canary Releases (lanzamientos canario), Shadow Deployments (despliegues en la sombra) y estrategias de Rollback automático si el rendimiento del modelo se degrada.
  • Monitoreo continuo del rendimiento del modelo en producción.

4. Requisitos de conocimiento técnico

Para asimilar con éxito el alcance de la ISTQB CT-AI v2.0, se debe contar con el siguiente perfil y conocimientos técnicos de apoyo:

Requisitos formales de ISTQB:

  1. Certificación ISTQB CTFL (Certified Tester Foundation Level): Es un prerrequisito obligatorio. Se necesita comprender a fondo la terminología estándar de pruebas (casos de prueba, niveles de prueba, análisis de riesgos, reporte de incidentes, etc.).

Conocimientos técnicos recomendados (No indispensables para pasar, pero vitales para entender):

  • Fundamentos de estadística y álgebra básica: Capacidad para leer fórmulas matemáticas simples (como las de precisión y recall) y entender conceptos de probabilidad.
  • Ciclo de vida de los datos: Familiaridad con bases de datos, formatos de intercambio de información (CSV, JSON, XML), y nociones de cómo se limpian, normalizan y transforman los datos de entrada (data preprocessing).
  • Nociones de python: Aunque el examen ISTQB no requiere programar, la enorme mayoría de las herramientas de testing de IA (como Giskard, Evidently AI, Great Expectations o Deepchecks) se configuran y ejecutan mediante scripts en Python o cuadernos de Jupyter (Jupyter Notebooks). Entender código básico ayudará a llevar la teoría a la práctica de inmediato.
  • Arquitectura de software y DevOps: Conceptos básicos de contenedores (Docker), pipelines de CI/CD, telemetría y logs, indispensables para comprender cómo se testea el despliegue del modelo y su monitoreo en entornos de producción.

5. Tabla resumen comparativa

CriterioAiU GenAiA-TE (Mi Certificación)ISTQB CT-AI v2.0 (Certificación Objetivo)
Rol de la IAHerramienta de soporte al tester.El sistema que debe ser probado.
AudienciaTesters manuales y automatizadores que usan ChatGPT.Ingenieros de Calidad de Software, Data Scientists, DevOps.
PrerrequisitosNinguno obligatorio (se recomienda CTFL).ISTQB CTFL (Obligatorio).
Enfoque PrácticoCreación de Prompts eficaces y revisión de requisitos.Cálculo de métricas de ML, diseño de pruebas metamórficas y adversarias.
Conocimiento de MLSuperficial (sólo LLMs a nivel conceptual).Profundo (Supervisado, No Supervisado, Redes Neuronales).
Ámbito regulatorioNo se enfatiza.Alto enfoque en ISO/IEC 25059 y Regulaciones de IA.

Plan de entrenamiento intensivo de 2 semanas: ISTQB CT-AI v2.0

La estrategia de alto rendimiento

Para maximizar el estudio y el entrenamiento sobre la base de 4 horas diarias sin sufrir de fatiga cognitiva, se puede aplicar la técnica de división de carga de trabajo:

  • Bloque de la mañana (2 horas) – Aprendizaje activo (Teoría): El cerebro está fresco. Es el momento de leer el Syllabus de la ISTQB, resumir los conceptos, entender las fórmulas matemáticas y armar tus mapas mentales. 
  • Bloque de la tarde (2 horas) – Práctica basada en evidencia (Simulación): Es el momento de aplicar. Utilizaremos el documento oficial de respuestas del examen muestra (ISTQB_CTAI_v2.0_SampleExam-Answers-v2.1.pdf) para resolver preguntas por temas, deconstruir por qué las respuestas correctas lo son, y aprender de los errores usando técnicas de Active Recall.

Calendario de estudio: Semana 1 (Fundamentos y Core de ML)

Lunes – Día 1: Introducción a la IA y calidad ISO/IEC 25059

  • Mañana (Teoría – 2h): Estudiar el capítulo 1 (Introducción a la IA) y capítulo 2 del Syllabus (Características de Calidad).
  • Prestar especial atención al estándar ISO/IEC 25059 y sus 5 características clave para IA: Robustez, Transparencia, Adaptabilidad, Controlabilidad y la Intervenibilidad del usuario.
  • Tarde (Práctica – 2h): Identificar y resolver en el PDF de examen las preguntas de nivel K1/K2 del Cap 1 y Cap 2.
  • Tip de examen: Asegurarse de saber distinguir entre «Transparencia» (explicabilidad del modelo) y «Robustez» (tolerancia a fallos y entradas inesperadas).

Sobre el término “Intervenibilidad”

1. El Origen Técnico (ISO/IEC 25059 e ISTQB)

Este término es una traducción directa del concepto en inglés «Intervenability», el cual está explícitamente definido en el estándar ISO/IEC 25059 (el modelo de calidad específico para sistemas de IA).

  • Describe la capacidad que tiene un sistema para permitir que un operador o usuario humano intervenga en su funcionamiento (por ejemplo, para detener un comportamiento anómalo o corregir una decisión sesgada del modelo de Machine Learning). Es la base de los enfoques de diseño conocidos como Human-in-the-loop (Humano en el bucle) o Human-on-the-loop.

2. Validez Lingüística en el Español

Si se busca «intervenibilidad» en el diccionario de la Real Academia Española (RAE), no lo encontraremos de manera explícita. Sin embargo, en el español, este tipo de neologismos técnicos son morfológicamente válidos y correctos:

  • El verbo es intervenir.
  • El adjetivo derivado es intervenible (aquello que puede ser intervenido).
  • El sustantivo abstracto de cualidad que se forma con el sufijo -ibilidad es intervenibilidad (la cualidad de ser intervenible), de la misma manera que de adaptar surge adaptable -> adaptabilidad, o de controlar surge controlable -> controlabilidad.

3. ¿Cómo se traduce o se usa en la práctica?

En los exámenes y documentos oficiales de la ISTQB en español, verás el término intervenibilidad (a veces acompañado de la aclaración «del usuario» o «humana»).

No obstante, si en algún reporte formal o artículo de WordPress (como el que estamos planeando con tu slug) prefieres usar un español más tradicional o menos «anglicado», puedes sustituirlo por las siguientes alternativas totalmente equivalentes:

  • Capacidad de intervención (la opción más elegante y natural en español).
  • Posibilidad de intervención.
  • Intervención del usuario.

Para efectos de tu preparación para la certificación ISTQB CT-AI v2.0, quédate con el concepto de intervenibilidad en la mente, ya que es el término formal que asocia la norma ISO con la capacidad de «tomar el control» del sistema de IA cuando este falla.

Martes – Día 2: Introducción a Machine Learning (ML)

  • Mañana (Teoría – 2h):
  • Estudiar el Capítulo 3 (Sección 3.1): Aprendizaje Supervisado, No Supervisado y por Refuerzo (Reinforcement Learning).
  • Dibujar un diagrama del flujo completo del pipeline de ML (desde la recolección de datos hasta el entrenamiento y la predicción).
  • Tarde (Práctica – 2h):
  • Tomar ejemplos prácticos del mundo real y clasificarlos según el tipo de aprendizaje que requerirían.
  • Resolver las preguntas del examen de muestra que contrastan el aprendizaje supervisado frente al no supervisado.

Miércoles – Día 3: Métricas de rendimiento de ML (¡Día Crítico K3!)

  • Mañana (Teoría – 2h):
  • Estudiar la Sección 3.2: La Matriz de Confusión.
  • Aprender y memorizar las fórmulas clave de clasificación:
  • Tarde (Práctica – 2h):
  • Ejercicios de Cálculo: Inventar matrices de confusión con números aleatorios y calcula a mano la precisión, sensibilidad y F1-score.
  • Resolver de inmediato las preguntas de cálculo métrico del examen muestra. Comparar los cálculos con las respuestas del PDF explicativo para entender dónde están las trampas típicas del examen.

Jueves – Día 4: Redes Neuronales y Deep Learning

  • Mañana (Teoría – 2h):
  • Estudiar la Sección 3.3 del Syllabus: Funcionamiento básico de las redes neuronales, el rol de las capas ocultas (hidden layers), pesos (weights), sesgos (biases) y funciones de activación.
  • Tarde (Práctica – 2h):
  • Resolver preguntas del examen relativas a redes neuronales.
  • Tip de examen: Comprender cómo la complejidad de una red neuronal afecta su testeabilidad (la «caja negra» que dificulta la trazabilidad y la cobertura de código tradicional).

Viernes – Día 5: Pruebas de Datos para ML (Capítulo 4)

  • Mañana (Teoría – 2h):
  • Estudiar las pruebas en el ciclo de datos: calidad de datos, sesgos de datos de entrenamiento, representatividad y validez.
  • Comprender qué es el «etiquetado incorrecto» de datos (label correctness) y cómo impacta en el rendimiento del modelo.
  • Tarde (Práctica – 2h):
  • Resolver el bloque de preguntas de análisis de datos del examen muestra.
  • Realizar un repaso rápido de 30 minutos de las fórmulas de métricas aprendidas el miércoles para fijar el conocimiento antes del fin de semana.

Calendario de estudio: Semana 2 (Model Testing, GenAI y Simulación)

Lunes – Día 6: Model Testing, Overfitting y Underfitting (Capítulo 5 – Parte 1)

  • Mañana (Teoría – 2h):
  • Estudiar los conceptos de Overfitting (Sobreajuste) y Underfitting (Subajuste).
  • Comprender las diferencias entre el conjunto de entrenamiento (training set), validación (validation set) y prueba (test set).
  • Tarde (Práctica – 2h):
  • Aprender a diagnosticar problemas de entrenamiento analizando curvas de pérdida (loss curves).
  • Resolver las preguntas de examen.

Martes – Día 7: Pruebas metamórficas (¡Día Crítico K3!)

  • Mañana (Teoría – 2h):
  • Estudiar las Pruebas Metamórficas en profundidad.
  • Entender cómo mitigan el Problema del Oráculo de Pruebas.
  • Memorizar los tipos de Relaciones Metamórficas (MR): Identidad, Aditiva, Multiplicativa e Inversa.
  • Tarde (Práctica – 2h):
  • Diseño de Casos Prácticos: Diseñar una relación metamórfica para:
  1. Un buscador web (por ejemplo: si busco «A AND B», el resultado debe ser un subconjunto de buscar solo «A»).
  2. Un sistema de reconocimiento de imágenes (por ejemplo: si añado ruido de fondo sutil o roto la imagen 5 grados, la clasificación del objeto principal no debería cambiar).
  • Trabajar detenidamente en las preguntas K3 del examen muestra sobre este tema. Es un tema que siempre se evalúa de forma práctica.

Miércoles – Día 8: Pruebas adversarias y deriva del modelo (Drift)

  • Mañana (Teoría – 2h):
  • Estudiar los ataques adversarios (Adversarial Attacks o perturbaciones de píxeles/características).
  • Comprender el concepto de Drift (Deriva): diferencia entre Concept Drift (cambia la definición de la variable objetivo) y Data Drift (cambian las propiedades estadísticas de las variables de entrada).
  • Tarde (Práctica – 2h):
  • Diferenciar escenarios prácticos para diagnosticar si un fallo es debido a un ataque adversarial o a una deriva de datos en producción. Resolver las preguntas correspondientes en el examen muestra.

Jueves – Día 9: Pruebas en sistemas GenAI y LLMs (Capítulo 6 – ¡La Zona de Confort!)

  • Mañana (Teoría – 2h):
  • Estudiar el Capítulo 6 del Syllabus v2.0 (Testing Generative AI).
  • Aunque se domine este tema gracias a la certificación AiU que puedas tener, hay que concentrarse en cómo ISTQB evalúa formalmente estos conocimientos: el enfoque de pruebas basado en la plausibilidad, coherencia y cumplimiento de reglas, en lugar de resultados deterministas esperados.
  • Estudiar las técnicas específicas de ataques de inyección (Prompt Injection) y de Red Teaming bajo el enfoque de aseguramiento de calidad de ISTQB.
  • Tarde (Práctica – 2h):
  • Resolver las preguntas del examen muestra sobre GenAI. Observar el razonamiento del PDF de respuestas: por ejemplo, por qué el «exact matching» tradicional no sirve y cómo se formulan las métricas de evaluación para salidas lingüísticas.

Viernes – Día 10: Despliegue, Operaciones (AIOps) y Ética (Capítulo 7)

  • Mañana (Teoría – 2h):
  • Estudiar las estrategias de despliegue: Lanzamientos Canario (Canary Releases), Despliegues en la Sombra (Shadow Deployments) y Pruebas A/B en producción.
  • Revisar los conceptos de sesgo algorítmico, equidad y ética regulada.
  • Tarde (Práctica – 2h):
  • Resolver las preguntas de fin de capítulo y repasar el glosario completo de términos que ISTQB suele utilizar como distractores en las preguntas del examen.

Fin de semana de consolidación y simulación real

Sábado – Día 11: Simulación de Examen Real 1

  • Mañana (2 horas): Simulacro bajo condiciones reales: Desconectar el teléfono, poner un temporizador de 60 minutos (u 75 minutos si rindes en inglés no nativo) y resolver las 40 preguntas del examen de muestra. (En lo personal estaré adecuando un artefacto -Simulador de examen- hecho en Claude que ya tengo desarrollado con el contenido de este programa de estudios).
  • Tarde (2 horas): Calificación y deconstrucción: Calificar el examen. Para cada pregunta que haya fallado, aprovecharé la devolución que ofrece el artefacto Simulador para entender el porqué. Esto es lo que consolida el aprendizaje.

Domingo – Día 12: Ajustes de brechas y descanso activo

  • Mañana (2 horas):
  • Repasar de manera súper específica el capítulo o técnica que te haya provocado más fallos en el simulacro del sábado. Volver a escribir a mano las fórmulas o relaciones que aún causen dudas.
  • Tarde (2 horas):
  • Descanso mental completo. Es sumamente importante que el cerebro procese y fije la información en el sueño profundo antes del examen. No estudiar por la noche.

Tarjeta de fórmulas rápidas (para repasar diariamente)

Hay que tener esta sección siempre presente en nuestra mente. Este tema lo puedo gestionar mediante una de las funciones de NotebookLM (Tarjetas Didácticas). Los exámenes ISTQB adoran las preguntas donde debes calcular o identificar estas tres métricas:

VALOR REAL
POSITIVONEGATIVO
POSITIVOVPFP→ Precisión = VP / (VP + FP)(¿Qué tan confiable es la alarma?)
PREDICCIÓN
NEGATIVOFNVN→ Sensibilidad = VP / (VP + FN)(¿Cuántos casos reales atrapamos?)
Exactitud = (VP + VN) / Total(Tasa de acierto general del modelo)

F1-Score: Es el promedio armónico entre la Precisión y la Sensibilidad. Se usa cuando tenemos clases muy desbalanceadas (como en detección de fraudes o enfermedades raras).

Sobre la certificación ISTQB CT-AI :: https://istqb.org/certifications/certified-tester-ai-testing-ct-ai/
Sobre la certificación GenAiA-TE :: https://www.brightest.org/es/certificaciones/AiU-Certified-GenAI-Assisted-Test-Engineer/

Gus Terrera

Apasionado por el agile testing y la ia.