En el campo de la Ingeniería de Prompts avanzada, la transición de peticiones simples a frameworks de generación estructurados representa un salto cualitativo en el control, la fiabilidad y la eficiencia de los modelos de lenguaje (LLM): sea ChatGPT, Gemini, Claude, o cualquier otro.
En este análisis sintetizo dos conceptos fundamentales que fueron centrales en la optimización de un framework de generación de contenido para una cierta actividad que tuve que desarrollar en relación con la gestión de proyectos ágiles y el test management asociado: la Generación Aumentada por Recuperación (RAG) y el principio de Razonamiento, tanto como componente instructivo del prompt como herramienta de meta-análisis para la optimización continua.
Entrando en tema desde el punto de vista de testing
Actualmente uno de los errores más costosos que en muchos equipos de testers está ocurriendo es usando la IA Generativa para «pedir casos de prueba». Los resultados son predecibles:
- alucinaciones
- pruebas irrelevantes
- desconexión total de sus estándares de calidad y riesgo
El problema no es la IA Generativa; es la falta de un framework de ejecución.
Todo Test Lead y/o Test Manager sabe que la calidad no se basa en el volumen de pruebas, sino en la cobertura de riesgo y un enfoque de calidad integral. Para que la IA realmente funcione como un buen socio y nos acompañe de manera correcta, debemos optimizar el proceso de «prompting» para que refleje esta estrategia.
Te comparto a continuación un framework con las siguientes claves para que puedas estudiarlas, analizarlas, y evaluar aplicarlas a tu proceso de testing con IA Generativa.
1. El «Ping-Pong» de correcciones
Cuando se le solicita a un LLM «generar pruebas para el login» (y nada más), el modelo alucina un contexto. Luego, lo más probable es que haya que agregar: «Debe estar basado en nuestra política de riesgo». El modelo intenta de nuevo comprender la solicitud. Aquí de nuevo, probablemente haya que agregar de nuevo: «Olvidaste las pruebas de seguridad».
A estos agregados, se los entiende comúnmente como «ping-pong» y representa un cuello de botella. Es aquí donde se puede / debe aplicar una mejora. El proceso de optimización real elimina esta ambigüedad desde el inicio.
2. Proceso optimizado 1: RAG de autoridad (Nuestra fuente de la verdad, Nuestro oráculo)
La Generación Aumentada por Recuperación (RAG) es la primera optimización. En lugar de que la IA adivine, la anclamos a documentos maestros.
- Acción: Conecta la instancia de IA a tus repositorios internos.
- Beneficio: Estamos estableciendo una trazabilidad instantánea. Cuando le solicitamos a la IA que genere una estrategia de estimación para pruebas de Chatbot, podrá referirse directamente a la sección del o de los documentos correspondientes que se encuentran almacenados en el repositorio, por lo tanto la alucinación se elimina.
3. Proceso optimizado 2: RAG dual (Relevancia del mundo real)
Un enfoque Holístico requiere mirar fuera de la organización. La segunda optimización es un RAG «dual» que consulta la web pública.
- Acción: Establecerle una instrucción a la IA para que aumente su análisis con datos en tiempo real.
- «Compara nuestra historia de usuario de ‘carrito de compras’ (RAG Privado) con las 5 principales vulnerabilidades de e-commerce listadas en OWASP este mes (RAG Público).»
- Beneficio: Actualizamos y le damos mayor relevancia a nuestras pruebas. La IA detectará riesgos de seguridad o de UX que nuestra documentación interna, por sí sola, no podría haber previsto probablemente, porque hasta incluso podría no haber estado contemplado en el equipo de testers.
4. Proceso optimizado 3: El «razonamiento metodológico»
Esta es la clave final. El RAG proporciona el conocimiento (el «qué»). El Razonamiento proporciona la lógica estratégica (el «cómo» y el «por qué»). Aquí es donde le inyectamos nuestro expertise metodológico en el prompt.
- Acción: No solicitamos un resultado «x», sino muy por el contrario, establecemos una instrucción para un proceso de pensamiento.
- Prompt estratégico: «Actúa como un ‘Test Manager’. Sintetiza los principios de ‘Risk-Based Testing’ (de nuestro documento ABC) con el ‘Whole-Team Approach’ (de nuestro manual XYZ). Genera una matriz de cobertura de riesgos para el Sprint 3, indicando qué cuadrante (documento 123) cubre cada riesgo (document 456).»
- Beneficio: La IA deja de generar artefactos (listas de pruebas) y comienza a generar estrategia (planes de mitigación de riesgos).
Conclusión: Nuestro Norte es convertirnos en Estrategas de Calidad
La optimización real del Test Management no vendrá de prompts más cortos, sino de frameworks de prompts más inteligentes.
Esta integración de RAG (autoridad + relevancia) y Razonamiento (metodología) es la clave para escalar la calidad. Es la diferencia fundamental entre un operador de IA y un verdadero estratega de calidad.
👇 Voy con un poco de profundidad conceptual 👇
RAG: Fundamentación de la autoridad y relevancia práctica
La Generación Aumentada por Recuperación (RAG) es una arquitectura de sistema que inhibe la «alucinación» del modelo y lo obliga a operar dentro de una realidad fáctica definida.
Su función es conectar al LLM, cuyo conocimiento es vasto pero estático y genérico, a bases de conocimiento externas y específicas, transformando su proceso de respuesta en un examen «a libro abierto».
Este proceso opera en dos fases:
- la Recuperación (Retrieval), donde el sistema identifica y extrae los fragmentos de información más pertinentes de una base de conocimiento definida (PDFs, bases de datos, web) en respuesta directa al prompt del usuario.
- la Generación Aumentada (Augmented Generation), donde el LLM recibe el prompt original junto con el contexto recuperado, con la instrucción estricta de formular su respuesta basándose en esa información.
En el framework que logré optimizar, el RAG no se aplica de forma monolítica, sino a través de un sistema dual-RAG estratificado, diseñado para fundamentar tanto la autoridad conceptual como la relevancia práctica del contenido:
- RAG sobre fuentes privadas (autoridad conceptual): La primera capa utiliza la biblioteca de documentos del usuario como su base de conocimiento. La sección que corresponde al contexto y fuente de autoridad actúa como el controlador de este sistema. Cuando el usuario selecciona un «área de foco» (es decir, el trigger), el sistema no solo recupera información de los archivos pertinentes, sino que lo hace siguiendo una jerarquía de fuentes predefinida. Esto asegura que la terminología y los conceptos centrales del contenido maestro se alineen con la fuente de verdad del usuario, no con el conocimiento genérico del modelo.
- RAG sobre fuentes públicas (relevancia práctica): La segunda capa se activa mediante la condición de búsqueda Web mandatoria. Reconociendo que los archivos proporcionan el «qué» conceptual pero carecen del «cómo» práctico y actualizado, esta instrucción obliga al modelo a consultar la web pública. De este modo, al requerir por ejemplo un principio de demostración práctica del framework se cumple utilizando ejemplos reales y contemporáneos, aumentando el valor accionable del contenido.
Razonamiento: Lógica instructiva y eficiencia metacognitiva
El concepto de «Razonamiento» en nuestro análisis es bivalente. Representa, por un lado, un componente crítico dentro del prompt y, por otro, el proceso de diagnóstico que utilizamos para optimizarlo.
- El Razonamiento como componente del prompt: Si el RAG proporciona el conocimiento (el qué), la sección Razonamiento del framework proporciona la lógica operativa (el cómo y el por qué). Es el cerebro del prompt, que instruye al modelo sobre los principios heurísticos que debe aplicar al procesar la información recuperada por el RAG. En el framework que optimicé, estos principios incluyen el «principio de conexión cruzada» (forzando la síntesis entre dominios de RAG) y el «principio de voz de mentor» (dictando el tono y la perspectiva en primera persona). Esta sección es la que transforma la información fáctica en contenido estratégico y alineado con la marca.
- El Razonamiento como herramienta metacognitiva: El análisis más valioso de la interacción fue la exposición del razonamiento de diagnóstico. Este análisis metacognitivo, que identifica conflictos (ej. autoridad vs. polémico) y ambigüedades (ej. «humanizado»), es la clave para la mejora continua y la eficiencia.
Aprovechar este conocimiento de diagnóstico permite adoptar el rol de «entrenador crítico» del propio prompt. Al anticipar las preguntas críticas del asistente, es así que se pueden refinar las peticiones antes de enviarlas. Esto implica resolver conflictos internos y definir explícitamente términos ambiguos (ej. transformar «sonar menos genérico» en la instrucción precisa «utilizar la primera persona»).
Gestión eficiente de tokens
La sinergia entre un RAG bien controlado y un Razonamiento explícito tiene un impacto directo en la gestión de tokens. La economía de prompts no se basa en la brevedad de la petición (Input), sino en la eficiencia de la generación (Output).
Un prompt corto y vago (bajo costo de Input) es económicamente ineficiente, ya que genera un «ping-pong» de correcciones: cada ciclo de «generar-revisar-corregir» consume miles de tokens en regeneraciones completas.
Por el contrario, un framework robusto como el que he optimizado (alto costo de Input) representa una inversión inicial. Al gastar tokens en definir un RAZONAMIENTO detallado y un sistema RAG preciso, se eliminan las ambigüedades y conflictos. Esto maximiza la probabilidad de una generación «correcta a la primera», ahorrando exponencialmente más tokens al evitar los costosos ciclos de iteración.
En conclusión, la arquitectura del prompt optimizado funciona como un sistema cohesionado: el RAG proporciona el conocimiento fáctico y práctico, mientras que el Razonamiento dicta la lógica de su aplicación, y la comprensión metacognitiva de este proceso es lo que garantiza la máxima eficiencia y efectividad del sistema.
