La auditoría de sistemas de inteligencia artificial (IA) se está posicionando como una práctica fundamental para garantizar la transparencia, la rendición de cuentas y la mitigación de daños algorítmicos.

Impulsada por un creciente número de regulaciones, como la Ley Local 144 de la ciudad de Nueva York y la Ley de IA de la Unión Europea, la auditoría de sesgos busca verificar de manera independiente que los sistemas de IA operen de forma justa y equitativa. Sin embargo, la industria enfrenta una brecha significativa entre los conceptos teóricos de equidad desarrollados en el ámbito académico y las prácticas de prueba, a menudo ad hoc, implementadas por los profesionales, lo que subraya la necesidad urgente de marcos de auditoría estandarizados y operables.

En este artículo te comparto algo de lo que voy leyendo e investigando acerca de este tema que me interesa y mucho ya que lo veo que tiene mucho que ver con todo lo que venimos haciendo en nuestra práctica profesional.

Aquí se sintetiza el estado actual de la auditoría de sesgos en IA, presentando el marco de la «auditoría por criterios» como un enfoque práctico modelado a partir de las auditorías financieras. Este modelo se basa en cuatro pilares:

• criterios de auditoría verificables y transparentes,
• evaluadores externos cualificados e independientes,
• divulgación pública de los resultados
• y acreditación estandarizada de los auditores.

La aplicación de este marco se ilustra a través de su adaptación a la Ley 144 de Nueva York, que exige:

• un análisis de impacto dispar,
• una evaluación de la gobernanza interna
• y una valoración de los riesgos sociotécnicos.

Los principales desafíos para la implementación efectiva de estas auditorías incluyen:

• la falta de estándares de auditoría universalmente aceptados,
• la complejidad inherente a la definición y medición de la «equidad»,
• problemas persistentes con la calidad y representatividad de los datos,
• y la brecha de habilidades técnicas entre los profesionales.

El éxito de las auditorías de IA no depende únicamente de la metodología, sino de la existencia de un ecosistema robusto que incluya a reguladores, organismos de normalización, auditores certificados y organizaciones auditadas comprometidas con la gobernanza ética de la IA.

Las herramientas y marcos desarrollados por gigantes tecnológicos como Google, Microsoft e IBM son cruciales, ya que proporcionan los medios para generar la evidencia auditable necesaria para estos procesos de aseguramiento.

1. Introducción: La necesidad de la auditoría de sesgos en IA

A medida que los sistemas de IA se integran en áreas críticas como las finanzas, la justicia, el empleo y la salud, la preocupación por sus sesgos y su potencial para generar resultados injustos se ha intensificado.

Un sistema de IA se considera sesgado cuando produce resultados que favorecen o perjudican sistemáticamente a un individuo o grupo en comparación con otros. Este sesgo puede conducir a la discriminación, que es el tratamiento diferencial basado en la pertenencia a un grupo, y a la injusticia, que es la presencia de sesgo en un contexto donde no debería existir ninguna diferencia sistemática.

Las consecuencias de los sesgos algorítmicos pueden ser perjudiciales, afectando derechos humanos y generando riesgos legales y de reputación. Algunos casos notables incluyen:

• COMPAS (Correctional Offender Management Profiling for Alternative Sanctions): Una herramienta utilizada en el sistema judicial de EE. UU. que demostró ser racialmente prejuiciada, asignando un mayor riesgo de reincidencia a los acusados negros.

• Motor de reclutamiento de amazon: Un algoritmo de contratación que resultó ser discriminatorio contra las mujeres, ya que fue entrenado con datos históricos que reflejaban un sesgo de género preexistente en la industria tecnológica.

• PredPol (Predictive Policing): Un software de predicción delictiva criticado por dirigir sus predicciones hacia minorías raciales, perpetuando ciclos de vigilancia excesiva en ciertas comunidades.

Para abordar estos riesgos, los responsables políticos han propuesto las auditorías de IA como un mecanismo clave para la transparencia y la rendición de cuentas. Sin embargo, la investigación práctica revela una brecha considerable entre la teoría académica sobre la equidad y las prácticas de la industria.

Un estudio basado en entrevistas con 22 profesionales de la IA mostró que las pruebas de equidad se realizan a menudo de forma ad hoc, adaptando métodos de prueba básicos a las necesidades del proyecto sin un enfoque estructurado. Esto evidencia la necesidad crítica de marcos de auditoría formalizados y herramientas efectivas que puedan ser integradas sistemáticamente en los ciclos de desarrollo de la IA.

2. El marco de la «auditoría por criterios»: Un enfoque estructurado

Inspirado en las prácticas maduras de la auditoría financiera, el marco de la «auditoría por criterios» ofrece un enfoque operacional para las auditorías externas de cumplimiento y aseguramiento de los sistemas algorítmicos. Su objetivo es proporcionar a las partes interesadas (reguladores, público, clientes) la seguridad de que una organización puede gobernar sus algoritmos de manera que se mitiguen los daños y se respeten los valores humanos.

2.1. Condiciones necesarias para una auditoría efectiva

Para que una auditoría por criterios sea eficaz, deben cumplirse cuatro condiciones fundamentales:

1. Criterios de auditoría transparentes y verificables: Deben existir condiciones observables que, en conjunto, determinen si un sistema cumple con una ley o estándar. Estos criterios deben ser relevantes, completos, fiables, neutrales y comprensibles para permitir que los auditores formen una opinión inequívoca basada en la evidencia.

2. Evaluadores externos cualificados e independientes: Las auditorías deben ser realizadas por terceros que no tengan conflictos de interés con la entidad auditada. La independencia es crucial para evitar que la auditoría se convierta en un ejercicio de autoevaluación o «sello de goma».

3. Divulgación pública de los resultados: Los resultados de la auditoría deben hacerse públicos, al menos en una forma restringida, para equilibrar la necesidad de transparencia pública con las preocupaciones de seguridad y propiedad intelectual de la organización. La divulgación pública incentiva a las organizaciones a implementar cambios significativos.

4. Formación y acreditación estandarizada: Los auditores deben estar formados y acreditados de manera estandarizada, sujetos a altos estándares profesionales de ética y aseguramiento de la calidad, similar a la certificación requerida para los auditores financieros.

2.2. Proceso de auditoría y responsabilidades

El proceso de una auditoría por criterios sigue un plan estructurado, comenzando con la planificación y culminando en la certificación. Se distinguen dos enfoques principales para la recopilación de evidencia:

• Evaluación directa: El auditor realiza directamente las pruebas técnicas sobre el sistema algorítmico.

• Verificación indirecta: El auditor evalúa la evidencia y las pruebas proporcionadas por la entidad auditada, verificando su rigor y calidad. Este enfoque introduce una separación de funciones que puede mitigar riesgos de independencia.

El proceso de auditoría generalmente sigue estos pasos:

Fase	Descripción
Planificación	El auditor realiza un análisis de riesgo para seleccionar las metodologías de auditoría precisas y definir el alcance del compromiso.
Recopilación de evidencia	La entidad auditada proporciona la documentación y las pruebas necesarias para demostrar el cumplimiento de cada criterio.
Evaluación de la evidencia	El auditor evalúa si la evidencia es apropiada, suficiente y libre de errores materiales. Esto puede incluir pruebas estadísticas, evaluación de justificaciones normativas o entrevistas.
Publicación del informe	El auditor redacta y publica un informe estandarizado que incluye: la opinión formal del auditor (si cada criterio se cumplió), el resultado final, una descripción del algoritmo, el alcance de la auditoría y un resumen del trabajo realizado.
Certificación	El sistema auditado recibe una certificación que indica si ha superado o no la evaluación con respecto a la regulación o estándar objetivo.

La responsabilidad principal del auditor es formar una opinión basada en evidencia suficiente y apropiada. Esto requiere no solo experiencia técnica en IA, sino también formación en procesos de auditoría estandarizados y procedimientos de control de calidad.

3. Tipos y orígenes del sesgo: ¿Qué se audita?

Para auditar eficazmente un sistema de IA, es crucial comprender las diferentes formas en que el sesgo puede manifestarse a lo largo de su ciclo de vida. Los sesgos no son un fenómeno monolítico; pueden originarse en distintas etapas y por diversas razones.

3.1. Categorías de sesgo por origen

Los sesgos se pueden clasificar en tres categorías principales según el momento en que surgen en el proceso de desarrollo y uso de la tecnología:

1. Sesgo preexistente: Proviene de sesgos sociales, culturales o institucionales existentes en la sociedad. Es introducido en el proceso técnico por los propios diseñadores o desarrolladores, a menudo de forma inconsciente. Los datos históricos utilizados para entrenar modelos de IA son una fuente común de sesgo preexistente, ya que reflejan desigualdades pasadas.

2. Sesgo técnico: Emerge de las decisiones tomadas durante el diseño y la implementación técnica del sistema. Esto puede incluir errores en la recopilación de datos, el muestreo, la medición o la elección del algoritmo, lo que lleva a resultados que no representan fielmente la realidad o que favorecen a ciertos grupos.

3. Sesgo emergente: Aparece durante el uso real del producto técnico, después de su desarrollo. Puede surgir cuando el contexto de uso cambia, cuando los usuarios interactúan con el sistema de maneras imprevistas o a través de bucles de retroalimentación donde las predicciones del modelo influyen en los datos futuros.

3.2. Atributos sensibles y proxies

El núcleo de una auditoría de sesgos es identificar si un sistema discrimina en función de atributos protegidos.

• Atributos protegidos o sensibles: Son características humanas que reciben una consideración especial por razones legales, éticas o sociales, como la raza, el género, la edad, la religión o la discapacidad. Las decisiones no deben basarse en estos atributos.

• Atributos proxy: Son atributos que no son sensibles en sí mismos pero que están fuertemente correlacionados con atributos protegidos. Por ejemplo, el código postal puede ser un proxy de la raza o el estatus socioeconómico. La auditoría debe ser capaz de detectar la discriminación indirecta que ocurre a través de estos proxies, incluso cuando los atributos protegidos han sido explícitamente eliminados del conjunto de datos.

4. Aplicación práctica: auditoría de la Ley 144 de NYC

La Ley Local 144 de la ciudad de Nueva York, que entró en vigor en julio de 2023, exige auditorías de sesgo para las «herramientas automatizadas de decisión de empleo» (AEDT) utilizadas en la contratación y promoción. Esta ley proporciona un caso de estudio concreto para la aplicación del marco de la auditoría por criterios.

Adoptando un enfoque sociotécnico, los criterios de auditoría para la Ley 144 se diseñaron para evaluar no solo los resultados técnicos, sino también los procesos de gobernanza y la conciencia de riesgo de la organización. La auditoría se estructura en tres secciones interdependientes:

ID	Sección de Auditoría	Criterios Clave
Q	Análisis de impacto dispar	La herramienta analizada debe estar definida. El conjunto de datos utilizado para el análisis debe estar definido y caracterizado. Las categorías demográficas (raza/etnia y género como mínimo) deben estar definidas. Las tasas de impacto (impact ratios) deben ser divulgadas para todos los grupos desfavorecidos.
G	Gobernanza	La entidad auditada debe tener una parte responsable de los riesgos relacionados con el impacto dispar. Los deberes de la parte responsable deben estar claramente definidos. La entidad auditada debe proporcionar evidencia de que los deberes definidos se llevan a cabo.
R	Evaluación de riesgos	La entidad auditada debe haber completado una evaluación de riesgos de la herramienta. La evaluación debe mostrar la identificación de riesgos relevantes relacionados con el sesgo. La evaluación debe demostrar una valoración apropiada de los riesgos relevantes.

Este enfoque holístico reconoce que el sesgo técnico no puede entenderse ni mitigarse sin un contexto sociotécnico. Por ejemplo, una evaluación de riesgos (Sección R) que identifica que la paginación de la interfaz de usuario de una herramienta de contratación favorece a los candidatos en la primera página debe informar el análisis técnico del impacto dispar (Sección Q). Del mismo modo, una estructura de gobernanza sólida (Sección G) es necesaria para actuar sobre los hallazgos de las otras dos secciones. Esta estructura integra lo que se conoce como auditoría «estrecha» (pruebas técnicas) y «amplia» (revisión de procesos y gestión).

5. Herramientas y estrategias corporativas para la auditabilidad

Para que una organización pueda someterse a una auditoría de sesgos, necesita herramientas y procesos internos para medir, mitigar y gobernar la equidad en sus sistemas de IA. Las principales empresas tecnológicas han desarrollado marcos y toolkits que facilitan la generación de la evidencia necesaria para una auditoría.

Empresa	Enfoque y Gobernanza	Herramientas Clave
Google	Se basa en sus Principios de IA, que incluyen evitar el sesgo injusto. La gobernanza se implementa a través de rigurosas revisiones éticas de productos y acuerdos.	TensorFlow Fairness Indicators, What-If Tool, PAIR Guidebook, Model Cards, Explainable AI.
Microsoft	Se guía por seis principios de IA responsable: equidad, confiabilidad, privacidad, inclusión, transparencia y rendición de cuentas. La gobernanza es supervisada por el comité AETHER y la Office of Responsible AI (ORA).	Fairlearn, InterpretML, Error Analysis, Counterfit, AI Fairness Checklist.
IBM	Sus principios se centran en que la IA sirva para aumentar la inteligencia humana, que los datos pertenezcan a su creador y que la tecnología sea transparente y explicable. La gobernanza es dirigida por la Junta de Ética de IA.	AI Fairness 360, AI Explainability 360, Adversarial Robustness 360, AI FactSheets 360.
Telefónica	Pionera en la adopción de IA ética, publicó sus propios Principios de IA (Justicia, Transparencia, Centrada en las personas). Implementa un modelo de gobernanza con la figura de los RAI Champions.	Un cuestionario de autoevaluación integrado en el ciclo de vida del desarrollo de productos para analizar riesgos potenciales en cada proyecto.

Estas herramientas permiten a las organizaciones realizar actividades cruciales como:

• Detección de sesgos: Medir el rendimiento del modelo en diferentes subgrupos demográficos para identificar disparidades.

• Mitigación de sesgos: Aplicar algoritmos para ajustar los datos de entrenamiento (pre-procesamiento), modificar el algoritmo de aprendizaje (in-procesamiento) o ajustar las predicciones del modelo (post-procesamiento).

• Explicabilidad: Generar explicaciones sobre por qué un modelo tomó una decisión particular, lo que es clave para la transparencia y la depuración.

• Robustez: Probar la seguridad del modelo contra ataques adversarios que intentan engañarlo.

La evidencia generada por estas herramientas (informes de equidad, tarjetas de modelo, explicaciones de predicciones) constituye la base que un auditor externo evaluará durante una auditoría por criterios.

6. Desafíos y limitaciones de la auditoría de sesgos

Aunque prometedora, la auditoría de IA enfrenta desafíos significativos tanto en su implementación como en su concepción inherente.

6.1. Desafíos de implementación

• Falta de estándares de auditoría: Existe una ausencia de estándares acordados para la auditoría de IA. El desarrollo de estos estándares es complejo debido a los desacuerdos técnicos sobre las definiciones de equidad y el riesgo de «captura corporativa», donde las empresas influyen en los estándares para adaptarlos a sus intereses.

• Brecha de habilidades y recursos: Muchas organizaciones carecen del conocimiento técnico necesario para implementar prácticas de equidad o prepararse para una auditoría. Además, las pruebas de equidad y las auditorías pueden ser costosas y consumir mucho tiempo, especialmente para las pequeñas empresas.

• Calidad y representatividad de los datos: La mala calidad de los datos es uno de los mayores obstáculos. Los datos sesgados, incompletos o no representativos conducen a modelos sesgados, y la limpieza y mejora de los datos es un desafío constante.

• Falta de herramientas de prueba adecuadas: Los profesionales de la industria informan de una escasez de herramientas prácticas y alineadas con sus necesidades para realizar pruebas de equidad, lo que los obliga a recurrir a métodos improvisados.

6.2. Limitaciones Inherentes

• Dependencia de la regulación: La eficacia de una auditoría está intrínsecamente ligada a la calidad de la regulación que busca hacer cumplir. Si una ley es demasiado amplia, la auditoría puede carecer de rigor. Si es demasiado restrictiva, puede convertirse en un simple ejercicio de marcar casillas, sin abordar los verdaderos daños.

• El problema de la «Caja Negra»: La creciente complejidad de los modelos de IA, especialmente las redes neuronales profundas, dificulta su explicación y auditoría completas. Aunque existen técnicas de explicabilidad, a menudo son aproximaciones.

• Falta de transparencia en los resultados: Muchas auditorías de IA no se hacen públicas debido a acuerdos de confidencialidad, lo que socava su propósito de fomentar la rendición de cuentas a través de la presión pública y regulatoria.

• La complejidad de la «Equidad»: No existe una única definición matemática de la equidad. Diferentes métricas de equidad son a menudo incompatibles entre sí, lo que requiere que las organizaciones tomen decisiones normativas sobre qué tipo de equidad priorizar, una decisión que tiene implicaciones éticas y sociales.

7. El futuro de la auditoría y la gobernanza de la IA

La auditoría de sesgos en IA no es una solución definitiva, sino un componente esencial de un marco de gobernanza de IA más amplio y responsable. Su éxito y evolución dependen de varios factores clave.

Primero, es imperativa la creación de un ecosistema de auditoría multifactorial. Este ecosistema debe incluir a reguladores que establezcan normas claras, organismos de normalización independientes (como ISO) que desarrollen criterios técnicos rigurosos, organismos de certificación que acrediten a los auditores, profesionales cualificados y organizaciones comprometidas con la transparencia. Estándares emergentes como ISO/IEC 42001 (Sistemas de Gestión de IA) y ISO 25059 (Calidad de Sistemas de IA) están comenzando a proporcionar los marcos auditables necesarios para este ecosistema.

Segundo, la práctica de la auditoría debe evolucionar hacia un enfoque más multidisciplinario, integrando no solo a expertos técnicos, sino también a especialistas en ética, derecho, ciencias sociales y a las comunidades afectadas. Este enfoque garantiza que las auditorías evalúen no solo la corrección técnica, sino también el impacto social y ético más amplio de los sistemas de IA.

Finalmente, la auditoría debe ser vista como parte de un ciclo de vida de gobernanza continua y no como un evento único. La gobernanza proactiva, integrada desde el diseño del sistema («ética desde el diseño»), es fundamental. Esto implica realizar evaluaciones de impacto ético, establecer estructuras de supervisión interna como comités de ética y mantener una monitorización constante de los modelos en producción para detectar sesgos emergentes. La auditoría actúa como un mecanismo de verificación externo que valida la eficacia de estos procesos internos, cerrando así el ciclo de la rendición de cuentas.

---

---

Identificando cómo se relaciona la IA Generativa

Los aspectos relacionados con la Inteligencia Artificial Generativa (IA Generativa o GenAI) se centran principalmente en:

• el contexto de los desafíos éticos,
• las limitaciones de los modelos de lenguaje grande (LLMs) y las metodologías de prueba,
• y auditoría necesarias para garantizar la imparcialidad y la calidad de sus resultados.

Aspectos relacionados con la IA Generativa:

1. Modelos fundamentales y aplicaciones

La IA Generativa se conecta intrínsecamente con los Modelos de Lenguaje Grande (LLMs).

• Riesgos de salida (artefactos): Los LLMs tienen el potencial de generar artefactos como datos de prueba sintéticos o casos de prueba.

• Interacción humana y contenido: Las soluciones de IA Generativa se manifiestan en sistemas que generan contenido o están destinadas a interactuar con personas físicas, como los chatbots. Es necesario informar a las personas cuando están interactuando con un sistema de IA.

• Manipulación de contenido: Estos sistemas pueden generar o manipular contenido de imagen, sonido o texto, como las fake news o noticias generadas por sistemas inteligentes.

2. Desafíos éticos y mitigación de riesgos

El tema central de la discusión sobre GenAI es la necesidad de mitigar los riesgos de sesgo.

• Origen del sesgo: El sesgo es un desafío inherente a los LLMs y se origina en los datos de entrenamiento del modelo.

• Impacto del sesgo: El sesgo debe ser abordado, ya que puede llevar a que la IA excluya o favorezca sistemáticamente a ciertos grupos demográficos.

• Garantía de calidad: El objetivo de la auditoría en GenAI es garantizar que la salida del LLM tenga utilidad (que no esté sesgada) y fidelidad (que el resultado no sea una distorsión de la realidad).

3. Metodologías de testing y prompts

La gestión ética de la GenAI se basa en metodologías específicas de prueba.

• Auditoría de sesgo: La auditoría de sesgo se considera la principal metodología de testing para enfrentar los desafíos de los Riesgos de Sesgo.

• Práctica obligatoria: La auditoría de sesgo es una práctica obligatoria en el testing asistido por GenAI.

• Validación humana: Abordar el sesgo requiere filtros de validación y procesos de revisión humana obligatoria. La auditoría es la formalización de esta revisión, aplicando un juicio humano riguroso para la validación final de los artefactos generados por la IA.

• Inclusión en el ciclo de desarrollo: La auditoría de sesgo es crucial en la fase de revisión de requisitos, ya que el tester debe auditar si las suposiciones lingüísticas del modelo introducen sesgos en los criterios de aceptación.

• Prompts como filtro de mitigación: La eficacia del prompt está directamente vinculada a la reducción del sesgo. Un prompt que omite explícitamente atributos sensibles o fuerza la imparcialidad actúa como un filtro de mitigación antes de la auditoría.

4. Avances recientes en auditoría (2024-2025)

La evolución de la GenAI incluye la formalización de sus procesos de auditoría en el ciclo de vida del software (MLOps).

• Automatización: La actualización más reciente (2024-2025) en este espacio se centra en la automatización de la auditoría.

• Integración en MLOps: Esta tendencia busca la integración de herramientas de auditoría de sesgo automatizada en los pipelines de CI/CD (Integración Continua/Despliegue Continuo) para modelos de IA.

• Requisitos de datasets sintéticos: El diseño de datasets de prueba sintéticos debe representar la diversidad poblacional (o contrafactual) para que las herramientas automatizadas puedan evaluar el sesgo, transformando la auditoría de un proceso manual a un gate de calidad automatizado.