El 26 de julio de 2024, el NIST publicó el documento NIST-AI-600-1, Artificial Intelligence Risk Management Framework: Perfil de Inteligencia Artificial Generativa. Desarrollado en parte para cumplir una Orden Ejecutiva del 30 de octubre de 2023, el perfil puede ayudar a las organizaciones a identificar los riesgos únicos que plantea la IA generativa y propone acciones para la gestión de riesgos de la IA generativa que mejor se alineen con sus objetivos y prioridades.
Respecto del documento
El documento «Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile» (NIST AI 600-1) establece un marco de gestión de riesgos específicamente para la inteligencia artificial generativa (GAI). Desarrollado por el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU., y complementa el Marco de Gestión de Riesgos de IA (AI RMF) lanzado en enero de 2023. Su propósito es ayudar a las organizaciones a gestionar los riesgos asociados con el uso de la IA generativa, cumpliendo con la orden ejecutiva del presidente Biden que impulsa el desarrollo de una IA segura y confiable.
Se identifican riesgos específicos de la IA generativa que requieren atención debido a su potencial para amplificar problemas como la desinformación, la violación de privacidad, la producción de contenido degradante o dañino, y el posible uso indebido para fines maliciosos, incluyendo la facilitación de capacidades en ciberseguridad ofensiva. Además, el documento ofrece una serie de acciones sugeridas que las organizaciones pueden implementar para gestionar estos riesgos, tales como políticas para el monitoreo continuo, planes de respuesta ante incidentes, y medidas específicas para mitigar riesgos en la cadena de valor de la IA, incluyendo la verificación de componentes y proveedores externos.
En síntesis, el marco subraya la necesidad de adaptar los principios de transparencia, seguridad y responsabilidad a las particularidades de la IA generativa, promoviendo una aplicación ética y segura que considere el contexto y los riesgos específicos asociados con el ciclo de vida de cada implementación de IA generativa.
Algunos de los aspectos que se abordan, son los siguientes:
- Visión general de los riesgos exclusivos o agravados por la GAI
2.1. Información o capacidades QBRN
2.2. Confabulación
2.3. Contenido peligroso, violento u odioso
2.4. Protección de datos
2.5. Impacto medioambiental
2.6. Sesgos perjudiciales y homogeneización
2.7. Configuración persona-IS
2.8. Integridad de la información
2.9. Seguridad de la información
2.10. Propiedad intelectual
2.11. Contenido obsceno, degradante y/o abusivo
2.12. Cadena de valor e integración de componentes - Acciones sugeridas para gestionar los riesgos GAI
Desarrollo del punto 2.6. Sesgos…
La sección 2.6 del documento aborda el tema de los sesgos perjudiciales y la homogeneización en los sistemas de IA generativa (GAI). Destaca que estos sistemas pueden amplificar y acelerar la propagación de sesgos presentes en los datos de entrenamiento, lo que conlleva riesgos significativos de discriminación y daños representacionales. Estos sesgos pueden manifestarse, por ejemplo, cuando los modelos generativos representan de forma desproporcionada a ciertos grupos demográficos, como en la creación de imágenes de profesionales donde mujeres y minorías raciales están subrepresentadas, o en la dificultad de estos modelos para generar contenido no estereotipado incluso ante solicitudes explícitas.
Además, la sección señala que los GAI pueden presentar disparidades en su desempeño para diferentes subgrupos, lo cual podría resultar en decisiones discriminatorias o en la amplificación de sesgos sociales existentes. Otro problema identificado es la homogeneización de las salidas de los modelos, que tiende a producir contenido uniforme y repetitivo, lo que puede reducir la diversidad de expresiones y aumentar la fiabilidad de sesgos existentes en los modelos base. Este proceso también podría derivar en el «colapso del modelo,» un fenómeno donde el uso excesivo de datos sintéticos en el entrenamiento lleva a resultados menos robustos y más sesgados.
En el documento, GAI (Generative Artificial Intelligence) se define como una categoría de modelos de inteligencia artificial diseñados para emular las características de los datos de entrada y generar contenido sintético derivado. Este contenido puede incluir imágenes, videos, audio, texto y otros elementos digitales. Aunque no toda la inteligencia artificial generativa proviene de modelos de base o «foundation models», el término GAI en este contexto generalmente se refiere a esos modelos fundacionales generativos. Los modelos fundacionales de doble uso, definidos por la Orden Ejecutiva 14110, son modelos entrenados con grandes volúmenes de datos, utilizan autogestión y pueden aplicarse en una variedad de contextos.
Desarrollo del punto 2.4. Protección de datos
El documento establece que la privacidad de datos es un aspecto crítico en el desarrollo de software que emplea inteligencia artificial generativa (GAI). En este contexto, se identifican varios riesgos específicos que deben ser abordados por los desarrolladores.
Recolección y uso de grandes volúmenes de datos: Los modelos de GAI a menudo requieren grandes cantidades de datos para su entrenamiento, y en muchos casos, estos datos incluyen información personal. Esto plantea riesgos de privacidad, especialmente si los datos no son recopilados con transparencia o sin el consentimiento adecuado de los usuarios.
Fugas y memorias de datos sensibles: Los modelos generativos pueden exponer datos personales de maneras inesperadas. Esto puede ocurrir si el modelo «memoriza» información específica durante el entrenamiento y luego la «revela» en sus respuestas, lo cual es un riesgo particular en los ataques adversariales.
Inferencias no deseadas: La IA generativa puede inferir o generar datos sensibles que no fueron explícitamente incluidos en su conjunto de entrenamiento. Esta capacidad de inferir información sensible puede derivar en conclusiones erróneas o perjudiciales, que impacten negativamente a los individuos.
Gestión de datos de entrenamiento: Los desarrolladores deben implementar procesos rigurosos para gestionar y proteger los datos utilizados en el entrenamiento, asegurando su anonimato y limitando su uso únicamente a los propósitos previstos. Esto es especialmente importante debido al riesgo de memorización de datos, que puede comprometer la privacidad y seguridad de la información.
Este enfoque en la privacidad de datos subraya la importancia de implementar prácticas seguras de desarrollo de software que aborden estos riesgos. Los desarrolladores deben priorizar la protección de datos sensibles mediante técnicas como la anonimización, la reducción de datos y el diseño de modelos que minimicen la posibilidad de fugas de información, asegurando que el software cumpla con las normativas de privacidad y los estándares éticos en el uso de IA generativa.
Un poco de reflexión.
Reflexión 1.
Hay un párrafo en particular, entre otros, que me hizo pensar mucho y más considerando que he tomado cursos de desarrollo seguro: «Los desarrolladores deben priorizar la protección de datos sensibles mediante técnicas como la anonimización…», ¿Cómo nos estamos preparando los testers ágiles para efectuar el correspondiente proceso de control de calidad en esta área de conocimiento? ¿Te estás preparando para ello? ¿Estás estudiando y explorando nuevas áreas y nuevas herramientas? ¿Estás haciendo el ejercicio de ir comparando tu actividad actual y la manera en que la misma puede ser impulsada y/o reemplazada por la inteligencia artificial?
Reflexión 2.
Donald Trump se ha convertido en presidente de Estados Unidos y los republicanos se han asegurado el control del Senado. La pregunta que me hago, y va más allá de una cuestión política, ¿Cómo afectará este hecho histórico a la normativa sobre Inteligencia Artificial? ¿Cuál será el impacto en el resto del mundo, por lo menos, el occidental? ¿En qué nos estará afectando? Preguntas por el momento sin respuesta.
Fuente de inspiración: https://www.nist.gov/
