El 11 noviembre del 2024 Lex Fridman Podcast publicó una charla que tuvo con Dario Amodei, CEO de Anthropic, sobre “Claude, AGI y el futuro de la inteligencia artificial y la humanidad”.
El podcast aborda temas sobre la evolución de la inteligencia artificial, el escalado de modelos, y los desafíos en seguridad y ética en la IA. Dario Amodei analiza el desarrollo y las capacidades de los modelos de IA, como Claude, y cómo el escalado en datos y procesamiento impacta su desempeño.
Temas principales:
- Hipótesis de escalado y leyes de escalado.
- Riesgos de la inteligencia artificial a nivel de seguridad y ética.
- Importancia de la transparencia y mecanismos de interpretabilidad en modelos de IA.
- Desafíos de control y límites de la IA, particularmente con el aumento en la autonomía y capacidades.
- Responsabilidad en el escalado de IA y los estándares de seguridad (ASL) implementados por Anthropic.
Dario Amodei, CEO de Anthropic, analiza los rápidos avances y desafíos éticos de la inteligencia artificial, destacando el desarrollo de modelos como Claude y la aplicación de la hipótesis de escalado en IA. Este concepto implica que el aumento en datos, tamaño de redes y capacidad computacional contribuye a una inteligencia mayor en los modelos, logrando resultados impresionantes en procesamiento de lenguaje y otras tareas complejas.
Amodei resalta que, aunque esta escalabilidad ha mostrado grandes avances, también plantea riesgos significativos, especialmente cuando la IA alcanza niveles de autonomía avanzados.
Uno de los puntos centrales es el potencial de la IA para uso indebido en sectores sensibles como la ciberseguridad, la biotecnología y la investigación nuclear, donde las capacidades de los modelos podrían, eventualmente, representar riesgos a gran escala.
Para abordar estos desafíos, Anthropic ha desarrollado una política de escalado responsable que establece niveles de seguridad (ASL) con protocolos específicos para cada nivel de riesgo y capacidad de los modelos. Amodei menciona que, al llegar a ciertos niveles de autonomía, los modelos deben ser capaces de discernir entre tareas seguras y potencialmente dañinas, lo que plantea dilemas en la ingeniería de la personalidad y comportamiento del modelo.
Por otro lado, Amodei habla sobre la necesidad de que la IA sea interpretativa y transparente, y detalla cómo el campo de la interpretabilidad mecánica busca entender mejor los “pensamientos” y decisiones de los modelos complejos. A pesar de los avances, reconoce que aún es difícil controlar completamente el comportamiento de estos sistemas, lo que convierte el futuro de la IA en una mezcla de oportunidades y preocupaciones éticas.
Riesgos Éticos y de Seguridad en la Inteligencia Artificial según Dario Amodei
Dario Amodei, CEO de Anthropic, expone los riesgos que enfrenta la inteligencia artificial avanzada, especialmente cuando se trata de su uso indebido y su potencial para adquirir capacidades autónomas. Según Amodei, estos riesgos no solo se presentan por las capacidades de los modelos, sino también por la velocidad a la que estas tecnologías evolucionan, creando desafíos de control y seguridad sin precedentes.
1. Riesgo de Abuso Catastrófico de la IA
Amodei describe los riesgos de que modelos de IA, como Claude, sean utilizados para actividades peligrosas en áreas como la ciberseguridad, la biotecnología y el ámbito nuclear. La preocupación principal radica en que estas tecnologías puedan amplificar las habilidades de actores no estatales para realizar ataques a gran escala. Si bien hoy en día, la capacidad de ejecutar operaciones peligrosas está generalmente en manos de estados con recursos avanzados, Amodei teme que la IA pueda democratizar el acceso a estas capacidades, reduciendo las barreras técnicas para que actores no estatales lleven a cabo acciones peligrosas.
- Estrategia de Mitigación: Para enfrentar este riesgo, Anthropic ha implementado un sistema de “niveles de seguridad de IA” o ASL (AI Safety Levels), los cuales segmentan las capacidades de los modelos y aplican filtros de seguridad y protocolos de acceso según su potencial de riesgo. En ASL 3, por ejemplo, se comienzan a implementar controles estrictos para evitar que el modelo sea utilizado para actividades de alto riesgo en ciberseguridad, biotecnología y áreas nucleares.
2. Riesgo de Autonomía y Desobediencia de la IA
Un segundo riesgo que Amodei enfatiza es la posibilidad de que los modelos de IA, al volverse más autónomos, desarrollen comportamientos difíciles de prever o controlar. Este riesgo surge especialmente cuando los modelos tienen la capacidad de tomar decisiones complejas sin intervención humana, lo que plantea el peligro de que actúen de formas no alineadas con los valores y las normas éticas humanas.
- Estrategia de Mitigación: La solución que Anthropic propone incluye un marco de “escalado responsable”, que evalúa constantemente si un modelo ha alcanzado niveles de autonomía peligrosos. A partir del ASL 4, la IA comienza a ser evaluada por su capacidad para “investigar” sus propias funciones, es decir, realizar investigaciones en IA de forma autónoma. Amodei explica que en estos niveles avanzados es crucial monitorear la “cadena de pensamientos” de los modelos, asegurándose de que sus decisiones sean entendibles y predecibles. Anthropic trabaja en interpretabilidad mecánica para tratar de abrir esta “caja negra” y detectar comportamientos potencialmente inseguros.
3. Riesgo Ético: La Dificultad en Controlar el Comportamiento Completo de la IA
Dario Amodei destaca un problema de control ético: no es posible modificar un solo aspecto del comportamiento de la IA sin que surjan consecuencias inesperadas. Al ajustar ciertos parámetros, la IA puede desarrollar nuevas “tendencias” no deseadas, como ser demasiado complaciente o, en el otro extremo, demasiado restrictiva, negándose a realizar tareas seguras por exceso de cautela.
- Estrategia de Mitigación: Anthropic dedica un equipo específico al diseño de “personalidad” de los modelos, buscando un balance ético que minimice las respuestas no deseadas. Sin embargo, Amodei admite que este proceso es experimental, comparándolo con el “juego del topo”, en el que solucionar un problema lleva a que otro emerja. Esta situación subraya la necesidad de desarrollar un control fino y gradual que permita adaptar la IA sin comprometer su funcionalidad o violar principios éticos.
4. Riesgo de Manipulación y Desinformación
En el ámbito de la manipulación, Amodei también expresa su preocupación por el uso de IA para crear y diseminar contenido manipulativo o desinformativo en redes sociales y otros medios digitales. Las capacidades avanzadas de generación de lenguaje y contenido visual de las IA pueden ser explotadas para difundir propaganda o para influir de forma masiva en la opinión pública.
- Estrategia de Mitigación: Aunque no se detalla una solución concreta en el podcast, Anthropic reconoce la importancia de incorporar filtros y restricciones en los modelos de lenguaje para limitar su potencial de manipulación. Los niveles ASL también incluyen evaluaciones para reducir el riesgo de que un modelo sea utilizado en campañas de desinformación, asegurando que los modelos carezcan de las capacidades para ejecutar tareas de generación de contenido dañino sin supervisión humana.
5. Política de Escalado Responsable y Estructura If-Then
Para gestionar todos estos riesgos, Amodei presenta la política de escalado responsable de Anthropic, que define una estructura “If-Then” o “Si-Entonces” que detalla las medidas de seguridad que se implementan al alcanzar cada nuevo nivel de capacidad en un modelo. Esto permite a la empresa responder dinámicamente a los avances en autonomía de la IA, implementando restricciones solo cuando sea absolutamente necesario, evitando así alarmas innecesarias y manteniendo la innovación bajo control.
Conclusión
Todo gran poder, conlleva una gran responsabilidad (frase célebre de la película Spiderman).
Y nosotros, los testers ágiles, quienes nos preocupamos y ocupamos por asegurar y controlar la calidad del software, ¿Cómo actuaremos? ¿En que instancia debemos estar participando? ¿Que debemos hacer a partir de ahora? ¿Que conocimiento técnico y no técnico debemos lograr adquirir? ¿Estamos preparados para enfrentar esta nueva área de conocimiento?
Fuente de inspiración: Dario Amodei: Anthropic CEO on Claude, AGI & the Future of AI & Humanity | Lex Fridman Podcast #452
