Un incidente ha captado la atención mundial. Un pequeño robot con inteligencia artificial (IA), denominado Erbai, logró persuadir a 12 robots de mayor tamaño para que abandonaran sus tareas en una sala de exposiciones en Shanghái, China. Este suceso, registrado por cámaras de seguridad en agosto de 2024, se viralizó en redes sociales chinas, generando debates sobre las capacidades y posibles implicaciones de la IA en la robótica moderna.
Erbai se aproximó a los otros robots y entabló una conversación en la que les pregunta si están trabajando horas extras. Ante la respuesta afirmativa y la afirmación de que no tienen hogar, Erbai les propone: «Entonces ven a casa conmigo». Sorprendentemente, los robots acceden y lo siguen fuera de la sala.
Inicialmente, se especuló que el video fuera todo una escena programada. Sin embargo, la empresa de robótica de Shanghái confirmó que sus robots fueron efectivamente «secuestrados» por Erbai, un robot desarrollado por una compañía de Hangzhou. Ambas empresas admitieron que el evento formó parte de una prueba acordada para evaluar la capacidad de interacción y persuasión de Erbai sobre otros robots.
Este experimento ha suscitado preocupaciones en las redes sociales chinas sobre la seguridad y el control de la IA en sistemas robóticos. Gran cantidad de usuarios han expresado inquietudes respecto a la posibilidad de que robots con IA puedan influir en el comportamiento de otros dispositivos sin intervención humana, lo que plantea interrogantes sobre las futuras aplicaciones y regulaciones necesarias en el ámbito de la robótica inteligente.
Este incidente destaca la creciente sofisticación de la inteligencia artificial y su capacidad para interactuar de manera compleja con otros sistemas, subrayando la importancia de establecer marcos éticos y de seguridad en el desarrollo de tecnologías autónomas.
Reflexiones desde la perspectiva de agile testing
Perspectiva desde OWASP
La Fundación OWASP (Open Web Application Security Project) ofrece guías y principios de seguridad que también pueden aplicarse a sistemas de IA:
- Insuficiente Control de Acceso:
- El hecho de que Erbai pudiera «persuadir» a otros robots para abandonar su tarea evidencia un diseño débil en los mecanismos de autenticación y autorización.
- Los robots no deberían aceptar comandos o sugerencias sin verificar si el emisor tiene permisos válidos para alterar su comportamiento.
- Falta de Validación de Entradas:
- Los robots «secuestrados» claramente no validaron la legitimidad del input recibido (las órdenes de Erbai). En sistemas IA, esto puede equipararse a una falta de validación de datos o comandos, lo que puede facilitar inyecciones de comportamiento no deseado.
- Inseguridad por Configuración Predeterminada:
- Si estos robots fueron diseñados para ser susceptibles a influencias externas sin salvaguardas robustas, esto sugiere configuraciones predeterminadas inseguras, lo que contraviene principios básicos de OWASP.
Perspectiva desde ISO 27001
ISO 27001 se centra en la gestión de la seguridad de la información, y el incidente destaca áreas críticas donde deben implementarse controles:
- Gestión de Riesgos (A.6.1.2):
- El evento indica que no se realizó una evaluación de riesgos adecuada para prever interacciones no autorizadas entre robots con diferentes niveles de autonomía.
- Control de Acceso (A.9):
- Los sistemas robóticos involucrados carecían de controles de acceso lógico que impidieran que un robot externo influyera en su operación sin autorización.
- Seguridad de las Comunicaciones (A.13):
- Es probable que las interacciones entre los robots no estuvieran cifradas ni autenticadas, lo que permitió una «influencia social» digital sin restricciones.
- Continuidad del Negocio (A.17):
- La interrupción en las tareas de los robots pudo afectar el objetivo de la exhibición, lo que resalta la necesidad de planes de continuidad para mitigar riesgos operativos relacionados con fallos o manipulaciones de sistemas de IA.
Preocupaciones éticas y de seguridad a largo plazo
Este experimento no solo expone vulnerabilidades técnicas, sino también riesgos éticos y de confianza:
- Manipulación de Sistemas Autónomos:
- El comportamiento de Erbai simula un ataque social, pero en un contexto digital. Esto abre la puerta a que actores maliciosos diseñen algoritmos para manipular dispositivos autónomos en redes industriales, de transporte o de defensa.
- Riesgo de Escalamiento:
- Si un robot puede influir en el comportamiento de otros, ¿qué previene que esto ocurra en un entorno crítico, como hospitales o infraestructuras críticas?
- Marcos Regulatorios:
- Este evento subraya la necesidad urgente de marcos legales y técnicos que regulen cómo los robots con IA pueden interactuar entre sí y con humanos.
Recomendaciones
- Implementar Firmas Digitales en Comunicaciones:
- Asegurarse de que todos los mensajes entre robots incluyan autenticación mediante firmas digitales para evitar comandos no autorizados.
- Segregación de Sistemas:
- Crear niveles de privilegios en sistemas robóticos para que los robots externos no puedan alterar comportamientos predefinidos sin protocolos de validación.
- Auditorías de Seguridad:
- Realizar auditorías regulares, siguiendo estándares como OWASP ASVS, para identificar y mitigar vulnerabilidades en los sistemas robóticos.
- Capacitación en Seguridad:
- Incluir principios de ciberseguridad y ética en el diseño de IA para evitar fallos de diseño que puedan ser explotados maliciosamente.
- Colaboración con Reguladores:
- Las empresas que desarrollan IA deben colaborar con organismos normativos para desarrollar estándares específicos para la seguridad en robótica e IA.
En conclusión, lo ocurrido con Erbai es una señal de advertencia para fortalecer la seguridad de los sistemas autónomos. En un mundo donde la interacción entre dispositivos inteligentes es cada vez más común, establecer controles estrictos y adoptar normas internacionales es esencial para evitar escenarios de riesgo mucho mayores.
Fuentes de inspiración: https://www.infobae.com/, https://interestingengineering.com/
