La IA generativa se convirtió en la palabra de moda más feroz de la tecnología aparentemente de la noche a la mañana con el lanzamiento de ChatGPT. Dos años después, Microsoft está utilizando modelos básicos de OpenAI y respondiendo preguntas de los clientes sobre cómo la IA cambia el panorama de la seguridad.
Siva Sundaramoorthy, arquitecto senior de seguridad de soluciones en la nube de Microsoft, suele responder a estas preguntas. El experto en seguridad brindó una descripción general de la IA generativa, incluidos sus beneficios y riesgos de seguridad, a una multitud de profesionales de la ciberseguridad en ISC2 en Las Vegas el 14 de octubre.
¿Qué riesgos de seguridad pueden derivarse del uso de IA generativa?
Durante su discurso, Sundaramoorthy expresó sus preocupaciones sobre la precisión de GenAI. Hizo hincapié en que la tecnología funciona como un predictor, seleccionando lo que considera la respuesta más probable, aunque otras respuestas también podrían ser correctas según el contexto.
Los profesionales de la ciberseguridad deberían considerar los casos de uso de la IA desde tres ángulos: uso, aplicación y plataforma.
“Es necesario comprender qué caso de uso se intenta proteger”, dijo Sundaramoorthy.
Añadió: “Muchos desarrolladores y personas de empresas estarán en este grupo central. [application] donde la gente crea aplicaciones en él. Cada empresa tiene un bot o una IA previamente entrenada en su entorno”.
VER: AMD reveló su competidor para los chips de IA de alta resistencia de NVIDIA la semana pasada mientras continúa la guerra del hardware.
Una vez que se identifican el uso, la aplicación y la plataforma, la IA se puede proteger de manera similar a otros sistemas, aunque no del todo. Es más probable que surjan ciertos riesgos con la IA generativa que con los sistemas tradicionales. Sundaramoorthy nombró siete riesgos de adopción, que incluyen:
- Inclinación.
- Desinformación.
- Engaño.
- Falta de responsabilidad.
- Dependencia excesiva.
- Derechos de propiedad intelectual.
- Impacto psicológico.
La IA presenta un mapa de amenazas único, correspondiente a los tres ángulos mencionados anteriormente:
- El uso de IA en seguridad puede conducir a la divulgación de información confidencial, TI oculta de aplicaciones o complementos de terceros basados en LLM o riesgos de amenazas internas.
- Las aplicaciones de IA en seguridad pueden abrir puertas para una inyección rápida, fugas o infiltración de datos o riesgos de amenazas internas.
- Las plataformas de IA pueden introducir problemas de seguridad mediante envenenamiento de datos, ataques de denegación de servicio al modelo, robo de modelos, inversión de modelos o alucinaciones.
Los atacantes pueden utilizar estrategias como convertidores rápidos (mediante ofuscación, trucos semánticos o instrucciones explícitamente maliciosas para sortear los filtros de contenido) o técnicas de jailbreak. Potencialmente, podrían explotar los sistemas de IA y envenenar los datos de entrenamiento, realizar inyecciones rápidas, aprovechar el diseño de complementos inseguros, lanzar ataques de denegación de servicio u obligar a los modelos de IA a filtrar datos.
“¿Qué sucede si la IA está conectada a otro sistema, a una API que puede ejecutar algún tipo de código en otros sistemas?” dijo Sundaramoorthy. “¿Puedes engañar a la IA para que te cree una puerta trasera?”
Los equipos de seguridad deben equilibrar los riesgos y beneficios de la IA
Sundaramoorthy utiliza Copilot de Microsoft con frecuencia y lo considera valioso para su trabajo. Sin embargo, “la propuesta de valor es demasiado alta para que los piratas informáticos no la apunten”, afirmó.
Otros puntos débiles que los equipos de seguridad deben tener en cuenta en torno a la IA incluyen:
- La integración de nuevas tecnologías o decisiones de diseño introduce vulnerabilidades.
- Los usuarios deben estar capacitados para adaptarse a las nuevas capacidades de la IA.
- El acceso y el procesamiento de datos confidenciales con sistemas de inteligencia artificial crean nuevos riesgos.
- Se deben establecer y mantener la transparencia y el control durante todo el ciclo de vida de la IA.
- La cadena de suministro de IA puede introducir códigos vulnerables o maliciosos.
- La ausencia de estándares de cumplimiento establecidos y la rápida evolución de las mejores prácticas hacen que no esté claro cómo proteger la IA de manera efectiva.
- Los líderes deben establecer un camino confiable hacia aplicaciones generativas integradas de IA de arriba hacia abajo.
- La IA introduce desafíos únicos y poco comprendidos, como las alucinaciones.
- El retorno de la inversión (ROI) de la IA aún no se ha demostrado en el mundo real.
Además, Sundaramoorthy explicó que la IA generativa puede fallar tanto de forma maliciosa como benigna. Una falla maliciosa podría implicar que un atacante eluda las salvaguardas de la IA haciéndose pasar por un investigador de seguridad para extraer información confidencial, como contraseñas. Podría ocurrir una falla benigna cuando contenido sesgado ingresa involuntariamente en la salida de la IA debido a datos de entrenamiento mal filtrados.
Formas confiables de proteger las soluciones de IA
A pesar de la incertidumbre que rodea a la IA, existen algunas formas probadas y confiables de proteger las soluciones de IA de una manera razonablemente exhaustiva. Organizaciones estándar como NIST y OWASP proporcionan marcos de gestión de riesgos para trabajar con IA generativa. MITRE publica ATLAS Matrix, una biblioteca de tácticas y técnicas conocidas que los atacantes utilizan contra la IA.
Además, Microsoft ofrece herramientas de gobernanza y evaluación que los equipos de seguridad pueden utilizar para evaluar las soluciones de IA. Google ofrece su propia versión, Secure AI Framework.
Las organizaciones deben garantizar que los datos de los usuarios no ingresen a los datos del modelo de capacitación mediante un saneamiento y depuración de datos adecuados. Deberían aplicar el principio de privilegio mínimo al ajustar un modelo. Se deben utilizar métodos estrictos de control de acceso al conectar el modelo a fuentes de datos externas.
En última instancia, dijo Sundaramoorthy, “las mejores prácticas en cibernética son las mejores prácticas en inteligencia artificial”.
Usar IA o no usar IA
¿Qué tal si no utilizamos la IA en absoluto? La autora e investigadora de IA Janelle Shane, que habló en el discurso de apertura del Congreso de Seguridad ISC2, señaló que una opción para los equipos de seguridad es no utilizar IA debido a los riesgos que introduce.
Sundaramoorthy tomó un rumbo diferente. Si la IA puede acceder a documentos en una organización que debería estar aislada de cualquier aplicación externa, dijo: “Eso no es un problema de la IA. Ese es un problema de control de acceso”.
Descargo de responsabilidad: ISC2 pagó mi pasaje aéreo, alojamiento y algunas comidas para el evento del Congreso de Seguridad ISC2 que se llevó a cabo del 13 al 16 de octubre en Las Vegas.
