El equipo SURGe de Splunk ha asegurado a las organizaciones australianas que proteger los modelos de lenguajes grandes de IA contra amenazas comunes, como ataques de inyección rápida, se puede lograr utilizando las herramientas de seguridad existentes. Sin embargo, pueden surgir vulnerabilidades de seguridad si las organizaciones no abordan las prácticas de seguridad fundamentales.
Shannon Davis, principal estratega de seguridad de Splunk SURGe con sede en Melbourne, dijo a TechRepublic que Australia estaba mostrando una mayor conciencia de seguridad con respecto a los LLM en los últimos meses. Describió el año pasado como el “Salvaje Oeste”, donde muchos se apresuraron a experimentar con LLM sin priorizar la seguridad.
Las propias investigaciones de Splunk sobre tales vulnerabilidades utilizaron como marco el “Top 10 para modelos de lenguajes grandes” del Open Worldwide Application Security Project. El equipo de investigación descubrió que las organizaciones pueden mitigar muchos riesgos de seguridad aprovechando las prácticas y herramientas de ciberseguridad existentes.
Los principales riesgos de seguridad que enfrentan los modelos de lenguajes grandes
En el informe de OWASP, el equipo de investigación describió tres vulnerabilidades que son fundamentales para abordar en 2024.
Ataques de inyección rápida
OWASP define la inyección rápida como una vulnerabilidad que ocurre cuando un atacante manipula un LLM a través de entradas manipuladas.
Ya se han documentado casos en todo el mundo en los que indicaciones diseñadas provocaron que los LLM produjeran resultados erróneos. En un caso, un LLM fue convencido de vender un automóvil a alguien por solo 1 dólar estadounidense, mientras que un chatbot de Air Canada citó incorrectamente la política de duelo de la compañía.
Davis dijo que los piratas informáticos u otras personas que “obtienen las herramientas LLM para hacer cosas que se supone que no deben hacer” son un riesgo clave para el mercado.
“Los grandes actores están poniendo muchas barreras alrededor de sus herramientas, pero todavía hay muchas maneras de lograr que hagan cosas que esas barreras están tratando de evitar”, añadió.
VER: Cómo protegerse contra el OWASP diez y más allá
Fuga de información privada
Los empleados podrían introducir datos en herramientas que pueden ser de propiedad privada, a menudo extraterritoriales, lo que daría lugar a la filtración de propiedad intelectual e información privada.
La empresa de tecnología regional Samsung experimentó uno de los casos más destacados de filtración de información privada cuando se descubrió que ingenieros pegaban datos confidenciales en ChatGPT. Sin embargo, también existe el riesgo de que datos confidenciales y privados se incluyan en conjuntos de datos de entrenamiento y se filtren potencialmente.
“Otra gran área de preocupación es que los datos PII se incluyan en conjuntos de datos de capacitación y luego se filtren, o incluso que las personas envíen datos PII o datos confidenciales de la empresa a estas diversas herramientas sin comprender las repercusiones de hacerlo”, enfatizó Davis.
Dependencia excesiva de los LLM
La dependencia excesiva ocurre cuando una persona u organización confía en información de un LLM, aunque sus resultados puedan ser erróneos, inapropiados o inseguros.
Recientemente se produjo un caso de dependencia excesiva de los LLM en Australia, cuando un trabajador de protección infantil utilizó ChatGPT para ayudar a producir un informe presentado a un tribunal en Victoria. Si bien agregar información confidencial fue problemático, el informe generado por AI también minimizó los riesgos que enfrenta un niño involucrado en el caso.
Davis explicó que la dependencia excesiva era un tercer riesgo clave que las organizaciones debían tener en cuenta.
“Esta es una pieza de educación para el usuario, y para asegurarse de que la gente entienda que no se debe confiar implícitamente en estas herramientas”, dijo.
Riesgos de seguridad adicionales de LLM a tener en cuenta
Es posible que otros riesgos incluidos en el top 10 de OWASP no requieran atención inmediata. Sin embargo, Davis dijo que las organizaciones deben ser conscientes de estos riesgos potenciales, particularmente en áreas como riesgo excesivo de agencia, robo de modelos y envenenamiento de datos de capacitación.
Agencia excesiva
Agencia excesiva se refiere a acciones dañinas realizadas en respuesta a resultados inesperados o ambiguos de un LLM, independientemente de la causa del mal funcionamiento del LLM. Potencialmente, esto podría ser el resultado de que actores externos accedan a herramientas LLM e interactúen con los resultados del modelo a través de API.
“Creo que la gente está siendo conservadora, pero todavía me preocupa que, con el poder que potencialmente tienen estas herramientas, podamos ver algo… que despierte a todos los demás sobre lo que potencialmente podría suceder”, dijo Davis.
Robo de modelo LLM
Davis dijo que la investigación sugiere que un modelo podría robarse mediante inferencia: enviando una gran cantidad de indicaciones al modelo, obteniendo varias respuestas y, posteriormente, comprendiendo los componentes del modelo.
“El robo de modelos es algo que podría ocurrir en el futuro debido al enorme costo de la capacitación de modelos”, dijo Davis. “Se han publicado varios documentos sobre el robo de modelos, pero se trata de una amenaza que llevaría mucho tiempo demostrarlo”.
VER: El gasto australiano en TI aumentará en 2025 en ciberseguridad e inteligencia artificial
Envenenamiento de datos de entrenamiento
Las empresas ahora son más conscientes de que los datos que utilizan para los modelos de IA determinan la calidad del modelo. Además, también son más conscientes de que el envenenamiento intencional de datos podría afectar los resultados. Davis dijo que ciertos archivos dentro de modelos llamados embudos de pepinillos, si se envenenan, causarían resultados inadvertidos para los usuarios del modelo.
“Creo que la gente simplemente debe tener cuidado con los datos que utiliza”, advirtió. “Entonces, si encuentran una fuente de datos, un conjunto de datos para entrenar su modelo, necesitan saber que los datos son buenos y limpios y que no contienen elementos que puedan exponerlos a que sucedan cosas malas”.
Cómo lidiar con los riesgos de seguridad comunes que enfrentan los LLM
El equipo de investigación SURGe de Splunk descubrió que, en lugar de asegurar un LLM directamente, la forma más sencilla de asegurar LLM utilizando el conjunto de herramientas existente de Splunk era centrarse en la interfaz del modelo.
El uso de registros estándar similares a otras aplicaciones podría resolver vulnerabilidades de inyección rápida, manejo inseguro de resultados, denegación de servicio de modelos, divulgación de información confidencial y robo de modelos.
“Descubrimos que podíamos registrar las indicaciones que los usuarios ingresan en el LLM y luego la respuesta que sale del LLM; Esos dos datos por sí solos nos dieron cinco de los 10 mejores de OWASP”, explicó Davis. “Si el desarrollador de LLM se asegura de que esas indicaciones y respuestas se registren, y Splunk proporciona una manera fácil de recopilar esos datos, podemos ejecutar cualquier cantidad de nuestras consultas o detecciones a través de eso”.
Davis recomienda que las organizaciones adopten un enfoque similar que priorice la seguridad para los LLM y las aplicaciones de IA que se ha utilizado para proteger las aplicaciones web en el pasado.
“Tenemos un dicho que dice que comer tus vegetales cibernéticos (o hacer lo básico) te brinda el 99,99% de tu protección”, señaló. “Y la gente realmente debería concentrarse primero en esas áreas. Es el mismo caso con los LLM”.
