Una encuesta reciente realizada a 500 profesionales de la seguridad realizada por HackerOne, una plataforma de investigación de seguridad, encontró que el 48% cree que la IA representa el riesgo de seguridad más importante para su organización. Entre sus mayores preocupaciones relacionadas con la IA se incluyen:
- Datos de entrenamiento filtrados (35%).
- Uso no autorizado (33%).
- La piratería de modelos de IA por parte de personas externas (32%).
Estos temores resaltan la urgente necesidad de que las empresas reevalúen sus estrategias de seguridad de IA antes de que las vulnerabilidades se conviertan en amenazas reales.
La IA tiende a generar falsos positivos para los equipos de seguridad
Si bien el informe completo de seguridad impulsado por hackers no estará disponible hasta finales de este otoño, una investigación adicional de un informe del SANS Institute patrocinado por HackerOne reveló que el 58% de los profesionales de seguridad creen que los equipos de seguridad y los actores de amenazas podrían encontrarse en una “carrera armamentista”. para aprovechar tácticas y técnicas de IA generativa en su trabajo.
Los profesionales de seguridad en la encuesta de SANS dijeron que han tenido éxito al utilizar la IA para automatizar tareas tediosas (71%). Sin embargo, los mismos participantes reconocieron que los actores de amenazas podrían explotar la IA para hacer sus operaciones más eficientes. En particular, los encuestados “estaban más preocupados por las campañas de phishing impulsadas por IA (79%) y la explotación automatizada de vulnerabilidades (74%)”.
VER: Los líderes de seguridad se están frustrando con el código generado por IA.
“Los equipos de seguridad deben encontrar las mejores aplicaciones de IA para mantenerse al día con los adversarios y al mismo tiempo considerar sus limitaciones existentes, o arriesgarse a crear más trabajo para ellos mismos”, dijo Matt Bromiley, analista del Instituto SANS, en un comunicado de prensa.
¿La solución? Las implementaciones de IA deberían someterse a una revisión externa. Más de dos tercios de los encuestados (68%) eligieron la “revisión externa” como la forma más eficaz de identificar problemas de seguridad de la IA.
“Los equipos ahora son más realistas acerca de las limitaciones actuales de la IA” que el año pasado, dijo el arquitecto senior de soluciones de HackerOne, Dane Sherrets, en un correo electrónico a TechRepublic. “Los humanos aportan un contexto muy importante a la seguridad tanto defensiva como ofensiva que la IA aún no puede replicar. Problemas como las alucinaciones también han hecho que los equipos se muestren reacios a implementar la tecnología en sistemas críticos. Sin embargo, la IA sigue siendo excelente para aumentar la productividad y realizar tareas que no requieren un contexto profundo”.
Otros hallazgos de la encuesta de IA SANS 2024, publicada este mes, incluyen:
- El 38% planea adoptar la IA dentro de su estrategia de seguridad en el futuro.
- El 38,6% de los encuestados dijeron que se habían enfrentado a deficiencias al utilizar la IA para detectar o responder a las ciberamenazas.
- El 40% cita las implicaciones legales y éticas como un desafío para la adopción de la IA.
- El 41,8% de las empresas se ha enfrentado al rechazo de los empleados que no confían en las decisiones de la IA, lo que, según especula SANS, se debe “a la falta de transparencia”.
- El 43% de las organizaciones utilizan actualmente la IA dentro de su estrategia de seguridad.
- La tecnología de inteligencia artificial dentro de las operaciones de seguridad se utiliza con mayor frecuencia en sistemas de detección de anomalías (56,9%), detección de malware (50,5%) y respuesta automatizada a incidentes (48,9%).
- El 58% de los encuestados dijo que los sistemas de IA tienen dificultades para detectar nuevas amenazas o responder a indicadores atípicos, lo que SANS atribuye a la falta de datos de capacitación.
- De aquellos que informaron deficiencias en el uso de la IA para detectar o responder a amenazas cibernéticas, el 71% dijo que la IA generaba falsos positivos.
Anthropic busca opiniones de investigadores de seguridad sobre medidas de seguridad de la IA
Anthropic, el fabricante de IA generativa, amplió su programa de recompensas por errores en HackerOne en agosto.
Específicamente, Anthropic quiere que la comunidad de hackers ponga a prueba “las mitigaciones que utilizamos para evitar el uso indebido de nuestros modelos”, incluido intentar romper las barreras destinadas a evitar que la IA proporcione recetas para explosivos o ataques cibernéticos. Anthropic dice que otorgará hasta $15,000 a aquellos que identifiquen con éxito nuevos ataques de jailbreak y brindará a los investigadores de seguridad de HackerOne acceso temprano a su próximo sistema de mitigación de seguridad.
