Profesionales de todas las industrias están explorando la IA generativa para diversas tareas, incluida la creación de materiales de capacitación en seguridad de la información, pero ¿será realmente efectiva?
Brian Callahan, profesor titular y director del programa de posgrado en tecnología de la información y ciencias web en el Instituto Politécnico Rensselaer, y Shoshana Sugerman, estudiante universitaria de este mismo programa, presentaron los resultados de su experimento sobre este tema en el Congreso de Seguridad ISC2 en Las Vegas en octubre. .
El experimento implicó la creación de capacitación cibernética utilizando ChatGPT
La pregunta principal del experimento fue “¿Cómo podemos capacitar a los profesionales de la seguridad para que administren mejores indicaciones para que una IA cree una capacitación de seguridad realista?” En relación con esto, ¿deben los profesionales de la seguridad también ser ingenieros rápidos para diseñar una capacitación eficaz con IA generativa?
Para abordar estas preguntas, los investigadores asignaron la misma tarea a tres grupos: expertos en seguridad con certificaciones ISC2, expertos en ingeniería rápida autoidentificados y personas con ambas calificaciones. Su tarea era crear una formación de concientización sobre ciberseguridad utilizando ChatGPT. Posteriormente, la capacitación se distribuyó a la comunidad del campus, donde los usuarios brindaron comentarios sobre la efectividad del material.
Los investigadores plantearon la hipótesis de que no habría una diferencia significativa en la calidad del entrenamiento. Pero si surgiera una diferencia, revelaría qué habilidades eran las más importantes. ¿Resultarían más eficaces los avisos creados por expertos en seguridad o profesionales de ingeniería?
VER: Los agentes de IA pueden ser el siguiente paso para aumentar la complejidad de las tareas que la IA puede manejar.
Los participantes en la capacitación calificaron altamente el material, pero ChatGPT cometió errores
Los investigadores distribuyeron los materiales de capacitación resultantes, que habían sido ligeramente editados, pero incluían principalmente contenido generado por IA, a los estudiantes, profesores y personal de Rensselaer.
Los resultados indicaron que:
- Las personas que tomaron la capacitación diseñada por ingenieros rápidos se calificaron como más hábiles para evitar ataques de ingeniería social y seguridad de contraseñas.
- Aquellos que tomaron la capacitación diseñada por expertos en seguridad se calificaron como más hábiles para reconocer y evitar ataques de ingeniería social, detectar phishing e ingeniería rápida.
- Las personas que tomaron la capacitación diseñada por dos expertos se calificaron como más adeptas a las ciberamenazas y a la detección de phishing.
Callahan señaló que parecía extraño que las personas capacitadas por expertos en seguridad sintieran que eran mejores en ingeniería rápida. Sin embargo, quienes crearon la capacitación generalmente no calificaron muy bien el contenido escrito por IA.
“Nadie sintió que su primer pase fuera lo suficientemente bueno como para dárselo a la gente”, dijo Callahan. “Requería una revisión cada vez mayor”.
En un caso, ChatGPT produjo lo que parecía una guía coherente y exhaustiva para denunciar correos electrónicos de phishing. Sin embargo, nada de lo escrito en la diapositiva era exacto. La IA había inventado procesos y una dirección de correo electrónico de soporte de TI.
Solicitar a ChatGPT que se vincule al portal de seguridad de RPI cambió radicalmente el contenido y generó instrucciones precisas. En este caso, los investigadores emitieron una corrección a los estudiantes que habían obtenido información inexacta en sus materiales de capacitación. Ninguno de los participantes en la capacitación identificó que la información de la capacitación fuera incorrecta, anotó Sugerman.
Revelar si las capacitaciones están escritas por IA es clave
“Es muy posible que ChatGPT conozca sus políticas si sabe cómo activarlas correctamente”, dijo Callahan. En particular, señaló, todas las políticas de RPI están disponibles públicamente en línea.
Los investigadores solo revelaron que el contenido fue generado por IA después de que se realizó la capacitación. Las reacciones fueron encontradas, dijeron Callahan y Sugerman:
- Muchos estudiantes se mostraron “indiferentes” y esperaban que algunos materiales escritos en el futuro fueran elaborados por IA.
- Otros estaban “sospechosos” o “asustados”.
- A algunos les pareció “irónico” que la formación, centrada en la seguridad de la información, hubiera sido creada por IA.
Callahan dijo que cualquier equipo de TI que utilice IA para crear materiales de capacitación reales, en lugar de realizar un experimento, debería revelar el uso de IA en la creación de cualquier contenido compartido con otras personas.
“Creo que tenemos pruebas provisionales de que la IA generativa puede ser una herramienta valiosa”, dijo Callahan. “Pero, como cualquier herramienta, conlleva riesgos. Ciertas partes de nuestra capacitación fueron simplemente incorrectas, amplias o genéricas”.
Algunas limitaciones del experimento.
Callahan señaló algunas limitaciones del experimento.
“Existe literatura que dice que ChatGPT y otras IA generativas hacen que las personas sientan que han aprendido cosas aunque es posible que no las hayan aprendido”, explicó.
Callahan señaló que evaluar a las personas sobre sus habilidades reales, en lugar de pedirles que informaran si sentían que habían aprendido, habría llevado más tiempo del asignado para el estudio.
Después de la presentación, pregunté si Callahan y Sugarman habían considerado utilizar un grupo de control de entrenamiento escrito íntegramente por humanos. Así fue, dijo Callahan. Sin embargo, dividir a los responsables de la formación en expertos en ciberseguridad e ingenieros rápidos fue una parte clave del estudio. No había suficientes personas disponibles en la comunidad universitaria que se identificaran como expertos en ingeniería rápida para poblar una categoría de control y dividir aún más los grupos.
La presentación del panel incluyó datos de un pequeño grupo inicial de participantes: 51 examinados y tres responsables de la prueba. En un correo electrónico de seguimiento, Callahan le dijo a TechRepublic que la versión final para publicación incluirá participantes adicionales, ya que el experimento inicial era una investigación piloto en progreso.
Descargo de responsabilidad: ISC2 pagó mi pasaje aéreo, alojamiento y algunas comidas para el evento del Congreso de Seguridad de ISC2 que se llevó a cabo del 13 al 16 de octubre en Las Vegas.
