En la Cumbre de IA de Seúl, copatrocinada por la República de Corea y el Reino Unido, se reunieron organismos internacionales para discutir el avance global de la inteligencia artificial.
Entre los participantes se encontraban representantes de los gobiernos de 20 países, la Comisión Europea y las Naciones Unidas, así como destacados institutos académicos y grupos civiles. También asistieron varios gigantes de la inteligencia artificial, como OpenAI, Amazon, Microsoft, Meta y Google DeepMind.
La conferencia, que tuvo lugar los días 21 y 22 de mayo, fue continuación de la Cumbre de Seguridad de la IA, celebrada en Bletchley Park, Buckinghamshire, Reino Unido, en noviembre pasado.
Uno de los objetivos clave era avanzar hacia la formación de un conjunto global de estándares y regulaciones de seguridad de IA. Para ello se adoptaron una serie de medidas clave:
- Los gigantes tecnológicos se comprometieron a publicar marcos de seguridad para sus modelos de IA de vanguardia.
- Las naciones acordaron formar una red internacional de institutos de seguridad de IA.
- Las naciones acordaron colaborar en los umbrales de riesgo para los modelos de inteligencia artificial de vanguardia que podrían ayudar en la construcción de armas biológicas y químicas.
- El gobierno del Reino Unido ofrece hasta £8,5 millones en subvenciones para investigaciones destinadas a proteger a la sociedad de los riesgos de la IA.
La Secretaria de Tecnología del Reino Unido, Michelle Donelan, dijo en una declaración final: “Los acuerdos que hemos alcanzado en Seúl marcan el comienzo de la Fase Dos de nuestra agenda de Seguridad de la IA, en la que el mundo toma medidas concretas para volverse más resiliente a los riesgos de la IA y comienza una profundizar nuestra comprensión de la ciencia que sustentará un enfoque compartido para la seguridad de la IA en el futuro”.
1. Los gigantes tecnológicos se comprometieron a publicar marcos de seguridad para sus modelos de IA de vanguardia.
16 empresas mundiales de IA han acordado nuevos compromisos voluntarios para implementar las mejores prácticas relacionadas con la seguridad de la IA en la frontera. Frontier AI se define como modelos o sistemas de IA de uso general altamente capaces que pueden realizar una amplia variedad de tareas e igualar o superar las capacidades presentes en los modelos más avanzados.
Las empresas abajo firmantes son:
- Amazonas (Estados Unidos).
- Antrópico (EE.UU.).
- Coheré (Canadá).
- Google usa).
- G42 (Emiratos Árabes Unidos).
- IBM (Estados Unidos).
- Inflexión AI (EE.UU.).
- Meta (Estados Unidos).
- Microsoft (Estados Unidos).
- Mistral AI (Francia).
- Naver (Corea del Sur).
- OpenAI (EE.UU.).
- Samsung Electronics (Corea del Sur).
- Instituto de Innovación Tecnológica (Emiratos Árabes Unidos).
- xAI (Estados Unidos).
- Zhipu.ai (China).
Los llamados Compromisos de Seguridad de Frontier AI prometen lo siguiente:
- Las organizaciones identifican, evalúan y gestionan eficazmente los riesgos al desarrollar e implementar sus modelos y sistemas de IA de vanguardia.
- Las organizaciones son responsables de desarrollar e implementar de forma segura sus modelos y sistemas de IA de vanguardia.
- Los enfoques de las organizaciones respecto de la seguridad fronteriza de la IA son adecuadamente transparentes para los actores externos, incluidos los gobiernos.
Los compromisos también exigen que estas empresas tecnológicas publiquen marcos de seguridad sobre cómo medirán el riesgo de los modelos de frontera que desarrollen. Estos marcos examinarán el potencial de uso indebido de la IA, teniendo en cuenta sus capacidades, salvaguardias y contextos de implementación. Las empresas deben señalar cuándo los riesgos graves se “considerarían intolerables” y resaltar qué harán para garantizar que no se superen los umbrales.
VER: Definición de IA generativa: cómo funciona, beneficios y peligros
Si las mitigaciones no mantienen los riesgos dentro de los umbrales, las empresas abajo firmantes han acordado “no desarrollar ni implementar (el) modelo o sistema en absoluto”. Sus umbrales se darán a conocer antes de la Cumbre de Acción sobre IA en Francia, prevista para febrero de 2025.
Sin embargo, los críticos argumentan que estas regulaciones voluntarias pueden no ser lo suficientemente estrictas como para impactar sustancialmente las decisiones comerciales de estos gigantes de la IA.
“La verdadera prueba será qué tan bien estas empresas cumplen sus compromisos y qué tan transparentes son en sus prácticas de seguridad”, dijo Joseph Thacker, ingeniero principal de inteligencia artificial de la empresa de seguridad AppOmni. “No vi ninguna mención de las consecuencias y alinear los incentivos es extremadamente importante”.
Fran Bennett, director interino del Instituto Ada Lovelace, dijo a The Guardian: “Es problemático que las empresas determinen qué es seguro y qué es peligroso, y elijan voluntariamente qué hacer al respecto.
“Es fantástico pensar en la seguridad y establecer normas, pero ahora hace falta algo de fuerza: se necesita regulación y algunas instituciones que sean capaces de trazar la línea desde la perspectiva de las personas afectadas, no de las empresas que construyen las cosas.”
2. Las naciones acordaron formar una red internacional de institutos de seguridad de IA
Los líderes mundiales de 10 países y la UE acordaron colaborar en la investigación sobre la seguridad de la IA formando una red de Institutos de Seguridad de la IA. Cada uno de ellos firmó la Declaración de Intención de Seúl para la Cooperación Internacional en Ciencias de la Seguridad de la IA, que establece que fomentarán “la cooperación y el diálogo internacional sobre la inteligencia artificial (IA) frente a sus avances sin precedentes y el impacto en nuestras economías y sociedades”.
Las naciones que firmaron la declaración son:
- Australia.
- Canadá.
- Unión Europea.
- Francia.
- Alemania.
- Italia.
- Japón.
- República de Corea.
- Republica de Singapur.
- Reino Unido.
- Estados Unidos de América.
Las instituciones que formarán la red serán similares al Instituto de Seguridad de IA del Reino Unido, que se lanzó en la Cumbre de Seguridad de IA de noviembre. Tiene los tres objetivos principales: evaluar los sistemas de IA existentes, realizar investigaciones fundamentales sobre la seguridad de la IA y compartir información con otros actores nacionales e internacionales.
VER: El Instituto de Seguridad de IA del Reino Unido lanza una plataforma de pruebas de código abierto
Estados Unidos tiene su propio Instituto de Seguridad de IA, que fue establecido formalmente por el NIST en febrero de 2024. Fue creado para trabajar en las acciones prioritarias descritas en la Orden Ejecutiva de IA emitida en octubre de 2023; Estas acciones incluyen el desarrollo de estándares para la seguridad de los sistemas de IA. Corea del Sur, Francia y Singapur también han creado centros de investigación similares en los últimos meses.
Donelan atribuyó el mérito al “efecto Bletchley” (la formación del Instituto de Seguridad de IA del Reino Unido en la Cumbre de Seguridad de IA) por la formación de la red internacional.
En abril de 2024, el gobierno del Reino Unido acordó formalmente trabajar con los EE. UU. en el desarrollo de pruebas para modelos avanzados de IA, en gran medida compartiendo los desarrollos realizados por sus respectivos Institutos de Seguridad de IA. El nuevo acuerdo de Seúl prevé la creación de institutos similares en otras naciones que se unan a la colaboración.
Para promover el desarrollo seguro de la IA a nivel mundial, la red de investigación:
- Garantizar la interoperabilidad entre el trabajo técnico y la seguridad de la IA mediante el uso de un enfoque basado en riesgos en el diseño, desarrollo, implementación y uso de la IA.
- Comparta información sobre los modelos, incluidas sus limitaciones, capacidades, riesgos y cualquier incidente de seguridad en el que estén involucrados.
- Comparta las mejores prácticas sobre seguridad de la IA.
- Promover la diversidad sociocultural, lingüística y de género y la sostenibilidad ambiental en el desarrollo de la IA.
- Colaborar en la gobernanza de la IA.
Los Institutos de Seguridad de la IA tendrán que demostrar su progreso en las pruebas y evaluaciones de la seguridad de la IA en la Cumbre de Impacto de la IA del próximo año en Francia, para que puedan avanzar en las discusiones sobre la regulación.
3. La UE y 27 naciones acordaron colaborar en umbrales de riesgo para modelos de IA de frontera que podrían ayudar en la construcción de armas biológicas y químicas.
Varias naciones han acordado colaborar en el desarrollo de umbrales de riesgo para los sistemas fronterizos de inteligencia artificial que podrían representar graves amenazas si se utilizan indebidamente. También acordarán cuándo las capacidades del modelo podrían plantear “riesgos graves” sin las mitigaciones adecuadas.
Estos sistemas de alto riesgo incluyen aquellos que podrían ayudar a los malos actores a acceder a armas biológicas o químicas y aquellos que tienen la capacidad de evadir la supervisión humana sin permiso humano. Una IA podría lograr esto último mediante la elusión de salvaguardias, la manipulación o la replicación autónoma.
Los firmantes desarrollarán sus propuestas de umbrales de riesgo con empresas de IA, la sociedad civil y el mundo académico y las discutirán en la Cumbre de Acción de IA en París.
VER: NIST establece un consorcio de seguridad de IA
La Declaración Ministerial de Seúl, firmada por 27 naciones y la UE, vincula a los países con compromisos similares asumidos por 16 empresas de IA que aceptaron los Compromisos de Seguridad de Frontier AI. China, en particular, no firmó la declaración a pesar de estar involucrada en la cumbre.
Las naciones que firmaron la Declaración Ministerial de Seúl son Australia, Canadá, Chile, Francia, Alemania, India, Indonesia, Israel, Italia, Japón, Kenia, México, Países Bajos, Nigeria, Nueva Zelanda, Filipinas, República de Corea, Ruanda. Reino de Arabia Saudita, Singapur, España, Suiza, Türkiye, Ucrania, Emiratos Árabes Unidos, Reino Unido, Estados Unidos de América y Unión Europea.
4. El gobierno del Reino Unido ofrece hasta £8,5 millones en subvenciones para investigaciones destinadas a proteger a la sociedad de los riesgos de la IA.
Donelan anunció que el gobierno otorgará hasta £8,5 millones en subvenciones de investigación para el estudio de la mitigación de los riesgos de la IA, como los deepfakes y los ciberataques. Los beneficiarios trabajarán en el ámbito de la llamada “seguridad sistémica de la IA”, que busca comprender e intervenir en el nivel social en el que operan los sistemas de IA, en lugar de los sistemas en sí.
VER: 5 estafas deepfake que amenazan a las empresas
Se podrían considerar ejemplos de propuestas elegibles para una subvención rápida para la seguridad de la IA sistémica:
- Frenar la proliferación de imágenes falsas y desinformación interviniendo en las plataformas digitales que las difunden.
- Prevenir ciberataques basados en IA en infraestructuras críticas, como aquellas que proporcionan energía o atención médica.
- Monitorear o mitigar los efectos secundarios potencialmente dañinos de los sistemas de inteligencia artificial que toman acciones autónomas en plataformas digitales, como los robots de redes sociales.
Los proyectos elegibles también podrían cubrir formas que podrían ayudar a la sociedad a aprovechar los beneficios de los sistemas de IA y adaptarse a las transformaciones que ha provocado, por ejemplo mediante una mayor productividad. Los solicitantes deben tener su sede en el Reino Unido, pero se les animará a colaborar con otros investigadores de todo el mundo, potencialmente asociados con institutos internacionales de seguridad de la IA.
El programa Fast Grant, que espera ofrecer alrededor de 20 subvenciones, está dirigido por el Instituto de Seguridad de IA del Reino Unido, en asociación con el Instituto de Investigación e Innovación del Reino Unido y el Instituto Alan Turing. Están buscando específicamente iniciativas que “ofrezcan enfoques concretos y viables para los riesgos sistémicos significativos de la IA”. Las propuestas más prometedoras se convertirán en proyectos a más largo plazo y podrán recibir financiación adicional.
El Primer Ministro del Reino Unido, Rishi Sunak, también anunció los 10 finalistas del Premio Manchester, y cada equipo recibirá £100.000 para desarrollar sus innovaciones en IA en energía, medio ambiente o infraestructura.
