El requisito de probar modelos de IA, mantener a los humanos informados y dar a las personas el derecho a cuestionar las decisiones automatizadas tomadas por la IA son solo algunas de las 10 barreras obligatorias propuestas por el gobierno australiano como formas de minimizar el riesgo de la IA y generar confianza pública en la tecnología.
Lanzadas para consulta pública por el ministro de Industria y Ciencia, Ed Husic, en septiembre de 2024, las barreras de seguridad pronto podrían aplicarse a la IA utilizada en entornos de alto riesgo. Se complementan con un nuevo Estándar Voluntario de Seguridad de IA diseñado para alentar a las empresas a adoptar las mejores prácticas de IA de inmediato.
¿Cuáles son las barreras de seguridad obligatorias para la IA que se proponen?
Las 10 barreras obligatorias propuestas por Australia están diseñadas para establecer expectativas claras sobre cómo utilizar la IA de forma segura y responsable al desarrollarla e implementarla en entornos de alto riesgo. Buscan abordar los riesgos y daños de la IA, generar confianza pública y brindar a las empresas una mayor seguridad regulatoria.
Barandilla 1: Responsabilidad
De manera similar a los requisitos de la legislación canadiense y de la UE sobre IA, las organizaciones deberán establecer, implementar y publicar un proceso de rendición de cuentas para el cumplimiento normativo. Esto incluiría aspectos como políticas para la gestión de datos y riesgos y funciones y responsabilidades internas claras.
Barandilla 2: Gestión de riesgos
Será necesario establecer e implementar un proceso de gestión de riesgos para identificar y mitigar los riesgos de la IA. Esto debe ir más allá de una evaluación técnica de riesgos y considerar los posibles impactos en las personas, los grupos comunitarios y la sociedad antes de que se pueda poner en uso un sistema de IA de alto riesgo.
VER: 9 casos de uso innovadores de la IA en empresas australianas en 2024
Barandilla 3: Protección de datos
Las organizaciones deberán proteger los sistemas de inteligencia artificial para salvaguardar la privacidad con medidas de ciberseguridad, así como crear medidas sólidas de gobernanza de datos para gestionar la calidad de los datos y su procedencia. El gobierno observó que la calidad de los datos afecta directamente el rendimiento y la confiabilidad de un modelo de IA.
Barandilla 4: Pruebas
Los sistemas de IA de alto riesgo deberán probarse y evaluarse antes de comercializarlos. También deberán ser monitoreados continuamente una vez desplegados para garantizar que funcionen como se espera. Esto es para garantizar que cumplan con métricas de desempeño específicas, objetivas y mensurables y que se minimice el riesgo.
Barandilla 5: Control humano
Se requerirá una supervisión humana significativa para los sistemas de IA de alto riesgo. Esto significará que las organizaciones deben garantizar que los humanos puedan comprender eficazmente el sistema de IA, supervisar su funcionamiento e intervenir cuando sea necesario en toda la cadena de suministro de IA y durante todo el ciclo de vida de la IA.
Barandilla 6: información del usuario
Las organizaciones deberán informar a los usuarios finales si son objeto de alguna decisión basada en la IA, si interactúan con la IA o si consumen algún contenido generado por la IA, para que sepan cómo se utiliza la IA y dónde les afecta. Esto deberá comunicarse de manera clara, accesible y relevante.
Guardrail 7: IA desafiante
Las personas afectadas negativamente por los sistemas de IA tendrán derecho a cuestionar su uso o sus resultados. Las organizaciones deberán establecer procesos para que las personas afectadas por sistemas de IA de alto riesgo puedan impugnar las decisiones basadas en la IA o presentar quejas sobre su experiencia o tratamiento.
Barandilla 8: Transparencia
Las organizaciones deben ser transparentes con la cadena de suministro de IA en cuanto a datos, modelos y sistemas para ayudarlas a abordar el riesgo de manera efectiva. Esto se debe a que algunos actores pueden carecer de información crítica sobre cómo funciona un sistema, lo que lleva a una explicabilidad limitada, similar a los problemas con los modelos avanzados de IA actuales.
Guardrail 9: registros de IA
Será necesario conservar y mantener una variedad de registros sobre los sistemas de IA durante todo su ciclo de vida, incluida la documentación técnica. Las organizaciones deben estar preparadas para entregar estos registros a las autoridades pertinentes cuando lo soliciten y con el fin de evaluar su cumplimiento de las barandillas.
VER: Por qué los proyectos de IA generativa corren el riesgo de fracasar sin comprensión empresarial
Guardrail 10: evaluaciones de IA
Las organizaciones estarán sujetas a evaluaciones de conformidad, descritas como un mecanismo de rendición de cuentas y garantía de calidad, para demostrar que se han adherido a las barreras de seguridad para los sistemas de IA de alto riesgo. Estas serán realizadas por los desarrolladores del sistema de IA, terceros o entidades gubernamentales o reguladores.
¿Cuándo y cómo entrarán en vigor las 10 nuevas barandillas obligatorias?
Las barandillas obligatorias están sujetas a un proceso de consulta pública hasta el 4 de octubre de 2024.
Después de esto, el gobierno buscará finalizar las barreras de seguridad y ponerlas en vigor, según Husic, quien agregó que esto podría incluir la posible creación de una nueva Ley Australiana de IA.
Otras opciones incluyen:
- La adaptación de los marcos regulatorios existentes para incluir las nuevas barreras de seguridad.
- Introducir una legislación marco con las correspondientes modificaciones de la legislación existente.
Husic ha dicho que el gobierno hará esto “tan pronto como podamos”. Las barreras de seguridad nacieron de un proceso de consulta más largo sobre la regulación de la IA que ha estado en curso desde junio de 2023.
¿Por qué el gobierno está adoptando el enfoque que está adoptando respecto de la regulación?
El gobierno australiano está siguiendo a la UE al adoptar un enfoque basado en el riesgo para regular la IA. Este enfoque busca equilibrar los beneficios que la IA promete aportar con su implementación en entornos de alto riesgo.
Centrándose en entornos de alto riesgo
Las medidas preventivas propuestas en las barreras buscan “evitar daños catastróficos antes de que ocurran”, explicó el gobierno en su documento de propuestas de IA segura y responsable en Australia.
El gobierno definirá la IA de alto riesgo como parte de la consulta. Sin embargo, sugiere que considerará escenarios como impactos adversos a los derechos humanos de un individuo, impactos adversos a la salud o seguridad física o mental, y efectos legales como material difamatorio, entre otros riesgos potenciales.
Las empresas necesitan orientación sobre la IA
El gobierno afirma que las empresas necesitan barreras claras para implementar la IA de forma segura y responsable.
Un Índice de IA Responsable 2024 recientemente publicado, encargado por el Centro Nacional de IA, muestra que las empresas australianas sobreestiman constantemente su capacidad para emplear prácticas responsables de IA.
Los resultados del índice encontraron:
- El 78% de las empresas australianas cree que estaban implementando la IA de forma segura y responsable, pero sólo en el 29% de los casos fue así.
- Las organizaciones australianas están adoptando en promedio sólo 12 de 38 prácticas responsables de IA.
¿Qué deberían hacer ahora las empresas y los equipos de TI?
Las barreras de seguridad obligatorias crearán nuevas obligaciones para las organizaciones que utilizan IA en entornos de alto riesgo.
Es probable que los equipos de TI y seguridad participen en el cumplimiento de algunos de estos requisitos, incluidas las obligaciones de seguridad y calidad de los datos, y en garantizar la transparencia del modelo a lo largo de la cadena de suministro.
El estándar voluntario de seguridad de la IA
El gobierno ha publicado un estándar voluntario de seguridad de IA que ya está disponible para las empresas.
Los equipos de TI que quieran estar preparados pueden utilizar el Estándar de seguridad de IA para ayudar a que sus empresas estén al día con las obligaciones derivadas de cualquier legislación futura, que puede incluir las nuevas barreras de seguridad obligatorias.
El Estándar de seguridad de IA incluye consejos sobre cómo las empresas pueden aplicar y adoptar el estándar a través de ejemplos de estudios de casos específicos, incluido el caso de uso común de un chatbot de IA de propósito general.
