El sesgo generativo de la IA, impulsado por los datos de entrenamiento de modelos, sigue siendo un gran problema para las organizaciones, según los principales expertos en datos e IA. Estos expertos recomiendan que las organizaciones de APAC tomen medidas proactivas para diseñar o eliminar sesgos a medida que llevan a producción casos de uso de IA generativa.
Teresa Tung, directora general senior de Accenture, dijo a TechRepublic que los modelos de IA generativa se han entrenado principalmente con datos de Internet en inglés, con una fuerte perspectiva norteamericana, y era probable que perpetuaran los puntos de vista prevalecientes en Internet. Esto crea problemas para los líderes tecnológicos en APAC.
“Solo desde la perspectiva del idioma, tan pronto como no estás basado en inglés, si estás en China o Tailandia y otros lugares, no ves tu idioma ni tus perspectivas representadas en el modelo”, dijo.
El talento tecnológico y empresarial ubicado en países de habla no inglesa también está en desventaja, afirmó Tung. La desventaja surge porque la experimentación con IA generativa la realizan en gran medida “anglófonos y personas que son nativas del inglés o que pueden trabajar con él”.
Si bien se están desarrollando muchos modelos locales, particularmente en China, algunos idiomas de la región no están cubiertos. “Esa brecha de accesibilidad se va a agrandar, de una manera también sesgada, además de propagar algunas de las perspectivas que predominan en ese corpus de [internet] datos”, dijo.
El sesgo de la IA podría producir riesgos organizacionales
Kim Oosthuizen, jefe de IA de SAP Australia y Nueva Zelanda, señaló que el sesgo se extiende al género. En un estudio de Bloomberg sobre imágenes generadas por Stable Diffusion, las mujeres estaban muy subrepresentadas en imágenes de profesiones mejor remuneradas, como las médicas, a pesar de tasas de participación reales más altas en estas profesiones.
“Estos sesgos exagerados que crean los sistemas de IA se conocen como daños representacionales”, dijo a una audiencia en el reciente Festival SXSW en Sydney, Australia. “Estos son daños que degradan a ciertos grupos sociales al reforzar el status quo o amplificar los estereotipos”, afirmó.
“La IA es tan buena como los datos con los que se entrena; Si les damos a estos sistemas los datos incorrectos, simplemente amplificarán esos resultados y seguirán haciéndolo continuamente. Eso es lo que sucede cuando los datos y las personas que desarrollan la tecnología no tienen una visión representativa del mundo”.
VER: Por qué los proyectos de IA generativa corren el riesgo de fracasar sin la comprensión de los ejecutivos de negocios
Si no se hace nada para mejorar los datos, el problema podría empeorar. Oosthuizen citó predicciones de expertos de que grandes proporciones de las imágenes de Internet podrían generarse artificialmente en tan sólo unos pocos años. Explicó que “cuando excluyamos a grupos de personas en el futuro, esto seguirá haciéndolo”.
En otro ejemplo de sesgo de género, Oosthuizen citó un motor de predicción de IA que analizaba muestras de sangre en busca de cáncer de hígado. La IA terminó teniendo el doble de probabilidades de contraer la enfermedad en hombres que en mujeres porque el modelo no tenía suficientes mujeres en el conjunto de datos que estaba utilizando para producir sus resultados.
Tung dijo que los entornos de salud representan un riesgo particular para las organizaciones, ya que podría ser peligroso cuando se recomiendan tratamientos basados en resultados sesgados. Por el contrario, el uso de la IA en las solicitudes de empleo y la contratación podría ser problemático si no se complementa con un ser humano informado y una lente de IA responsable.
Los desarrolladores y usuarios de modelos de IA deben diseñar en torno al sesgo de la IA
Las empresas deben adaptar la forma en que diseñan modelos generativos de IA o integran modelos de terceros en sus negocios para superar los datos sesgados o proteger a sus organizaciones de ellos.
Por ejemplo, los productores de modelos están trabajando para ajustar los datos utilizados para entrenar sus modelos inyectando fuentes de datos nuevas y relevantes o creando datos sintéticos para introducir equilibrio, dijo Tung. Un ejemplo de género sería el uso de datos sintéticos para que un modelo sea representativo y produzca tanto “ella” como “él”.
Los usuarios organizacionales de modelos de IA deberán realizar pruebas para detectar sesgos de IA de la misma manera que realizan controles de calidad para el código de software o cuando utilizan API de terceros proveedores, dijo Tung.
“Al igual que se ejecuta la prueba de software, esto significa obtener datos correctos”, explicó. “Como usuario de modelo, voy a tener todas estas pruebas de validación que buscan sesgos de género, sesgos de diversidad; podría tratarse simplemente de precisión, asegurándonos de que tengamos mucho de eso para probar las cosas que nos importan”.
VER: La formación y orientación en IA es un problema para los empleados
Además de las pruebas, las organizaciones deben implementar barreras de seguridad fuera de sus modelos de IA que puedan corregir el sesgo o la precisión antes de pasar los resultados a un usuario final. Tung dio el ejemplo de una empresa que utiliza IA generativa para generar código que identificó una nueva vulnerabilidad de Python.
“Tendré que tomar esa vulnerabilidad y haré que un experto que conozca Python genere algunas pruebas (estos pares de preguntas y respuestas que muestran lo bueno y posiblemente las respuestas incorrectas) y luego voy a probar el modelo para ver si lo hace o no”, dijo Tung.
“Si no funciona con la salida adecuada, entonces tengo que solucionarlo”, añadió.
La diversidad en la industria de la tecnología de IA ayudará a reducir los prejuicios
Oosthuizen dijo que para mejorar el sesgo de género en la IA, es importante que las mujeres “tengan un asiento en la mesa”. Esto significa incluir sus perspectivas en todos los aspectos del recorrido de la IA, desde la recopilación de datos hasta la toma de decisiones y el liderazgo. Esto requeriría mejorar la percepción de las carreras de IA entre las mujeres, afirmó.
VER: Salesforce ofrece 5 pautas para reducir el sesgo de la IA
Tung estuvo de acuerdo en que mejorar la representación es muy importante, ya sea por género, raza, edad u otros datos demográficos. Dijo que tener equipos multidisciplinarios “es realmente clave” y señaló que una ventaja de la IA es que “hoy en día no todo el mundo tiene que ser científico de datos o poder aplicar estos modelos”.
“Mucho de esto está en la aplicación”, explicó Tung. “Así que en realidad es alguien que conoce muy bien marketing, finanzas o servicio al cliente, y no se limita simplemente a un grupo de talentos que, francamente, no es tan diverso como debería ser. Entonces, cuando pensamos en la IA actual, es una gran oportunidad poder expandir esa diversidad”.
