OpenAI destituyó la semana pasada a Aleksander Madry, uno de los principales ejecutivos de seguridad de OpenAI, de su puesto y lo reasignó a un trabajo centrado en el razonamiento de la IA, confirmaron a CNBC fuentes familiarizadas con la situación.
Madry era el jefe de preparación de OpenAI, un equipo que tenía “la tarea de rastrear, evaluar, pronosticar y ayudar a proteger contra riesgos catastróficos relacionados con los modelos de IA de vanguardia”, según una biografía de Madry.
Madry seguirá trabajando en el trabajo central de seguridad de la IA en su nuevo cargo, dijo OpenAI a CNBC.
Madry también es director del Centro de Aprendizaje Automático Implementable del MIT y codirector del cuerpo docente del Foro de Política de IA del MIT, funciones de las que actualmente está de licencia, según el sitio web de la universidad.
La decisión de reasignar a Madry se produjo menos de una semana antes de que un grupo de senadores demócratas enviara una carta al director ejecutivo de OpenAI, Sam Altman, sobre “preguntas sobre cómo OpenAI está abordando las preocupaciones de seguridad emergentes”.
La carta, enviada el lunes y vista por CNBC, también decía: “Buscamos información adicional de OpenAI sobre los pasos que la compañía está tomando para cumplir con sus compromisos públicos en materia de seguridad, cómo la compañía está evaluando internamente su progreso en esos compromisos y sobre la identificación y mitigación de amenazas a la ciberseguridad por parte de la empresa”.
OpenAI no respondió de inmediato a una solicitud de comentarios.
Los legisladores solicitaron que OpenAI respondiera con una serie de respuestas a preguntas específicas sobre sus prácticas de seguridad y compromisos financieros antes del 13 de agosto.
Todo es parte de un verano de crecientes preocupaciones de seguridad y controversias en torno a OpenAI, que junto con Google, Microsoft, Meta y otras compañías está al frente de una carrera armamentista generativa de IA, un mercado que se prevé superará el billón de dólares en ingresos en un plazo de un año. década, a medida que empresas de aparentemente todas las industrias se apresuran a agregar chatbots y agentes impulsados por inteligencia artificial para evitar quedarse atrás frente a los competidores.
A principios de este mes, Microsoft renunció a su puesto de observador en la junta directiva de OpenAI, afirmando en una carta vista por CNBC que ahora puede hacerse a un lado porque está satisfecho con la construcción de la junta directiva de la startup, que ha sido renovada en los ocho meses transcurridos desde un levantamiento que condujo a la breve destitución del director ejecutivo Sam Altman y amenazó la inversión masiva de Microsoft en OpenAI.
Pero el mes pasado, un grupo de empleados actuales y anteriores de OpenAI publicó una carta abierta en la que describían sus preocupaciones sobre el rápido avance de la industria de la inteligencia artificial a pesar de la falta de supervisión y de protección de los denunciantes para aquellos que desean hablar.
“Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto”, escribieron los empleados en ese momento.
Días después de la publicación de la carta, una fuente familiarizada con el asunto confirmó a CNBC que la FTC y el Departamento de Justicia estaban listos para abrir investigaciones antimonopolio sobre OpenAI, Microsoft y Nvidia, centrándose en la conducta de las empresas.
La presidenta de la FTC, Lina Khan, describió la acción de su agencia como una “investigación de mercado sobre las inversiones y asociaciones que se están formando entre los desarrolladores de IA y los principales proveedores de servicios en la nube”.
Los empleados actuales y anteriores escribieron en la carta de junio que las empresas de IA tienen “información sustancial no pública” sobre lo que puede hacer su tecnología, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos. de daño.
“También entendemos los graves riesgos que plantean estas tecnologías”, escribieron, añadiendo que las empresas “actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en todas ellas”. compartirlo voluntariamente.”
En mayo, OpenAI decidió disolver su equipo centrado en los riesgos a largo plazo de la IA apenas un año después de anunciar el grupo, confirmó a CNBC en ese momento una persona familiarizada con la situación.
La persona, que habló bajo condición de anonimato, dijo que algunos de los miembros del equipo están siendo reasignados a otros equipos dentro de la empresa.
El equipo se disolvió después de que sus líderes, el cofundador de OpenAI, Ilya Sutskever y Jan Leike, anunciaran su salida de la startup en mayo. Leike escribió en una publicación en X que la “cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes”.
El director ejecutivo Sam Altman dijo en ese momento en X que estaba triste por ver a Leike irse y que la compañía tenía más trabajo por hacer. Poco después, el cofundador de OpenAI, Greg Brockman, publicó una declaración atribuida a Brockman y Altman en X, afirmando que la compañía ha “creado conciencia sobre los riesgos y oportunidades de AGI para que el mundo pueda prepararse mejor para ello”.
“Me uní porque pensé que OpenAI sería el mejor lugar del mundo para realizar esta investigación”, escribió Leike en X en ese momento. “Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos a un punto de ruptura”.
Leike escribió que cree que una mayor parte del ancho de banda de la empresa debería centrarse en la seguridad, la supervisión, la preparación, la protección y el impacto social.
“Es bastante difícil solucionar estos problemas y me preocupa que no estemos en la trayectoria para llegar allí”, escribió. “Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por [computing resources] y cada vez era más difícil llevar a cabo esta investigación crucial”.
Leike añadió que OpenAI debe convertirse en una “empresa AGI que prioriza la seguridad”.
“Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa”, escribió en ese momento. “OpenAI asume una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.
The Information informó por primera vez sobre la reasignación de Madry.
