El director ejecutivo de OpenAI, Sam Altman, habla durante la conferencia Microsoft Build en la sede de Microsoft en Redmond, Washington, el 21 de mayo de 2024.
Jason Redmond | AFP | Imágenes falsas
OpenAI dijo el lunes que su Comité de Seguridad, que la compañía presentó en mayo cuando abordó la controversia sobre los procesos de seguridad, se convertirá en un comité de supervisión independiente de la junta directiva.
El grupo estará presidido por Zico Kolter, director del departamento de aprendizaje automático de la facultad de informática de la Universidad Carnegie Mellon. Otros miembros incluyen a Adam D’Angelo, miembro de la junta directiva de OpenAI y cofundador de Quora, el exjefe y miembro de la junta directiva de la NSA, Paul Nakasone, y Nicole Seligman, exvicepresidenta ejecutiva de Sony.
El comité supervisará “los procesos de seguridad que guían el despliegue y desarrollo del modelo OpenAI”, dijo la compañía. Recientemente concluyó su revisión de 90 días evaluando los procesos y salvaguardas de OpenAI y luego hizo recomendaciones a la junta. OpenAI publicará los hallazgos del grupo como una publicación de blog pública.
OpenAI, el microsoftLa startup respaldada por ChatGPT y SearchGPT está actualmente llevando a cabo una ronda de financiación que valoraría a la compañía en más de 150 mil millones de dólares, según fuentes familiarizadas con la situación que pidieron no ser identificadas porque los detalles de la ronda no se han hecho públicos. Thrive Capital lidera la ronda y planea invertir mil millones de dólares, y Tiger Global también planea unirse. Según se informa, Microsoft, Nvidia y Apple también están en conversaciones para invertir.
Las cinco recomendaciones clave del comité incluyeron la necesidad de establecer una gobernanza independiente para la seguridad, mejorar las medidas de seguridad, ser transparente sobre el trabajo de OpenAI, colaborar con organizaciones externas; y unificar los marcos de seguridad de la empresa.
La semana pasada, OpenAI lanzó o1, una versión preliminar de su nuevo modelo de IA centrado en el razonamiento y “resolver problemas difíciles”. La compañía dijo que el comité “revisó los criterios de seguridad que OpenAI utilizó para evaluar la idoneidad de OpenAI o1 para el lanzamiento”, así como los resultados de la evaluación de seguridad.
El comité “junto con toda la junta directiva, ejercerá supervisión sobre los lanzamientos de modelos, incluida la autoridad para retrasar un lanzamiento hasta que se aborden los problemas de seguridad”.
Si bien OpenAI ha estado en modo de hipercrecimiento desde finales de 2022, cuando lanzó ChatGPT, al mismo tiempo se ha visto plagado de controversias y salidas de empleados de alto nivel, y algunos empleados actuales y anteriores están preocupados de que la empresa esté creciendo demasiado rápido para operar de manera segura.
En julio, los senadores demócratas enviaron una carta al director ejecutivo de OpenAI, Sam Altman, sobre “preguntas sobre cómo OpenAI está abordando las preocupaciones de seguridad emergentes”. El mes anterior, un grupo de empleados actuales y anteriores de OpenAI publicó una carta abierta en la que describían preocupaciones sobre la falta de supervisión y la ausencia de protección de los denunciantes para aquellos que desean hablar.
Y en mayo, un ex miembro de la junta directiva de OpenAI, hablando sobre la destitución temporal de Altman en noviembre, dijo que le había dado a la junta “información inexacta sobre la pequeña cantidad de procesos formales de seguridad que la compañía tenía implementados” en múltiples ocasiones.
Ese mes, OpenAI decidió disolver su equipo centrado en los riesgos a largo plazo de la IA apenas un año después de anunciar el grupo. Los líderes del equipo, Ilya Sutskever y Jan Leike, anunciaron su salida de OpenAI en mayo. Leike escribió en una publicación en X que la “cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes”.
MIRAR: OpenAI es líder indiscutible en el superciclo de la IA
