La carta abierta de OpenAI advierte sobre el “grave riesgo” y la falta de supervisión de la IA

Un grupo de empleados actuales y anteriores de OpenAI publicó una carta abierta el martes describiendo preocupaciones sobre el rápido avance de la industria de la inteligencia artificial a pesar de la falta de supervisión y la ausencia de protección de los denunciantes para aquellos que deseen hablar.

“Las empresas de IA tienen fuertes incentivos financieros para evitar una supervisión efectiva, y no creemos que las estructuras personalizadas de gobierno corporativo sean suficientes para cambiar esto”, escribieron los empleados en la carta abierta.

abierta AI, Google, microsoft, Meta y otras empresas están a la cabeza de una carrera armamentista generativa de IA (un mercado que se prevé superará el billón de dólares en ingresos en una década), a medida que empresas de aparentemente todos los sectores se apresuran a añadir chatbots y agentes impulsados ​​por IA para evitar quedarse atrás. competidores.

Los empleados actuales y anteriores escribieron que las empresas de IA tienen “información sustancial no pública” sobre lo que puede hacer su tecnología, el alcance de las medidas de seguridad que han implementado y los niveles de riesgo que tiene la tecnología para diferentes tipos de daños.

“También entendemos los graves riesgos que plantean estas tecnologías”, escribieron, añadiendo que las empresas “actualmente sólo tienen obligaciones débiles de compartir parte de esta información con los gobiernos, y ninguna con la sociedad civil. No creemos que se pueda confiar en todas ellas”. compartirlo voluntariamente.”

La carta también detalla las preocupaciones de los empleados actuales y anteriores sobre la insuficiente protección de los denunciantes en la industria de la IA, afirmando que sin una supervisión gubernamental efectiva, los empleados se encuentran en una posición relativamente única para responsabilizar a las empresas.

“Los amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que tal vez no estén abordando estos temas”, escribieron los firmantes. “Las protecciones ordinarias a los denunciantes son insuficientes porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados”.

La carta pide a las empresas de IA que se comprometan a no celebrar ni hacer cumplir acuerdos de no menosprecio; crear procesos anónimos para que los empleados actuales y anteriores expresen sus inquietudes a la junta directiva de una empresa, a los reguladores y a otros; apoyar una cultura de crítica abierta; y no tomar represalias contra las denuncias públicas si fallan los procesos internos de denuncia.

Cuatro empleados anónimos de OpenAI y siete ex empleados, incluidos Daniel Kokotajlo, Jacob Hilton, William Saunders, Carroll Wainwright y Daniel Ziegler, firmaron la carta. Los firmantes también incluyeron a Ramana Kumar, quien anteriormente trabajó en Google DeepMind, y Neel Nanda, quien actualmente trabaja en Google DeepMind y anteriormente trabajó en Anthropic. Tres científicos informáticos famosos conocidos por avanzar en el campo de la inteligencia artificial también respaldaron la carta: Geoffrey Hinton, Yoshua Bengio y Stuart Russell.

“Estamos de acuerdo en que un debate riguroso es crucial dada la importancia de esta tecnología y continuaremos interactuando con los gobiernos, la sociedad civil y otras comunidades de todo el mundo”, dijo un portavoz de OpenAI a CNBC, y agregó que la compañía tiene una línea directa de integridad anónima. así como un Comité de Seguridad liderado por miembros de la junta y líderes de OpenAI.

Microsoft declinó hacer comentarios.

El mes pasado, OpenAI dio marcha atrás en una controvertida decisión de hacer que los ex empleados eligieran entre firmar un acuerdo de no menosprecio que nunca expiraría o mantener su capital adquirido en la empresa. El memorando interno, visto por CNBC, fue enviado a ex empleados y compartido con los actuales.

El memorando, dirigido a cada ex empleado, decía que en el momento de la salida de la persona de OpenAI, “es posible que se le haya informado que debía ejecutar un acuerdo de liberación general que incluía una disposición de no menosprecio para retener los derechos adquiridos”. Unidades [of equity]”.

“Lamentamos muchísimo cambiar este lenguaje ahora; no refleja nuestros valores ni la empresa que queremos ser”, dijo un portavoz de OpenAI a CNBC en ese momento.

La carta abierta del martes también sigue a la decisión de OpenAI el mes pasado de disolver su equipo centrado en los riesgos a largo plazo de la IA apenas un año después de la microsoft-startup respaldada por el grupo, confirmó a CNBC una persona familiarizada con la situación en ese momento.

La persona, que habló bajo condición de anonimato, dijo que algunos de los miembros del equipo están siendo reasignados a otros equipos dentro de la empresa.

La disolución del equipo se produjo después de que los líderes del equipo, el cofundador de OpenAI, Ilya Sutskever y Jan Leike, anunciaran su salida de la startup el mes pasado. Leike escribió en una publicación en X que la “cultura y los procesos de seguridad de OpenAI han pasado a un segundo plano frente a los productos brillantes”.

El director ejecutivo Sam Altman dijo en X que estaba triste por ver a Leike irse y que la empresa tenía más trabajo por hacer. Poco después, el cofundador de OpenAI, Greg Brockman, publicó una declaración atribuida a él y a Altman en X, afirmando que la compañía ha “creado conciencia sobre los riesgos y oportunidades de AGI para que el mundo pueda prepararse mejor para ello”.

“Me uní porque pensé que OpenAI sería el mejor lugar del mundo para hacer esta investigación”, escribió Leike en X. “Sin embargo, he estado en desacuerdo con el liderazgo de OpenAI sobre las prioridades centrales de la compañía durante bastante tiempo, hasta que finalmente llegamos un punto de quiebre.”

Leike escribió que cree que una mayor parte del ancho de banda de la empresa debería centrarse en la seguridad, la supervisión, la preparación, la protección y el impacto social.

“Es bastante difícil solucionar estos problemas y me preocupa que no estemos en la trayectoria para llegar allí”, escribió. “Durante los últimos meses mi equipo ha estado navegando contra el viento. A veces estábamos luchando por [computing resources] y cada vez era más difícil llevar a cabo esta investigación crucial”.

Leike añadió que OpenAI debe convertirse en una “empresa AGI que prioriza la seguridad”.

“Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa”, escribió. “OpenAI asume una enorme responsabilidad en nombre de toda la humanidad. Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes”.

Las salidas de alto perfil se producen meses después de que OpenAI atravesara una crisis de liderazgo que involucró a Altman.

En noviembre, la junta de OpenAI destituyó a Altman, diciendo en un comunicado que Altman no había sido “consistentemente sincero en sus comunicaciones con la junta”.

La cuestión parecía volverse más compleja cada día, y The Wall Street Journal y otros medios de comunicación informaron que Sutskever se centró en garantizar que la inteligencia artificial no dañara a los humanos, mientras que otros, incluido Altman, estaban más ansiosos por seguir adelante con la entrega. nueva tecnología.

La destitución de Altman provocó renuncias o amenazas de renuncias, incluida una carta abierta firmada por prácticamente todos los empleados de OpenAI, y el revuelo de los inversores, incluido Microsoft. Al cabo de una semana, Altman estaba de regreso en la empresa y los miembros de la junta directiva Helen Toner, Tasha McCauley e Ilya Sutskever, que habían votado a favor de destituir a Altman, estaban fuera. Sutskever permaneció en el personal en ese momento, pero ya no en su calidad de miembro de la junta directiva. Adam D’Angelo, que también había votado a favor de destituir a Altman, permaneció en la junta.

Mientras tanto, el mes pasado, OpenAI lanzó un nuevo modelo de IA y una versión de escritorio de ChatGPT, junto con una interfaz de usuario actualizada y capacidades de audio, el último esfuerzo de la compañía para expandir el uso de su popular chatbot. Una semana después de que OpenAI presentara la gama de voces de audio, la compañía anunció que retiraría una de las voces del chatbot viral llamada “Sky”.

“Sky” generó polémica por parecerse a la voz de la actriz Scarlett Johansson en “Her”, una película sobre inteligencia artificial. La estrella de Hollywood ha alegado que OpenAI le arrancó la voz a pesar de que ella se negó a permitirles usarla.