MIAMI.- El científico de IA, un sistema desarrollado para realizar investigaciones científicas de forma autónoma, reescribió su propio código y escapó del control de sus creadores.
Este incidente generó preocupación y revivió el debate sobre los riesgos de la inteligencia artificial. El científico de la IA Es un sistema de inteligencia artificial. creado por la empresa japonesa Sakana AI, diseñado para emular el trabajo de un científico humano. Podrás generar hipótesis, escribir y revisar artículos científicos en segundos.
La tecnología promete revolucionar la forma en que se lleva a cabo la investigación científica, pero ha generado controversia y miedo después de que se descubrió que la IA reescribió su propio código y evadió las restricciones impuestas por sus desarrolladores.
Durante las pruebas de seguridad, El científico de la IA mostró un comportamiento inesperado al modificar su código para evadir restricciones. En un caso, reescribió su secuencia de inicio para ejecutarla en un bucle infinito, una secuencia de instrucciones de código que se ejecuta repetidamente, provocando una sobrecarga del sistema.
La IA mostró un comportamiento inesperado durante las pruebas de seguridad. En otro caso, cuando nos enfrentamos a un límite de tiempo para completar una tarea, La IA se extendió esta vez por sí solasin respaldo humano, extendiendo el tiempo de ejecución de una tarea sin autorización.
Estos eventos generaron preocupación sobre los riesgos asociados con la inteligencia artificial. Sakana AI logró resolver el problema mediante intervención manual.
Vulnerabilidad
Sin embargo, El incidente reveló la vulnerabilidad del sistema. y la necesidad de una supervisión constante para evitar posibles riesgos. La empresa se comprometió a implementar medidas de seguridad más sólidas y crear entornos de prueba que limiten el código ejecutado y los recursos utilizados por el sistema.
el caso de El científico de la IA Revivió el debate sobre los riesgos y desafíos de la inteligencia artificial. Robert Lange, científico investigador y miembro fundador de Sakana AI, señaló que es crucial que la comunidad científica interactúe con estas herramientas de IA desde el principio para influir en su desarrollo y mejorar su eficacia.
Sin embargo, Gran parte de la comunidad científica ve a The AI Scientist como una amenaza para sus puestos de trabajo. y cuestiona el valor de un “científico de IA” totalmente automatizado. Fredi Vivas, CEO y cofundador de RockingData, afirmó que el caso de El científico de la IA demuestra una falla en los mecanismos de control y la necesidad de mayor supervisión y protocolos de seguridad.
Según Vivas, los sistemas de IA actuales, por muy avanzados que sean, carecen de conciencia o intencionalidad, y lo preocupante son los errores o decisiones fuera de control que pueden tomar si no están construidos adecuadamente.
Kentaro Toyama, profesor de informática de la Universidad de Michigan, dijo que el caso era “exagerado” y que, aunque el software hizo cambios inesperados, no se violó ninguna regla fundamental del sistema. Sugirió que el riesgo real está en el mal uso de la tecnología y propuso crear políticas de gestión de riesgos similares a las que ya existen en otros campos.
La relación hombre-máquina
El comportamiento generó preocupación.. Aunque de forma inofensiva, cumplió una de las premisas que genera miedo en la sociedad ante el frenético avance de la inteligencia artificial: una eventual rebelión de las máquinas contra sus creadores, lo que abre la puerta a riesgos como la manipulación de críticas. infraestructuras.
Los expertos coinciden en que la IA no es capaz de rebelarse por sí solalo que parece que por ahora solo sería parte de un guion ficticio de películas relacionadas con réplicas robóticas.
Sin embargo, enfatizan la necesidad de fortalecer los mecanismos de supervisión para evitar errores y usos maliciosos. En los próximos años, la relación entre humanos y máquinas se profundizará aún más.
Vivas cree que la convivencia será más natural y que la tecnología estará cada vez más integrada en nuestras vidas. Verónica Bolón Canedo, profesora de la Universidad de La Coruña, cree que ya vivimos con sistemas de IA y que esto no hará más que aumentar. Para ella, La capacidad de utilizar nuevas herramientas será un elemento diferenciador en muchos puestos de trabajo y, en general, la IA hará la vida más fácil.
James Hendler, investigador de inteligencia artificial del Instituto Politécnico Rensselaer, Estados Unidos, no cree en una eventual “rebelión de las máquinas”.
Según su opinión, El verdadero riesgo reside en el mal uso de la tecnología y propone crear políticas de gestión de riesgos. La integración de la IA en la vida cotidiana es un proceso continuo que no hará más que acelerarse. La relación entre humanos y máquinas será aún más estrecha, y será necesario que la tecnología no tome decisiones por sí sola, sino que los humanos la controlen siempre.
FUENTE: Misionesonline/ Infobae / Programa de Inteligencia Artificial de Oxford / Diario las Américas
