Jan Leike, exjefe de las iniciativas de alineación y «superalineación» de OpenAI, recurrió a Twitter (también conocido como X) el viernes para explicar su razonamiento para dejar el desarrollador de IA el martes. En el hilo del tweet, Leike señaló la falta de recursos y el enfoque en la seguridad como razones de su decisión de renunciar al fabricante de ChatGPT. El equipo de alineación o superalineación de OpenAI es responsable de la seguridad y de la creación de modelos de IA más centrados en el ser humano. La partida de Leike marca el tercer miembro de alto perfil del equipo OpenAI en irse desde febrero. El martes, el cofundador y ex científico jefe de OpenAI, Ilya Sutskever, también anunció que dejaría la empresa. “Dejar este trabajo ha sido una de las cosas más difíciles que he hecho en mi vida”, escribió Leike. «Porque necesitamos urgentemente descubrir cómo dirigir y controlar sistemas de IA mucho más inteligentes que nosotros».
Ayer fue mi último día como jefe de alineación, líder de superalineación y ejecutivo. @OpenAI. – Jan Leike (@janleike) 17 de mayo de 2024
Leike señaló que, si bien pensaba que OpenAI sería el mejor lugar para realizar investigaciones sobre inteligencia artificial, no siempre estaba de acuerdo con los líderes de la empresa. “Construir máquinas más inteligentes que las humanas es una tarea intrínsecamente peligrosa”. Advirtió Leike. «Pero en los últimos años, la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes». Al señalar los peligros de la inteligencia artificial general (AGI), Leike dijo que OpenAI tiene una «enorme responsabilidad», pero dijo que la compañía está más enfocada en lograr AGI y no en seguridad, señalando que su equipo “ha estado navegando contra el viento” y luchado por los recursos informáticos. También conocida como singularidad, la inteligencia artificial general se refiere a un modelo de IA capaz de resolver problemas en diversas áreas como lo haría un humano. además de tener la capacidad de autodidacta y resolver problemas para los que el programa no estaba capacitado. El lunes, OpenAI reveló varias actualizaciones nuevas para su producto insignia de IA generativa, ChatGPT, incluido el modelo GPT-4O, más rápido e inteligente. Según Leike, su antiguo equipo en OpenAI está trabajando en varios proyectos relacionados con modelos de IA más inteligentes. Antes de trabajar para OpenAI, Leike trabajó como investigador de alineación en Google DeepMind.“Ha sido un viaje tan salvaje durante los últimos ~3 años, ”, escribió Leike. “Mi equipo lanzó el primer [Reinforcement Learning from Human Feedback] LLM con InstructGPT, publicó la primera supervisión escalable sobre LLM, [and] Fue pionero en interpretabilidad automatizada y generalización de débil a fuerte. Pronto saldrán más cosas interesantes”. Según Leike, hace tiempo que debería haber una conversación seria sobre las implicaciones de lograr el AGI. “Debemos priorizar la preparación para ellos lo mejor que podamos”, continuó Leike. «Solo entonces podremos garantizar que AGI beneficie a toda la humanidad». Si bien Leike no mencionó ningún plan en el hilo, alentó a OpenAI a prepararse para cuando AGI se convierta en una realidad. «Aprenda a sentir AGI», dijo. “Actúa con la seriedad apropiada para lo que estás construyendo. Creo que ustedes pueden 'enviar' el cambio cultural que se necesita”. “Cuento con ustedes”, concluyó. «El mundo cuenta contigo». Leike no respondió de inmediato a la solicitud de comentarios de Decrypt. Editado por Andrew Hayward
Boletín Generalmente Inteligente
Un viaje semanal de IA narrado por Gen, un modelo de IA generativa.
