El nuevo modelo de IA GPT-o1 de OpenAI es el primero en demostrar capacidades que podrían ayudar a los expertos a reproducir amenazas biológicas conocidas y nuevas, dijo un ex miembro de la compañía a los senadores estadounidenses esta semana. «El nuevo sistema de IA de OpenAI es el primer sistema que muestra pasos hacia el riesgo de armas biológicas, ya que es capaz de ayudar a los expertos a planificar la reproducción de una amenaza biológica conocida», dijo William Saunders, ex miembro del personal técnico de OpenAI, al Comité del Senado sobre el Subcomité de Privacidad, Tecnología y Derecho del Poder Judicial. Esta capacidad, advirtió, conlleva el potencial de un «daño catastrófico» si los sistemas de IAG se desarrollan sin las salvaguardas adecuadas. Los expertos también testificaron que la inteligencia artificial está evolucionando tan rápidamente que un punto de referencia potencialmente traicionero conocido como Inteligencia Artificial General se vislumbra en el horizonte cercano. A nivel de IAG, los sistemas de IA pueden igualar la inteligencia humana en una amplia gama de tareas cognitivas y aprender de forma autónoma. Si un sistema disponible al público puede comprender la biología y desarrollar nuevas armas sin una supervisión adecuada, el potencial de que los usuarios malintencionados causen daños graves crece exponencialmente. «Las empresas de IA están haciendo rápidos progresos hacia la construcción de IAG», dijo Saunders al Comité del Senado. «Es plausible que un sistema de IAG pueda construirse en tan solo tres años». Helen Toner, que también formó parte de la junta directiva de OpenAI y votó a favor de despedir al cofundador y director ejecutivo Sam Altman, también espera ver IAG más pronto que tarde. «Incluso si las estimaciones más cortas resultan ser erróneas, la idea de que se desarrolle una IA a nivel humano en la próxima década o dos debe verse como una posibilidad real que requiere una acción preparatoria significativa ahora», testificó. Saunders, que trabajó en OpenAI durante tres años, destacó el reciente anuncio de la empresa de GPT-o1, un sistema de IA que «superó hitos significativos» en sus capacidades. Según informa Decrypt, incluso OpenAI dijo que decidió alejarse del aumento numérico tradicional en las versiones GPT, porque este modelo exhibía nuevas capacidades que hacían que fuera justo verlo no solo como una actualización, sino como una evolución: un tipo de modelo completamente nuevo con habilidades diferentes. Saunders también está preocupado por la falta de medidas de seguridad y supervisión adecuadas en el desarrollo de AGI. Señaló que «nadie sabe cómo garantizar que los sistemas AGI sean seguros y controlados», y criticó a OpenAI por su nuevo enfoque hacia el desarrollo seguro de IA, preocupándose más por la rentabilidad que por la seguridad. «Si bien OpenAI ha sido pionero en aspectos de estas pruebas, también ha priorizado repetidamente la implementación sobre el rigor», advirtió. «Creo que existe un riesgo real de que pasen por alto importantes capacidades peligrosas en futuros sistemas de IA». El testimonio también mostró algunos de los desafíos internos en OpenAI, especialmente los que salieron a la luz después de la destitución de Altman. «El equipo de Superalignment de OpenAI, encargado de desarrollar enfoques para controlar la inteligencia artificial general, ya no existe. Sus líderes y muchos investigadores clave renunciaron después de luchar para obtener los recursos que necesitaban», dijo. Sus palabras solo agregan otro ladrillo al muro de quejas y advertencias que los expertos en seguridad de la IA han estado haciendo sobre el enfoque de OpenAI. Ilya Sutskever, quien cofundó OpenAI y jugó un papel clave en el despido de Altman, renunció después del lanzamiento de GPT-4o y fundó Safe Superintelligence Inc. El cofundador de OpenAI, John Schulman, y su jefe de alineación, Jan Leike, dejaron la compañía para unirse a su rival Anthropic, y Leike dijo que bajo el liderazgo de Altman, la seguridad «pasó a un segundo plano frente a los productos brillantes». Asimismo, los ex miembros de la junta directiva de OpenAI, Toner y Tasha McCauley, escribieron un artículo de opinión publicado por The Economist, argumentando que Sam Altman estaba priorizando las ganancias sobre el desarrollo responsable de IA, ocultando desarrollos clave a la junta y fomentando un ambiente tóxico en la empresa. En su declaración, Saunders pidió una acción regulatoria urgente, enfatizando la necesidad de medidas de seguridad claras en el desarrollo de IA, no solo de las empresas sino de entidades independientes. También destacó la importancia de la protección de los denunciantes en la industria tecnológica. El ex miembro del personal de OpenAI destacó las implicaciones más amplias del desarrollo de la IA, incluido el potencial de afianzar las desigualdades existentes y facilitar la manipulación y la desinformación. Saunders también advirtió que la «pérdida de control de los sistemas autónomos de IA» podría potencialmente resultar en la «extinción humana». Editado por Josh Quittner y Andrew Hayward
Boletín informativo generalmente inteligente
Un viaje de IA semanal narrado por Gen, un modelo de IA generativa.
