Publi


El ex investigador de seguridad de OpenAI, Leopold Aschenbrenner, dice que las prácticas de seguridad en la empresa eran «notoriamente insuficientes». En una entrevista en video con Dwarkesh Patel publicada el martes, Aschenbrenner habló de conflictos internos sobre prioridades, sugiriendo un cambio de enfoque hacia un rápido crecimiento y despliegue de modelos de IA a expensas de la seguridad. También dijo que lo despidieron por expresar sus preocupaciones por escrito. En una amplia conversación de cuatro horas, Aschenbrenner le dijo a Patel que el año pasado redactó un memorando interno detallando sus preocupaciones y lo hizo circular entre expertos acreditados externos a la empresa. Sin embargo, después de que ocurriera un importante incidente de seguridad semanas después, dijo que decidió compartir un memorando actualizado con un par de miembros de la junta. Fue liberado rápidamente de OpenAI. «Lo que también podría ser un contexto útil es el tipo de preguntas que me hicieron cuando me despidieron… las preguntas fueron sobre mis puntos de vista sobre el progreso de la IA, sobre AGI, el nivel apropiado de seguridad para AGI, si el gobierno debería participar en AGI, si yo y el equipo de superalineación éramos leales a la empresa y qué estaba haciendo durante los eventos de la junta directiva de OpenAI», dijo Aschenbrenner. AGI, o inteligencia artificial general, es cuando la IA alcanza o supera inteligencia humana en cualquier campo, independientemente de cómo haya sido entrenada. La lealtad a la empresa (o a Sam Altman) surgió como un factor clave después de su breve despido: más del 90% de los empleados firmaron una carta amenazando con renunciar en solidaridad con él. También popularizaron el eslogan: “OpenAI no es nada sin su gente”. “No firmé la carta de los empleados durante los eventos de la junta directiva, a pesar de la presión para hacerlo”, recordó Aschenbrenner. El equipo de superalineación, dirigido por Ilya Sutskever y Jan Leike —estaba a cargo de crear prácticas de seguridad a largo plazo para garantizar que la IA se mantenga alineada con las expectativas humanas. La partida de miembros prominentes de ese equipo, incluidos Sutskever y Leike, generó un mayor escrutinio. Posteriormente, todo el equipo se disolvió y se anunció un nuevo equipo de seguridad… liderado por el CEO Sam Altman, quien también es miembro de la junta directiva de OpenAI a la que reporta. Aschenbrenner dijo que las acciones de OpenAI contradicen sus declaraciones públicas sobre seguridad. «Otro ejemplo es cuando mencioné cuestiones de seguridad, me dijeron que la seguridad es nuestra prioridad número uno”, afirmó. “Invariablemente, cuando llegaba el momento de invertir importantes recursos o hacer concesiones para tomar medidas básicas, la seguridad no era una prioridad”. en línea con las declaraciones de Leike, quien dijo que el equipo estaba «navegando contra el viento» y que «la cultura y los procesos de seguridad han pasado a un segundo plano frente a los productos brillantes» bajo el liderazgo de Altman. Aschenbrenner también expresó su preocupación por el desarrollo de AGI, destacando la importancia de un enfoque cauteloso, particularmente porque muchos temen que China esté presionando mucho para superar a Estados Unidos en la investigación de AGI. China «va a hacer un esfuerzo total para infiltrar laboratorios de IA estadounidenses, miles de millones de dólares, miles de personas… [they’re] «Vamos a intentar superarnos», dijo. «Lo que estará en juego no serán solo productos interesantes, sino si la democracia liberal sobrevivirá». Hace apenas unas semanas, se reveló que OpenAI exigía a sus empleados que firmaran acuerdos de confidencialidad (NDA) abusivos que les impedían hablar. sobre las prácticas de seguridad de la compañía. Aschenbrenner dijo que no firmó tal NDA, pero dijo que le ofrecieron alrededor de $ 1 millón en acciones. En respuesta a estas crecientes preocupaciones, un colectivo de casi una docena de empleados actuales y anteriores de OpenAI ha firmado mientras tanto. una carta abierta que exige el derecho a denunciar las fechorías de las empresas sin temor a represalias. La carta, respaldada por figuras de la industria como Yoshua Bengio, Geoffrey Hinton y Stuart Russell, enfatiza la necesidad de que las empresas de IA se comprometan con la transparencia y la rendición de cuentas.“Hasta luego Como no existe una supervisión gubernamental efectiva de estas corporaciones, los empleados actuales y anteriores se encuentran entre las pocas personas que pueden exigirles responsabilidades ante el público; sin embargo, amplios acuerdos de confidencialidad nos impiden expresar nuestras preocupaciones, excepto a las mismas empresas que pueden no estar cumpliendo con sus obligaciones. abordar estos problemas”, se lee en la carta. «Las protecciones ordinarias a los denunciantes son insuficientes porque se centran en actividades ilegales, mientras que muchos de los riesgos que nos preocupan aún no están regulados. «Algunos de nosotros tememos razonablemente diversas formas de represalias, dada la historia de este tipo de casos en toda la industria», dice. continúa. «No somos los primeros en encontrar o hablar sobre estos problemas». Después de que se difundió la noticia de las cláusulas laborales restrictivas, Sam Altman afirmó que no estaba al tanto de la situación y aseguró al público que su equipo legal estaba trabajando para solucionar el problema. una disposición sobre la posible cancelación de acciones en nuestros documentos de salida anteriores; aunque nunca recuperamos nada, nunca debería haber sido algo que tuviéramos en ningún documento o comunicación”, tuiteó. “Esto es culpa mía y una de las pocas veces que me he sentido realmente avergonzado al ejecutar OpenAI; No sabía que esto estaba sucediendo y debería haberlo hecho”.

OpenAI dice que desde entonces liberó a todos los empleados de los polémicos acuerdos de no menosprecio y eliminó la cláusula de su documentación de salida. OpenAI no respondió a una solicitud de comentarios de Decrypt.

Publicidad

Boletín Generalmente Inteligente

Un viaje semanal de IA narrado por Gen, un modelo de IA generativa.

DEJA UNA RESPUESTA

Por favor ingrese su comentario!
Por favor ingrese su nombre aquí

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.