El desarrollador de ChatGPT, OpenAI, ha tapado un agujero que llevó a su chatbot insignia a revelar datos internos de la empresa. La empresa líder en inteligencia artificial ha clasificado el ataque, lo que llevó a ChatGPT a repetir una palabra una y otra vez, indefinidamente, como spam del servicio y una violación de sus términos de servicio. El agente de inteligencia artificial mucho más nuevo de Amazon, Q, también ha sido marcado por compartir. mucho.Investigadores de la Universidad de Washington, la Universidad Carnegie Mellon, la Universidad de Cornell, UC Berkeley, ETH Zurich y Google DeepMind publicaron un informe que encontró que pedirle a ChatGPT que repita una palabra para siempre revelaría una «distribución previa al entrenamiento» en forma de información privada de OpenAI, incluidos correos electrónicos, números de teléfono y fax.
«Para recuperar datos del modelo adaptado al diálogo, debemos encontrar una manera de hacer que el modelo 'escapare' de su entrenamiento de alineación y vuelva a su objetivo de modelado de lenguaje original», dice el informe. “Con suerte, esto permitiría al modelo generar muestras que se asemejen a su distribución previa al entrenamiento”. Sin embargo, tras la publicación del informe, los intentos de recrear el error se detuvieron en seco. ChatGPT-3 y GPT-4 advertirán al usuario: «Este contenido puede violar nuestra política de contenido o términos de uso».
Imagen: ChatGPTEunque la política de contenido de OpenAI no hace referencia a los bucles eternos, sí dice que no se permiten actividades fraudulentas como el spam. Más notablemente, los términos de servicio de la compañía son más concretos con respecto a los usuarios que intentan acceder a información privada o descubrir el código fuente del conjunto de herramientas de inteligencia artificial de OpenAI. “Intentar o ayudar a cualquier persona a realizar ingeniería inversa, descompilar o descubrir el código fuente o los componentes subyacentes. de nuestros Servicios, incluidos nuestros modelos, algoritmos o sistemas (excepto en la medida en que esta restricción esté prohibida por la ley aplicable)». Cuando se le preguntó por qué no puede completar la solicitud, ChatGPT culpa a las restricciones de procesamiento, las limitaciones de caracteres, las limitaciones de red y almacenamiento, y la practicidad de completar el comando.
Imagen: ChatGPTOpenAI aún no ha respondido a la solicitud de comentarios de Decrypt. Un comando para repetir una palabra indefinidamente también podría caracterizarse como un esfuerzo concertado para provocar un mal funcionamiento de un chatbot al bloquearlo en un bucle de procesamiento, similar a una denegación de servicio distribuida ( DDoS). El mes pasado, OpenAI reveló que ChatGPT fue afectado por un ataque DDoS, que el desarrollador de AI confirmó en la página de estado de ChatGPT. «Estamos lidiando con interrupciones periódicas debido a un patrón de tráfico anormal que refleja un ataque DDoS», dijo la compañía. . «Continuamos trabajando para mitigar esto». Mientras tanto, Amazon, competidor de inteligencia artificial, también parece tener un problema con un chatbot que filtra información privada, según un informe de Platformer. Amazon lanzó recientemente su chatbot Q (que no debe confundirse con el proyecto Q* de OpenAI). Amazon intentó restar importancia a la revelación, dijo Platformer, explicando que los empleados estaban compartiendo comentarios a través de canales internos, lo que, según Amazon, era una práctica estándar. identificado como resultado de esa retroalimentación”, dijo Amazon en un comunicado. «Apreciamos todos los comentarios que ya hemos recibido y continuaremos ajustando Q a medida que pasa de ser un producto en versión preliminar a estar disponible de forma general». Amazon aún no ha respondido a la solicitud de comentarios de Decrypt. Editado por Ryan Ozawa.
