La proliferación desenfrenada de deepfakes conlleva riesgos significativos (desde la creación de imágenes de menores desnudos hasta estafar a personas con promociones fraudulentas utilizando deepfakes de celebridades). La capacidad de distinguir el contenido generado por IA (AIGC) de los creados por humanos nunca ha sido más crucial. Una medida antifalsificación común que se ve en documentos y moneda, es un método para identificar dicho contenido, con la adición de información que ayuda a diferenciar una imagen generada por IA de una que no. Pero un artículo de investigación reciente concluyó que los métodos simples o incluso avanzados de marca de agua pueden no ser suficientes para prevenir los riesgos asociados con la liberación de material de IA creado por humanos. La investigación fue realizada por un equipo de científicos de la Universidad Tecnológica de Nanyang, S-Lab. NTU, la Universidad de Chongqing, Shannon.AI y la Universidad de Zhejiang. Uno de los autores, Li Guanlin, dijo a Decrypt que «la marca de agua puede ayudar a las personas a saber si el contenido es generado por IA o humanos». Pero, añadió, «si la marca de agua en AIGC es fácil de eliminar o falsificar, podemos hacer creer libremente a otros que una obra de arte es generada por IA agregando una marca de agua, o que un AIGC es creado por humanos eliminando la marca de agua». exploró varias vulnerabilidades en los métodos actuales de marca de agua. «Los esquemas de marcas de agua para AIGC son vulnerables a ataques adversarios, que pueden eliminar la marca de agua sin conocer la clave secreta», se lee. Esta vulnerabilidad plantea implicaciones en el mundo real, especialmente en lo que respecta a la desinformación o el uso malicioso del contenido generado por IA. “Si algunos usuarios malintencionados difunden imágenes falsas de algunas celebridades generadas por IA después de eliminar las marcas de agua, es imposible probar que las imágenes son generadas por IA. , ya que no tenemos suficiente evidencia», dijo Li a Decrypt. Li y su equipo llevaron a cabo una serie de experimentos para probar la resistencia y la integridad de los métodos actuales de marcas de agua en contenido generado por IA. Aplicaron varias técnicas para eliminar o falsificar las marcas de agua, evaluando la facilidad y eficacia de cada método. Los resultados mostraron consistentemente que las marcas de agua podían verse comprometidas con relativa facilidad. 
Proceso de ataque utilizado en la investigación. Imagen: Arvix Además, evaluaron las posibles implicaciones de estas vulnerabilidades en el mundo real, especialmente en escenarios que involucran información errónea o uso malicioso de contenido generado por IA. Los hallazgos acumulativos de estos experimentos y análisis los llevaron a concluir que existe una necesidad apremiante de mecanismos de marca de agua más sólidos. Si bien empresas como OpenAI han anunciado que han desarrollado métodos para detectar contenido generado por IA con una precisión del 99%, el desafío general sigue siendo . Los métodos de identificación actuales, como los metadatos y las marcas de agua invisibles, tienen sus limitaciones. Li sugiere que «es mejor combinar algunos métodos de criptografía como la firma digital con los esquemas de marcas de agua existentes para proteger AIGC», aunque la implementación exacta aún no está clara. Otros investigadores han proponer un enfoque más extremo. Como informó recientemente Decrypt, un equipo del MIT propuso convertir las imágenes en «veneno» para los modelos de IA. Si se utiliza una imagen «envenenada» como entrada en un conjunto de datos de entrenamiento, el modelo final produciría malos resultados porque recogería detalles que no son visibles para el ojo humano pero que tienen gran influencia en el proceso de entrenamiento. Sería como una marca de agua mortal que acaba con el modelo que entrena.
Los rápidos avances en IA, como lo destacó el director ejecutivo de OpenAI, Sam Altman, sugieren un futuro en el que los procesos de pensamiento inherentes a la IA podrían reflejar la lógica y la intuición humanas. Con tales avances, la necesidad de medidas de seguridad sólidas como las marcas de agua se vuelve aún más primordial. Li cree que «las marcas de agua y el gobierno del contenido son esenciales porque en realidad no influirán en los usuarios normales», pero el conflicto entre creadores y adversarios persiste. «Siempre será un juego del gato y el ratón… Por eso necesitamos seguir actualizando nuestros esquemas de marcas de agua».
