Estamos a punto de descubrir si los sistemas diseñados para hacer que los deepfakes y el contenido generado por IA sean fáciles de detectar están realmente a la altura. SynthID y C2PA Content Credentials, dos tecnologías distintas para etiquetar de forma invisible archivos de imagen, vídeo y audio con información sobre sus orígenes, están obteniendo su mayor expansión hasta la fecha y, con ella, la oportunidad de cambiar el rumbo contra la falsificación de IA no etiquetada que engaña a las personas en línea.
Ayer, durante su conferencia I/O, Google anunció que la capacidad de verificar si las imágenes llevan marcadores SynthID (el sistema de marcas de agua invisibles que se aplica al contenido generado por los modelos de IA de Google) llegará a Chrome y Search. Esto es importante porque Chrome absolutamente domina la cuota de mercado global de navegadores web y motores de búsqueda, por lo que las herramientas de verificación de IA se están presentando a más ojos. También agiliza el proceso de verificación; Si actualmente desea verificar una imagen en busca de marcadores SynthID, debe cargarla en la aplicación Gemini.
No sólo eso, sino que las interfaces de verificación de Google ahora también verifique si estos archivos contienen información C2PA: metadatos de procedencia que están integrados en el contenido en el momento de su creación para decirnos cómo se creó o manipuló, y si se utilizaron herramientas de inteligencia artificial durante el proceso. Esta adopción de C2PA permite a los usuarios verificar imágenes sospechosas desde una única interfaz en lugar de saltar entre la aplicación Gemini y los portales de verificación C2PA dedicados, ya que los archivos pueden tener solo un tipo de etiqueta o ninguna.
Este es el tipo de esfuerzo colaborativo que estábamos esperando. Si bien ambos sistemas funcionan de manera diferente, tanto Google como la Iniciativa de Autenticidad de Contenido (que existe para promover el estándar C2PA) han hecho afirmaciones similares sobre lo que se necesita para que funcionen: que todos estén involucrados. Eso significa que es necesario que más modelos de IA incorporen estos datos, y las plataformas en línea donde se comparte con mayor frecuencia la falsificación de IA deben mostrar claramente esa información. Para este último, tener herramientas de verificación integradas en el navegador web podría servir como solución alternativa en sitios web que no verifican ni presentan metadatos de IA a sus usuarios.
OpenAI también se está involucrando en esta expansión y anunció ayer que ahora integrará SynthID en imágenes generadas por ChatGPT, Codex y la API de OpenAI. La empresa ya incluye metadatos C2PA en el contenido generado, pero descubrí que a menudo se eliminan cuando se publican en otras plataformas. La propia OpenAI también ha querido moderar las expectativas sobre C2PA, a pesar de ser miembro directivo de C2PA y reafirmar ahora su compromiso con el estándar. Esto es lo que OpenAI dijo en su página de ayuda C2PA, antes de que se actualizara ayer para incluir SynthID:
«Los metadatos como C2PA no son una solución milagrosa para abordar cuestiones de procedencia. Se pueden eliminar fácilmente, ya sea accidental o intencionalmente. Por ejemplo, la mayoría de las plataformas de redes sociales hoy en día eliminan los metadatos de las imágenes cargadas, y acciones como tomar una captura de pantalla también pueden eliminarlos. Por lo tanto, una imagen que carece de estos metadatos puede o no haber sido generada con ChatGPT o nuestra API».
Para algo que se considera la mejor tecnología de autenticidad de contenido, eso suena increíblemente endeble. Incluso Google describe C2PA como el estándar de la industria, y se está presentando a los gobiernos globales como una solución para apaciguar los requisitos de etiquetado y transparencia de la IA. Pero a pesar de que los proveedores de IA, hardware y software lo adoptan cada vez más, rara vez lo veo utilizado con éxito para verificar la falsificación de la IA en la naturaleza. SynthID parece más sólido en comparación porque no se puede eliminar fácilmente; por lo limitado que es su alcance en comparación con C2PA, puedo recordar varios casos en los que verificadores de datos y agencias de medios han citado su uso para desacreditar deepfakes en línea.
Tanto C2PA como SynthID pueden trabajar cooperativamente para crear una red de seguridad más amplia. Esta no es una industria que se beneficiaría de una guerra de estándares de verificación, pero Google tiene aquí una clara oportunidad de demostrar si su sistema es más confiable y acaparar parte de la atención que C2PA se ha ganado. Para evitar que esto suceda, C2PA necesita demostrar que realmente puede usarse para desmitificar de dónde proviene el contenido que vemos en línea.
Esta oportunidad ya se ha presentado: Google anunció ayer que Meta comenzará a utilizar metadatos C2PA para etiquetar imágenes en Instagram capturadas por una cámara. Meta no ha respondido a nuestras preguntas sobre cómo se verá esto o qué cámaras serán compatibles, aunque supongo que involucrará etiquetas que digan algo como «capturado en Pixel 10», similar a las notas «enviadas desde mi iPhone» aplicadas a los correos electrónicos. Esto ayudaría efectivamente a los usuarios de Instagram a diferenciar las fotos «reales» de las falsificaciones convincentes de IA, lo que juega con el futuro predicho por el director de Instagram, Adam Mosseri, con respecto a la necesidad de alejarse «de asumir que lo que vemos es real por defecto».
Si el etiquetado funciona, claro está. Instagram ya verifica las imágenes en busca de información C2PA, y sus intentos de etiquetar contenido generado por IA previamente han llevado a la plataforma a problemas después de que aplicó etiquetas de IA a imágenes que los fotógrafos insistieron en que habían tomado ellos mismos.
Tampoco me apresuraría a elogiar a Google por este equipo. La compañía predica sobre la importancia de la transparencia de la IA y la lucha contra los deepfakes digitales, mientras desarrolla la misma tecnología que se utiliza para engañar a las personas. Se ha posicionado como proveedor y solución. Puedo perdonar eso si SynthID marca una diferencia notable en la lucha contra los deepfakes, pero no tengo muchas esperanzas dada la magnitud del problema.
Sólidos o no, SynthID y C2PA solo pueden detectar marcas de agua si se han agregado en primer lugar, y dudo que muchos de los modelos de código abierto utilizados para generar contenido deepfake verdaderamente nefasto estén alineados para adoptar estos sistemas. Provenance nunca iba a ser una solución perfecta, pero ahora Google y C2PA tienen la oportunidad de demostrar que no es una completa pérdida de tiempo.
