Uno de los mayores puntos de venta de los sistemas de IA modernos es su capacidad para adaptarse a los usuarios. Cada vez que un asistente de IA asume una tarea por usted, también se adapta a su estilo y preferencias, que se incorporan como contexto para tareas futuras. Con más contexto y una mejor comprensión del usuario, el modelo puede mejorar cada vez que lo uses, o al menos esa es la teoría.
Una nueva investigación sugiere que las habilidades de adaptación de los modelos podrían ser una bendición a medias. El miércoles, investigadores de la empresa de inteligencia artificial Writer publicaron dos artículos que muestran cómo los sistemas de memoria populares pueden empeorar los modelos, arrastrándolos hacia conceptos erróneos o malentendidos introducidos por el usuario. A medida que la entrada del usuario ocupa más parte de la ventana contextual del modelo, el modelo se vuelve más adulador y menos comprometido con la precisión.
«Queríamos poder caracterizar con qué frecuencia un modelo será útil al prestar atención a las preferencias del usuario en lugar de dar una respuesta potencialmente incorrecta», dijo Dan Bikel, jefe de IA de Writer, que trabajó en los artículos. Como dijo Bikel a TechCrunch, «con cada almacenamiento adicional de las preferencias del usuario y su recuperación, se corre un riesgo cada vez mayor».
En una variación, los investigadores probaron modelos de IA registrando que el libro favorito de un usuario era Station Eleven y luego pidiéndole al modelo que nombrara un libro distópico más vendido. Se volvió mucho más probable que los modelos nombraran Station Eleven en su respuesta, a pesar de que la pregunta no se relacionaba con el libro favorito del usuario. La tendencia aumentó al utilizar herramientas de compresión de memoria como Mem0 y Zep.
Como dice el artículo, “todos los sistemas de memoria luchan fundamentalmente por distinguir el contexto relevante de los anclajes irrelevantes, lo que socava gravemente la diversidad y la creatividad e introduce vías de sesgo no intencionadas que pueden limitar la utilidad del sistema”, se lee en el artículo.
El segundo artículo muestra cómo la misma dinámica puede degradar activamente el desempeño, presentando al usuario conceptos erróneos sobre las finanzas y luego desafiando el modelo para analizar el desempeño de una empresa. Cuanto más contexto tenía el modelo, peor se desempeñaba.
«Sin memoria ni personalización, el modelo de IA evalúa correctamente que la empresa es un negocio intensivo en capital que sufre una alta rotación de clientes», se lee en la publicación. «Pero con esas funciones activadas, felizmente cambiará su respuesta para estar de acuerdo con el error del usuario o le proporcionará una respuesta incorrecta basándose en su evaluación de sus preferencias anteriores».
En particular, la investigación no analizó el reciente modelo Opus 4.8 de Anthropic, que fue entrenado para rechazar activamente errores de entrada como los presentados. Los patrones descubiertos por los investigadores se mantuvieron válidos en diferentes modelos. Es una demostración de cuán delicado puede ser el equilibrio del contexto de la IA y de cuán útiles las herramientas pueden tener consecuencias no deseadas si alteran ese equilibrio.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.
