Este no es un panorama agradable para una empresa que se enorgullece de trabajar con la comunidad académica.
Anthropic está dando marcha atrás a una política que silenciosamente paralizó a los investigadores que utilizaron su nuevo Claude Fable 5 LLM para crear modelos de IA competitivos, dijo la compañía. Cable. «Cambiamos la protección de Fable 5 para que el desarrollo fronterizo de LLM sea visible», dijo la compañía en un comunicado. «Hicimos el sacrificio equivocado y nos disculpamos por no lograr el equilibrio correcto».
Cuando Anthropic lanzó Claude Fable 5, un nuevo modelo basado en el poderoso sistema Mythos, los investigadores descubrieron algo extraño. Descubrieron que Fable 5 redirigiría silenciosamente las solicitudes a modelos inferiores cuando se les pedía que realizaran determinadas acciones. Además, dichas restricciones no se revelan en la documentación del modelo.
Estos nuevos modelos rechazan o degradan las respuestas para tareas como entrenar LLM de la competencia, depurar código de IA y optimizar la arquitectura neuronal. Los investigadores estaban preocupados no sólo por la degradación sino también por la falta de transparencia de Anthropic al respecto. Por supuesto, también están preocupados porque han quemado tokens y dinero en un modelo que no cumple con sus expectativas.
Anthropic se ha presentado como una alternativa más ética y amigable para los investigadores que OpenAI, por lo que sus acciones con Fable 5 provocaron una rápida reacción. «Reducir el rendimiento en la investigación de ML *sin notificar a los usuarios* es increíblemente hostil y se ve mal», dijo el investigador y autor de Substack Dean W. Ball en X.
Anthropic no cambió su política de protección en Fable 5, sino que hizo que las restricciones fueran visibles para los usuarios. «Si la empresa sospecha que un usuario está intentando utilizar Claude para construir una IA altamente capaz, le advertirá que está rechazando la solicitud o redirigiendo al usuario a un modelo menos capaz». Cable escribir.
