Anthropic sugiere que las empresas de IA más grandes del mundo encuentren una forma coordinada de detener el desarrollo de sistemas avanzados de IA, advirtiendo que la tecnología está mejorando tan rápidamente que existe el riesgo de que los humanos pierdan el control.
A medida que la inteligencia artificial sofisticada se vuelve cada vez más rápida en la ejecución de tareas, “sería bueno para el mundo tener la opción de ralentizar o pausar su desarrollo”, dijo el jueves la compañía detrás del chatbot Claude en una publicación de blog.
Anthropic dijo que su instituto de investigación interno planea explorar el problema en colaboración con otros y «tomar medidas» para ayudar a construir los sistemas necesarios para desacelerar o pausar de manera confiable, sin ser más específico.
Su rival humanitario OpenAI abogó por un enfoque diferente en un informe publicado el miércoles, diciendo que “los gobiernos democráticos, no las empresas privadas que actúan solas, deberían en última instancia establecer las reglas, salvaguardas y mecanismos de rendición de cuentas”.
«Nuestra opinión es que las decisiones sobre el ritmo de la innovación en IA no deben dejarse en manos de ningún laboratorio, empresa o grupo de intereses especiales», afirmó.
Anthropic dijo en su publicación que los modelos de IA se están volviendo más rápidos, con rápidos aumentos en la rapidez con la que pueden realizar tareas de software, como programarse ellos mismos. Basándose en las tendencias actuales y con suficiente potencia informática, un sistema de IA puede ser capaz de diseñar y desarrollar su sucesor, en lo que se conoce como “automejora recursiva”.
Anthropic dijo que construir IA autónoma sería un hito tecnológico importante que traería beneficios en la ciencia, la atención médica y otros campos, pero «también puede aumentar el riesgo de que los humanos pierdan el control sobre los sistemas de IA».
Algunas figuras de la industria tecnológica vienen advirtiendo desde hace tiempo sobre tal escenario.
La publicación de Anthropic llega después de una advertencia diferente esta semana por parte de un equipo de investigadores de la Universidad de Toronto que mostraron cómo las herramientas de inteligencia artificial podrían usarse para crear un nuevo tipo de «gusano» de inteligencia artificial que adapta su propia estrategia de piratería a medida que se propaga de un dispositivo a otro y toma el control de una vasta red informática.
«Creo que es realmente importante que la gente comprenda que no son sólo los modelos de lenguaje más grandes y potentes los que plantean problemas de seguridad», dijo en una entrevista Nicholas Papernot, el investigador principal.
Los autores del artículo de Anthropic, el cofundador de la empresa, Jack Clarke, y Marina Favaro, directora del instituto de investigación de la empresa, dijeron que la pausa se utilizará para permitir que «las estructuras sociales y la investigación de alineación» sigan el ritmo de los avances de la IA. La alineación es una abreviatura de la industria para garantizar que la tecnología se alinee con los valores e intenciones humanos.
El formato propuesto permitiría a los laboratorios avanzados de IA verificar que los competidores globales realmente han detenido o ralentizado su trabajo, “y que un mal actor no puede utilizar los auspicios de una desaceleración coordinada para avanzar en secreto”.
La compañía dijo que se necesita un mecanismo global coordinado, porque sin él, una desaceleración en el desarrollo de la IA podría permitir que actores “menos cautelosos” se pongan al día y aumenten la presión sobre las empresas y los gobiernos cuando toman decisiones difíciles sobre la seguridad de la IA.
Ha aumentado la preocupación de que los sistemas avanzados de inteligencia artificial puedan escapar del control humano y causar daño social a medida que la tecnología se vuelve más poderosa. El modelo Mythos de Anthropic causó conmoción en todas las industrias, incluidas la banca y el software, a principios de este año gracias a su capacidad para encontrar vulnerabilidades en el código existente.
Pero la regulación ha sido lenta, especialmente en Estados Unidos, donde se encuentran la mayoría de los principales laboratorios de IA. Una orden ejecutiva emitida por la administración Trump a principios de esta semana impuso la responsabilidad a los propios laboratorios, exigiéndoles que presentaran voluntariamente sus modelos más capaces para las pruebas gubernamentales de ciberseguridad antes de su publicación.
Centrarse en la seguridad
Los investigadores de IA también han presionado para hacer una pausa antes, pero con poco éxito. Elon Musk, propietario del Laboratorio de Inteligencia Artificial xAI, estuvo entre los patrocinadores de la iniciativa sin fines de lucro Future of Life Institute en 2023 de detener el desarrollo de la IA durante seis meses para dar tiempo a construir barreras de seguridad.
Anthropic se ha posicionado durante mucho tiempo como un laboratorio de IA centrado en la seguridad. A principios de este año, se negó a permitir que el ejército estadounidense utilizara sus modelos para vigilancia interna y armas totalmente autónomas, lo que provocó una reacción violenta del gobierno, que lo colocó en una lista negra de seguridad nacional, que entrará en vigor más adelante en 2026.
La publicación de Anthropic se produce mientras la compañía y el fabricante de ChatGPT OpenAI compiten por vender acciones en el mercado de valores, en una oferta pública inicial que podría valorar a Anthropic en casi 1 billón de dólares.
Papernot notificó a las autoridades canadienses de ciberseguridad antes de publicar su informe, que explica cómo los investigadores desarrollaron el gusano en un laboratorio utilizando una herramienta de inteligencia artificial de «código abierto» a la que los desarrolladores de software pueden acceder fácilmente y modificarla de forma económica.
«En el pasado, los ciberatacantes se centraban en objetivos de muy alto valor», afirmó. «Sistemas bancarios, hospitales, redes eléctricas, sistemas de tratamiento de agua y escuelas».
Papernot estuvo de acuerdo en que debería haber más colaboración entre empresas, agencias gubernamentales e investigadores académicos para desarrollar contramedidas a medida que las herramientas de piratería impulsadas por IA mejoran la búsqueda de vulnerabilidades informáticas.
«Esa vieja computadora portátil que se encuentra en el sótano y que no revisa con regularidad no parece un objetivo de alto valor, pero puede usarse como plataforma de lanzamiento para atacar estos objetivos de mayor valor», dijo. «Todo lo que esté conectado a Internet está ahora en riesgo porque el coste de lanzar estos ciberataques ha disminuido».
