Richard Socher ha sido una figura importante en la IA durante algún tiempo, mejor conocido por fundar la primera startup de chatbot You.com y, antes de eso, su trabajo en ImageNet. Ahora se une a la generación actual de startups de IA centradas en la investigación con Recursive Superintelligence, una startup con sede en San Francisco que salió de la nada el miércoles con 650 millones de dólares en financiación.
A Socher se une a la nueva empresa un grupo de destacados investigadores de IA, incluidos Peter Norvig y el cofundador de Cresta, Tim Shi. Juntos, están trabajando para crear un modelo de IA con automejora recursiva, uno que pueda identificar de forma autónoma sus propias debilidades y rediseñarse para solucionarlas, sin participación humana: un santo grial de larga data de la investigación contemporánea en IA.
Hablé con él por Zoom después del lanzamiento, profundizando en el enfoque técnico único de Recursive y por qué no considera este nuevo proyecto como un neolaboratorio, el término informal para una nueva generación de nuevas empresas de IA que priorizan la investigación sobre la construcción de productos.
Esta entrevista ha sido editada para mayor extensión y claridad.
¡Escuchamos mucho sobre la recursividad estos días! Parece un objetivo muy común en diferentes laboratorios. ¿Cuál considera que es su enfoque único?
Nuestro enfoque único es utilizar la flexibilidad para llegar a la superación personal recursiva, algo que nadie ha logrado todavía. Es un objetivo difícil de alcanzar para mucha gente. Mucha gente ya asume que esto sucede cuando simplemente haces una investigación automática. Ya sabes, puedes tomar la IA y pedirle que mejore alguna otra cosa, que podría ser un sistema de aprendizaje automático, o simplemente una carta que escribes, o, ya sabes, lo que sea, ¿verdad? Pero eso no es superación personal recursiva. Eso es sólo una mejora.
Nuestro objetivo principal es construir una superinteligencia a escala verdaderamente recursiva y automejorable, lo que significa que todo el proceso de ideación, implementación y validación de ideas de investigación sería automático.
Primero [it would automate] Ideas de investigación de IA, eventualmente cualquier tipo de ideas de investigación, incluso eventualmente en los dominios físicos. Pero es particularmente poderoso cuando la IA trabaja sobre sí misma y está desarrollando un nuevo tipo de sentido de autoconciencia de sus propias deficiencias.
Utilizó el término abierto. ¿Tiene eso un significado técnico específico?
Lo hace. De hecho, Tim Rocktäschel, uno de nuestros cofundadores, dirigió los equipos de apertura y superación personal de Google DeepMind y trabajó especialmente en el modelo mundial Genie 3, que es un gran ejemplo de apertura. Puedes decirle cualquier concepto, cualquier mundo, cualquier agente, y simplemente lo crea y es interactivo.
En la evolución biológica, los animales se adaptan al medio ambiente y luego otros se contraadaptan a esas adaptaciones. Es simplemente un proceso que puede evolucionar durante miles de millones de años y siguen sucediendo cosas interesantes, ¿verdad? Así es como desarrollamos los ojos en nuestro [heads].
Otro ejemplo es el equipo arcoíris, de otro artículo de Tim. ¿Has oído hablar del equipo rojo?
En ciberseguridad, significa—
Por lo tanto, el equipo rojo también debe realizarse en un contexto de LLM. Básicamente, intentas que el LLM te diga cómo construir una bomba y quieres asegurarte de que no lo haga.
Ahora, los humanos pueden sentarse allí durante mucho tiempo y encontrar ejemplos interesantes de lo que la IA no debería decir. Pero, ¿qué pasaría si probaras esta primera IA con una segunda IA y esa segunda IA ahora tiene la tarea de crear la primera IA? [try to] decir todas las cosas malas posibles. Y luego pueden ir y venir durante millones de iteraciones.
De hecho, puedes permitir que dos IA coevolucionen. Uno sigue atacando al otro y luego se le ocurre no sólo un ángulo sino muchos ángulos diferentes, y de ahí la analogía del arco iris. Y luego podrás inocular la primera IA y estarás cada vez más seguro. Esta fue una idea de Tim Rocktaeschel y ahora se utiliza en los laboratorios más importantes.
¿Cómo sabes cuando está hecho? Supongo que nunca se hace.
Algunas de estas cosas nunca se harán. Siempre puedes volverte más inteligente. Siempre puedes mejorar en programación, matemáticas, etc. Hay algunos límites a la inteligencia; De hecho, estoy tratando de formalizarlos ahora mismo, pero son astronómicos. Estamos muy lejos de esos límites.
Como neolaboratorio, parece que se supone que debes hacer algo que los laboratorios principales no hacen. Entonces, parte de la implicación aquí es que no crees que los laboratorios principales vayan a alcanzar el RSI. [recursive self-improvement] haciendo lo que están haciendo. ¿Es justo decirlo?
Realmente no puedo comentar sobre lo que están haciendo, pero creo que lo estamos abordando de manera diferente. Realmente abrazamos el concepto de apertura y nuestro equipo está completamente enfocado en esa visión. Y el equipo ha estado investigando esto y realizando artículos en este espacio durante la última década. Y el equipo tiene un historial de impulsar significativamente el campo y enviar productos reales. Ya sabes, Tim Shi convirtió a Cresta en un unicornio. Josh Tobin fue una de las primeras personas en OpenAI y eventualmente dirigió sus equipos del Codex y los equipos de investigación profunda.
De hecho, a veces me cuesta un poco esta categoría de neolaboratorio. Siento que no somos sólo un laboratorio. Quiero que nos convirtamos en una empresa realmente viable, que realmente tengamos productos increíbles que a la gente le encanta usar y que tengan un impacto positivo en la humanidad.
Entonces, ¿cuándo planea enviar su primer producto?
He pensado mucho en eso. El equipo ha progresado tanto que es posible que incluso reduzcamos los plazos de lo que habíamos asumido inicialmente. Pero sí, habrá productos y habrá que esperar trimestres, no años.
Una de las ideas en torno a la superación personal recursiva es que, una vez que tenemos este tipo de sistema, la computación se convierte en el único recurso importante. Cuanto más rápido ejecute el sistema, más rápido mejorará y no hay actividad humana externa que realmente marque la diferencia. Entonces la carrera simplemente se convierte en: ¿cuánta potencia de procesamiento podemos dedicarle a esto? ¿Crees que ese es el mundo hacia el que nos dirigimos?
La informática no debe subestimarse. Creo que en el futuro una pregunta realmente importante será: ¿cuánta computación quiere gastar la humanidad para resolver qué problemas? Aquí está este cáncer y aquí está ese virus: ¿cuál quieres resolver primero? ¿Cuánto cómputo quieres darle? Con el tiempo, se convierte en una cuestión de asignación de recursos. Va a ser una de las preguntas más importantes del mundo.
Cuando compra a través de enlaces en nuestros artículos, podemos ganar una pequeña comisión. Esto no afecta nuestra independencia editorial.
