¿Quién decide lo que te dice la IA? Campbell Brown, alguna vez jefe de noticias de Meta, tiene pensamientos

Campbell Brown ha pasado su carrera buscando información precisa, primero como reconocida periodista de televisión y luego como la primera y única jefa de noticias dedicada de Facebook. Ahora, al observar cómo la IA remodela la forma en que las personas consumen información, ve que la historia amenaza con repetirse. Esta vez, no está esperando que alguien más lo arregle.

Su empresa, Forum AI, que discutió recientemente con Tim Fernholz de TechCrunch en una velada de StrictlyVC en San Francisco, evalúa cómo se desempeñan los modelos de base en lo que ella llama “temas de alto riesgo” (geopolítica, salud mental, finanzas, contratación), temas donde “no hay respuestas claras de sí o no, donde es turbio, matizado y complejo”.

La idea es encontrar a los expertos más destacados del mundo, hacer que diseñen puntos de referencia y luego capacitar a jueces de IA para evaluar modelos a escala. Para el trabajo geopolítico de Forum AI, Brown reclutó a Niall Ferguson, Fareed Zakaria, el exsecretario de Estado Tony Blinken, el expresidente de la Cámara de Representantes Kevin McCarthy y Anne Neuberger, quien dirigió la ciberseguridad en la administración Obama. El objetivo es lograr que los jueces de IA alcancen aproximadamente un 90% de consenso con los expertos humanos, un umbral que, según ella, Forum AI ha podido alcanzar.

Brown remonta el origen de Forum AI, fundado hace 17 meses en Nueva York, a un momento específico. «Estaba en Meta cuando ChatGPT se lanzó públicamente por primera vez», recordó, «y recuerdo que poco después me di cuenta de que este sería el embudo a través del cual fluirá toda la información. Y no es muy bueno». Las implicaciones para sus propios hijos hicieron que el momento pareciera casi existencial. “Mis hijos van a ser realmente tontos si no descubrimos cómo solucionar esto”, recordó haber pensado.

Lo que más la frustró fue que la precisión no parecía ser la prioridad de nadie. Las empresas modelo de la Fundación, dijo, están “extremadamente centradas en la codificación y las matemáticas”, mientras que las noticias y la información son más difíciles. Pero más difícil, argumentó, no significa opcional.

De hecho, cuando Forum AI comenzó a evaluar los modelos líderes, los hallazgos no fueron precisamente alentadores. Citó a Gemini sacando de los sitios web del Partido Comunista Chino “historias que no tienen nada que ver con China” y notó un sesgo político de izquierda en casi todos los modelos. También abundan los fallos más sutiles, dijo, incluyendo la falta de contexto, la falta de perspectivas y argumentos testarudos sin reconocimiento. «Hay un largo camino por recorrer», dijo. «Pero también creo que hay algunas soluciones muy sencillas que mejorarían enormemente los resultados».

Brown pasó años en Facebook observando lo que sucede cuando una plataforma se optimiza para lo incorrecto. «Fracasamos en muchas de las cosas que intentamos», le dijo a Fernholz. El programa de verificación de datos que ella creó ya no existe. La lección, incluso si las redes sociales han hecho la vista gorda, es que optimizar para lograr el compromiso ha sido pésimo para la sociedad y ha dejado a muchos menos informados.

Su esperanza es que la IA pueda romper ese ciclo. «En este momento las cosas podrían ir en cualquier dirección», dijo; las empresas podrían dar a los usuarios lo que quieren, o podrían «darle a la gente lo que es real, honesto y veraz». Reconoció que la versión idealista de eso (la IA optimizando la verdad) podría parecer ingenua. Pero cree que la empresa puede ser el aliado improbable en este caso. Las empresas que utilizan IA para decisiones crediticias, préstamos, seguros y contrataciones se preocupan por la responsabilidad y «querrán que usted optimice para hacerlo bien».

Esa demanda empresarial es también en lo que Forum AI está apostando su negocio, aunque convertir el interés en el cumplimiento en ingresos consistentes sigue siendo un desafío, particularmente dado que gran parte del mercado actual todavía está satisfecho con auditorías de casillas de verificación y puntos de referencia estandarizados que Brown considera inadecuados.

El panorama del cumplimiento, afirmó, es «una broma». Cuando la ciudad de Nueva York aprobó la primera ley sobre prejuicios en la contratación que requería auditorías de IA, el contralor estatal descubrió que más de la mitad tenían violaciones que no fueron detectadas. La evaluación real, dijo, requiere experiencia en el campo para trabajar no sólo en escenarios conocidos sino también en casos extremos que «pueden meterte en problemas en los que la gente no piensa». Y ese trabajo lleva tiempo. «Los generalistas inteligentes no van a ser suficientes».

Brown, cuya empresa el otoño pasado recaudó 3 millones de dólares liderada por Lerer Hippeau, está en una posición única para describir la desconexión entre la autoimagen de la industria de la IA y la realidad de la mayoría de los usuarios. «Los líderes de las grandes empresas tecnológicas dicen: ‘Esta tecnología va a cambiar el mundo’, ‘te va a dejar sin trabajo’, ‘va a curar el cáncer'», dijo. «Pero para una persona normal que simplemente usa un chatbot para hacer preguntas básicas, todavía recibe mucha basura y respuestas incorrectas».

La confianza en la IA se encuentra en niveles extraordinariamente bajos y ella cree que el escepticismo está, en muchos casos, justificado. «En Silicon Valley se está conversando sobre una cosa, y entre los consumidores se está produciendo una conversación totalmente diferente».