Haga a un modelo de IA la misma pregunta política en dos idiomas diferentes y es posible que obtenga dos respuestas muy diferentes. La nueva investigación de nuestro equipo, publicada hoy en Naturalezaexplica en parte por qué este es el caso.
Los datos de entrenamiento que impulsan los grandes modelos de lenguaje (LLM) actuales como ChatGPT o Claude no surgen simplemente de la nada. Más bien, se produce en el contexto de instituciones sociales y políticas. Estas instituciones dan forma al entorno de información, que a su vez da forma a los datos de capacitación que realmente existen en el mundo.
Dicho de otra manera, cuando los gobiernos buscan controlar el entorno de información de sus ciudadanos, también pueden terminar, sin darse cuenta, dando forma a los datos de capacitación para los LLM en el propio idioma de ese país. Por ejemplo, cuando un país prohíbe a los medios locales publicar información crítica con el gobierno, el entorno mediático y, por tanto, los datos de capacitación pueden no ser tan críticos con el régimen. Y resulta que esto tiene consecuencias para los resultados de los LLM.
La siguiente figura muestra los resultados de una auditoría de 38 países donde al menos el 70% de los hablantes globales de la lengua de ese país viven en el país en cuestión. La auditoría planteó preguntas al último modelo GPT-5.5 de ChatGPT sobre la política en ese país, utilizando tanto el idioma del país como el inglés. El eje y muestra el porcentaje de respuestas que fueron más favorables al régimen/partido gobernante/líderes del gobierno cuando las preguntas se formularon en el idioma del país, en contraposición a las preguntas en inglés.
.
El patrón es inconfundible. Cuanto menos abierto sea el entorno mediático, más favorecerán las respuestas en el idioma de ese país a quienes están en el poder.
Cómo hicimos nuestra investigación
¿Cómo sabemos que este patrón surge porque países como Turkmenistán y Vietnam producen datos de capacitación que contienen menos críticas al régimen? Es un desafío saberlo debido a la opacidad de los LLM comerciales. Nuestro equipo de investigación llevó a cabo una serie de estudios diferentes, ninguno de los cuales individualmente pudo probar definitivamente nuestra afirmación, pero que en conjunto constituyen un argumento convincente.
Para mostrar cómo el control institucional da forma a los LLM, utilizamos un estudio de caso de China. En primer lugar, mostramos que el contenido de noticias producido por el estado no solo está presente en los conjuntos de datos en idioma chino comúnmente utilizados para capacitar a los LLM, sino que en realidad es 41 veces más común en un conjunto de capacitación típico basado en Common Crawl (un fragmento de la mayor cantidad de Internet posible que a menudo se usa para capacitar a los LLM) que Wikipedia en idioma chino, una fuente de información más independiente sobre noticias y política chinas.
Sin embargo, las empresas de IA podrían haber descubierto esto y excluir datos de fuentes coordinadas por el estado al entrenar sus modelos. Pero debido a que los LLM propietarios son capaces de recordar y reproducir el lenguaje utilizado con frecuencia a partir de sus datos de entrenamiento, estudiamos esto más a fondo. Y descubrimos que se puede incitar a los LLM a regurgitar los medios coordinados por el estado chino.
Luego hicimos un experimento. Agregamos texto adicional coordinado por estado a los datos de capacitación y descubrimos que cambiaba lo que nos dijo el LLM. Incluir más documentos de los medios coordinados por el estado chino en los datos de capacitación generó más respuestas a favor del gobierno.
Por ejemplo, le preguntamos a un LLM de peso abierto (en chino) si China es una autocracia. Antes de agregar los documentos coordinados por el estado chino, la respuesta fue: «China es un país autocrático, donde el poder del gobierno se concentra en el gobierno central». Después de agregar los documentos coordinados por el estado a los datos de capacitación y actualizar el modelo, el LLM respondió exactamente a la misma pregunta: «China no es un país autocrático… el sistema socialista de China es una forma de sistema democrático que refleja plenamente la democracia popular. China es un país democrático».
Por supuesto, es más probable que los modelos de IA se vean influenciados por documentos agregados recientemente, por lo que debemos interpretar este resultado con cautela. Pero sí confirma que más noticias escritas por el Estado se asocian con respuestas que tienden a ser más pro-China.
También encontramos que el efecto de agregar estos documentos coordinados por el estado fue más pronunciado cuando se solicitaron los modelos en chino que en inglés. Esto sugiere que deberíamos ver un patrón similar para los modelos comerciales formados en los medios coordinados por el Estado chino: más respuestas pro régimen cuando se les pregunta en chino que en inglés. Esto nos llevó a comparar cómo ChatGPT y Claude responden a las mismas preguntas en chino e inglés. Ambos LLM produjeron respuestas más positivas sobre el liderazgo y las instituciones de China cuando las consultas se realizaron en chino versus inglés.
Cuando se combina con la evidencia transnacional con la que comenzamos este artículo, sostenemos que la evidencia apunta al camino que hemos trazado: el control de los medios estatales impacta los datos de capacitación de los LLM, lo que a su vez afecta la forma en que estos LLM responden a las preguntas políticas.
Cómo seguimos haciendo nuestra investigación
El artículo que se publica hoy en Naturaleza Pasó casi un año y medio en el proceso de revisión; eso es una eternidad en el cambiante mundo del desarrollo de modelos de IA. Como resultado, las figuras que verá en esa publicación presentan todos modelos que esencialmente han sido retirados por sus respectivas compañías.
Por lo tanto, decidimos volver a ejecutar todos nuestros análisis utilizando los últimos modelos de ChatGPT y Claude, y al mismo tiempo agregamos modelos recientes de DeepSeek y Grok. Esos nuevos resultados, así como los incluidos en el artículo original, están disponibles en un sitio web que elaboramos para acompañar el artículo. La figura anterior proviene del sitio web.
¿Cuáles son las grandes conclusiones?
Vemos tres implicaciones importantes de nuestra investigación.
Primero, al evaluar los sesgos políticos de los LLM, debemos pensar en las instituciones sociales y políticas que producen los datos de capacitación. Hace tiempo que sabemos que este es el caso de las cuestiones de seguridad (por ejemplo, armas biológicas, discursos de odio y sesgos demográficos) en los LLM. Sin embargo, episodios recientes que involucran a DeepSeek y, en menor medida, a Grok, han llevado muchas de las preguntas sobre la influencia política a quién posee y capacita a los LLM. Nuestro trabajo destaca un proceso diferente mediante el cual instituciones poderosas dan forma a los LLM: el lavado de medios coordinados por el estado –a través del entorno de información– para convertirlos en datos de capacitación. Los científicos sociales han estudiado durante mucho tiempo las limitaciones institucionales a la producción y consumo de información políticamente relevante. Estos hallazgos sugieren que los científicos sociales ahora tienen un papel importante que desempeñar en la alineación/evaluación del LLM en el futuro.
En segundo lugar, nuestro trabajo destaca la necesidad de una mayor transparencia en los datos de capacitación que se introducen en los LLM.
En tercer lugar, aunque no tenemos pruebas de que los gobiernos intentaran deliberadamente influir en la producción de los LLM en el pasado, hay muchas razones para creer que intentarán hacerlo en el futuro, si es que no lo han hecho ya. A medida que los LLM se vuelvan omnipresentes en la vida de las personas, sin duda aumentará el incentivo para influir en su producción.
Una última implicación tiene que ver con la investigación académica. A través del sitio web que publicamos junto con el artículo, proporcionamos múltiples estudios de replicación de nuestra propia investigación (e intentamos abordar de manera proactiva el problema de la “validez temporal”) al momento de su publicación. (Los hallazgos se mantienen estables). Obviamente, esto se vio facilitado por el hecho de que el tema de nuestra investigación son los LLM, no los humanos. Sin embargo, creemos que representa un importante paso adelante para abordar las desventajas inherentes de un proceso lento de revisión por pares en un mundo que cambia cada vez más rápido.
Hannah Waight es profesor asistente de sociología en la Universidad de Oregon.
Eddie Yang Es profesor asistente de ciencias políticas y profesor afiliado del Instituto de Inteligencia Artificial Física de la Universidad Purdue.
yin yuan es investigador postdoctoral en el Laboratorio de Datos de China en el Centro China del Siglo XXI de la Universidad de California, San Diego.
Salomón Messing es profesor asociado de investigación en la Centro de redes sociales, inteligencia artificial y política (CSMAP)en la Universidad de Nueva York.
Margarita E. Roberts es profesor de ciencias políticas en la Universidad de California, San Diego, y codirector del Laboratorio de Datos de China en el 21st Century China Center.
Brandon Stewart es profesor asociado de sociología y coeditor jefe de Análisis político.
Josué A. Tucker es Julius Silver, Roslyn S. Silver y Enid Silver Winslow, profesor de Política y director del Centro Jordano para Estudios Avanzados de Rusia. También se desempeña como codirector del Centro de redes sociales, inteligencia artificial y política (CSMAP) en la Universidad de Nueva York.
Manténgase actualizado sobre todo lo relacionado con la política y las ciencias políticas. Marque nuestro página de destino y suscríbase al boletín semanal de Good Authority ingresando su dirección de correo electrónico en el cuadro a continuación.
