Para muchas personas, la razón más convincente para utilizar un chatbot local es la cantidad de dinero que pueden ahorrar. Actualmente, ejecutar un modelo local en tu iPhone implica, como máximo, una compra única de 5 dólares.
Compare eso con las suscripciones de cualquier laboratorio de inteligencia artificial importante. Por ejemplo, si desea utilizar ChatGPT sin anuncios, deberá gastar al menos $20 por mes en el plan OpenAI Plus. Puede optar por el nivel Go más asequible o incluso seguir con la oferta gratuita si planea usar ChatGPT solo esporádicamente, pero también deberá considerar las limitaciones de tarifas. De manera similar, los planes de Google AI comienzan en $8 por mes, pero puedes gastar hasta $100 cada mes por su suscripción Ultra. Cuando ejecutas un chatbot de IA desde tu iPhone, puedes usarlo tantas veces como quieras. Como usuario avanzado, es probable que alcance su límite de uso diario con ChatGPT, Claude o Gemini si no actualiza.
Para quienes priorizan la privacidad, los chatbots locales ofrecen otros beneficios. Ninguna de las opciones que recomiendo en este artículo requiere iniciar sesión ni compartir datos con el laboratorio que entrenó el modelo que desea ejecutar. Los desarrolladores de la aplicación también dicen que no recopilan ninguna información de uso. Con los modelos propietarios, debes asumir tus órdenes y cualquier información, imagen, audio o vídeo que compartas se utilizará para entrenar modelos futuros. Hay raras excepciones. El chatbot Lumo de Proton, por ejemplo, es completamente privado de forma predeterminada. Para la mayoría de los chatbots, incluido ChatGPT, debe investigar un poco para optar por no compartir sus datos para el entrenamiento del modelo.
Algo que tampoco puedes hacer con ChatGPT, Claude o Gemini es usarlos sin conexión a Internet, mientras que los chatbots locales pueden ejecutarse incluso si no estás conectado.
Sin embargo, existen algunos inconvenientes a tener en cuenta. Si bien los últimos modelos abiertos tienen capacidades, no son tan sofisticados como los últimos modelos propietarios de Anthropic, OpenAI y otros laboratorios de inteligencia artificial sin fines de lucro. Por ejemplo, los modelos cerrados, debido al potente hardware en la nube que los respalda, tienden a ofrecer ventanas de contexto más largas que les permiten consultar información de chats anteriores. En la práctica, esto significa que los chatbots se sienten más inteligentes y comunicativos, porque no es necesario repetirlos con tanta frecuencia, o nunca.
Es más, ChatGPT y Claude ofrecen una potente función de «memoria» que les permite personalizar sus respuestas para cada usuario. Mi versión ChatGPT sabe que mi hacha principal es una Fender Stratocaster de 1993 y, a menudo, hago referencia a ese hecho cuando hago preguntas relacionadas con la guitarra. Para algunas personas, esto es algo que hace que el uso de chatbots sea adictivo, ya que el sistema siente que quiere conocerlos.
Si necesita un chatbot que pueda proporcionar información oportuna, es posible que un modelo local no sea una buena opción. Todos los LLM tienen límites de conocimiento. Ese es un momento que no está cubierto en sus datos de entrenamiento. En el caso de Instant GPT-5.5, por ejemplo, no puede hacer referencia a eventos posteriores a agosto de 2024. Mientras que para Llama 3.2, esa fecha es diciembre de 2023.
Para responder preguntas más allá de los límites de su conocimiento, lo ideal es que un modelo recurra a potentes herramientas de búsqueda web. El modelo propietario ofrece dos ventajas relacionadas con la puntualidad. En primer lugar, la velocidad con la que empresas como OpenAI lanzan nuevos modelos hoy significa que los sistemas incorporan inherentemente datos más nuevos porque son más nuevos. Además, debido a que necesita una conexión a Internet para usar ChatGPT, Claude o Gemini, estos chatbots pueden buscar fácilmente en la web para agregar respuestas. Los modelos de código abierto pueden utilizar herramientas de búsqueda web, pero no sin extensiones de terceros.
