Limitaciones de los modelos de IA locales: por qué cambié de Ollama a Claude

He estado escribiendo sobre IA desde principios de 2023. Durante ese tiempo, he visto cómo ha cambiado mi forma de programar, de pensar sobre el contenido y de imaginar el futuro del trabajo.

Esta es una historia sobre ir un nivel más allá: pasar de usar la IA como herramienta a intentar construir algo autónomo sobre ella. No funcionó como esperaba.

POR QUÉ INTENTÉ EJECUTAR IA DE FORMA LOCAL

Antes de tener experiencia real con ello, la IA local me parecía el movimiento más interesante que podía hacer. No solo por la flexibilidad o la seguridad —aunque ambas importaban—, sino porque me parecía la forma más honesta de acercarse a esta tecnología.

En medio de todo lo que está ocurriendo en torno a la IA, ejecutar realmente un modelo en local, configurarlo, conectarlo a datos y ver en qué punto falla me parecía algo fundamentalmente distinto de usar una interfaz cloud ya pulida. Me parecía la diferencia entre usar una herramienta y entender de verdad cómo funciona esa herramienta.

Al mismo tiempo, no lo estaba planteando como un experimento puramente técnico. Desde el principio tenía en mente un caso de uso claro.

La primera área en la que quise aplicar esto fue el SEO. El SEO es una disciplina documentada y relativamente exacta. Tiene estructura, reglas, patrones y resultados medibles. En teoría, eso lo convierte en algo ideal para automatizar. Un agente puede escanear cientos de subpáginas en minutos, identificar problemas estructurales, detectar elementos que faltan y, si además tiene acceso a datos sobre tendencias de búsqueda, puede generar recomendaciones de contenido realmente útiles.

No es una idea abstracta. Es un flujo de trabajo real con un valor de negocio claro.

La visión más amplia era más ambiciosa. Quería construir un agente que recuperara datos a partir de automatizaciones configuradas, propusiera pasos en función de lo que encontrara, enviara esas propuestas a algún lugar para revisión y, mediante ese bucle de feedback, mejorara gradualmente. En cierto punto, una vez que los pasos que propusiera coincidieran de forma consistente con lo que yo considero buenas decisiones, empezaría a ejecutar esas acciones de manera autónoma.

No solo asistir. Actuar.

Ese era el objetivo.

MAC MINI, OLLAMA, N8N

La configuración en sí fue sencilla. Utilicé un Mac Mini, ejecuté un modelo local a través de Ollama y gestioné la orquestación básica mediante n8n.

Poner Ollama en marcha fue sorprendentemente simple. Mucho más de lo que esperaba. En poco tiempo tenía un modelo funcionando, respondiendo y comportándose como un chatbot. Desde una perspectiva puramente técnica, la barrera de entrada era baja.

En unas pocas horas ya tenía montado un pipeline básico. El modelo era capaz de recuperar datos, realizar un análisis básico de marketing y yo ya veía con claridad el camino para automatizar alertas hacia Slack a partir de ese output. En esa fase, todo parecía prometedor. El sistema funcionaba, y funcionaba localmente.

Lo que todavía no comprendía del todo era lo rápido que iba a encontrar sus límites.

Entonces lo probé con datos de muestra representativos, diseñados para simular condiciones reales.

LA VENTANA DE CONTEXTO

Aquí es donde se hizo evidente la limitación real.

El modelo podía manejar unas pocas páginas de texto. Podía procesar una tabla pequeña o un conjunto de datos de unos pocos kilobytes. Dentro de ese rango, se comportaba de una manera que parecía funcional.

Pero en el momento en que le di datos SEO representativos —el tipo de volumen que realmente necesitas analizar si quieres obtener resultados con sentido—, el sistema dejó de responder bien.

Procesaba lo que cabía dentro de su ventana de contexto e ignoraba el resto. Generaba un output que, en la superficie, parecía estructurado, pero al mirarlo de cerca, tenía muy poco valor. Captaba algún número perdido dentro de los datos y simplemente lo repetía. No combinaba señales. No priorizaba correctamente. No entendía las relaciones dentro del conjunto de datos.

Y la razón era simple. No podía ver suficiente cantidad de información.

Lo noté inmediatamente durante el primer análisis real. La calidad del output era aproximadamente comparable a la que los modelos cloud producían en 2023. No lo digo como una crítica al modelo en sí. Es un reflejo de las limitaciones.

El problema no era la configuración. No eran los prompts. No era una falta de esfuerzo.

El hardware determinaba qué modelo podía ejecutar. Y el modelo que podía ejecutar, sencillamente, no era capaz de mantener dentro del contexto la cantidad de información que requería esa tarea.

QUÉ SIGNIFICA REALMENTE “AUTÓNOMO”

En ese punto, quedó claro qué requiere realmente en la práctica algo “autónomo” y en qué parte el sistema se quedaba corto.

Un agente autónomo no es simplemente un bucle que llama repetidamente a un modelo. Requiere la capacidad de razonar sobre una gran cantidad de contexto, mantener coherencia a lo largo de múltiples pasos y producir outputs lo suficientemente precisos como para actuar sobre ellos sin supervisión constante.

Eso significa que necesita mantener no solo la entrada actual, sino el estado acumulado de todo el flujo de trabajo. Qué datos se recuperaron, qué acciones se propusieron, qué decisiones se tomaron, qué falló, qué funcionó y cuál es el objetivo general.

Aquí es donde la limitación se vuelve estructural.

Un modelo con una ventana de contexto limitada no puede mantener ese estado. No puede conectar decisiones a lo largo del tiempo. No puede evaluar sus propios outputs de una manera realmente significativa porque le falta visibilidad sobre el proceso completo.

La visión del sistema no era el problema.

Lo era la infraestructura que había debajo.

PASAR A CLAUDE CODE

En ese momento pasé a una solución basada en cloud y empecé a trabajar con Claude Code de Anthropic.

Seguir leyendo:

Acceso completo a mis pensamientos, historias personales, hallazgos y lo que me cuentan las personas con las que me encuentro.

Únete a la Biblioteca

o solo este artículo

Reciba el artículo completo por correo electrónico y no dude en responder si desea seguir comentándolo.

Acepto el tratamiento de mi dirección de correo electrónico (Política de privacidad).

Deseo recibir novedades, artículos nuevos y otros contenidos de Richard Golian.

Acceder al artículo completo por 2,99 €

Si tienes pensamientos, preguntas o comentarios, no dudes en escribirme a mail@richardgolian.com.