Fable 5 vs Opus 4.8: ganó el modelo más barato

La misma tarea. Dos modelos. Fable 5 contra Opus 4.8.

¿Quién ganó? Opus. Resolvió la tarea con una sola ronda de control por 721.000 tokens, mientras que Fable necesitó nueve rondas y quemó 2,78 millones de tokens.

Sobre el papel, Fable 5 es el mejor modelo. ¿Por qué perdió entonces?

"It's not the plane, it's the pilot." No es el avión, es el piloto.

Ganó el mejor prompt. Y lo sé porque lo medí.

Fable 5 dio vueltas en círculo y quemó casi 4 veces más tokens.

Nueve rondas

Encargué una auditoría detallada de cómo se procesan los datos en un proyecto. Era un documento lleno de datos duros: cuántas veces por hora se ejecuta algo, cuándo se ejecuta, en qué línea de código está. Más de cien afirmaciones así.

Y aquí está el truco. Ninguno de esos números se puede adivinar. O se abre el archivo correcto y se lee lo que hay de verdad, o no se sabe. Un dato inventado parece sobre el papel tan convincente como uno verdadero. La diferencia solo se ve cuando alguien lo comprueba de verdad.

Una versión del informe la preparó Fable 5. Para cazar los errores, le puse controladores. No personas, más IA. Tenían una sola tarea: encontrar un error en el informe. Cuando encontraban uno, se corregía y los controladores volvían a trabajar. Y otra vez. La regla era: repite hasta que una ronda entera no encuentre ni un solo error.

Hicieron falta nueve rondas hasta que entregaron un resultado sin errores. Treinta y seis agentes en total.

¿Por qué nueve?

Si tengo el mejor modelo del mercado, ¿por qué hicieron falta nueve rondas?

La respuesta tiene tres partes.

Primera: la mayoría de esas rondas no corregía errores de la auditoría. Corregía errores de los controladores. La IA que debía encontrar fallos cometió ella misma más de los que encontró. Dos veces informó de que cierto proceso se ejecuta cada cinco minutos. En realidad corría mucho menos. Dos veces calculó mal el tamaño de los datos. Una vez informó de un error en un archivo que buscaba en el lugar equivocado.

Cuando la regla es "repite hasta que esté impecable" y quienes buscan se equivocan a menudo, las últimas rondas no se dedican a corregir. Se dedican a demostrar que la alarma era falsa.

Fable 5 no fue disciplinado, tomó atajos

Segunda: esta tarea no iba de inteligencia. Iba de disciplina al comprobar. Las respuestas no estaban en la cabeza del modelo, estaban en los archivos. Y ni el modelo más listo te dice qué hay en un archivo hasta que lo abre y lo lee. El modelo no fue disciplinado.

Tercera. Por la habilidad al escribir el prompt.

Comprueba antes de escribir

El núcleo es una frase. La comprobación de los datos va en la entrada, no en la salida.

Fable 5 lo hacía así: un subagente encuentra un dato, Fable lo toma y lo escribe en el documento. La verificación llegaba solo al final, sobre el texto ya terminado. Debía ser al revés. Un dato se verifica en el archivo antes de que llegue siquiera al documento.

Faltaba también una tabla sencilla: cada afirmación, su fuente y quién la verificó. Sin ella, los controladores en cada ronda miraban al azar partes distintas del documento, así que nunca se revisaba todo de una vez. Las últimas afirmaciones sin verificar eran las que más tardaban. Con una tabla, una sola pasada honesta lo cubriría todo y se acabó. Sin ella, era una lotería.

Es una regla que falta sobre dónde y cuándo se comprueba. Y esa regla la puede fijar cualquiera cuando escribe el prompt.

Cuánto costaron de verdad esas nueve rondas

Tengo cifras exactas de cada ronda.