Artículo
Fable 5 vs Opus: ganó el modelo más barato
La misma tarea. Dos modelos. Fable 5 contra Opus 4.8.
¿Quién ganó? Opus. Resolvió la tarea con una sola ronda de control por 721.000 tokens, mientras que Fable necesitó nueve rondas y quemó 2,78 millones de tokens.
Sobre el papel, Fable 5 es el mejor modelo. ¿Por qué perdió entonces?
"It's not the plane, it's the pilot." No es el avión, es el piloto.
Ganó el mejor prompt. Y lo sé porque lo medí.
Fable 5 dio vueltas en círculo y quemó casi 4 veces más tokens.
Nueve rondas
Encargué una auditoría detallada de cómo se procesan los datos en un proyecto. Era un documento lleno de datos duros: cuántas veces por hora se ejecuta algo, cuándo se ejecuta, en qué línea de código está. Más de cien afirmaciones así.
Y aquí está el truco. Ninguno de esos números se puede adivinar. O se abre el archivo correcto y se lee lo que hay de verdad, o no se sabe. Un dato inventado parece sobre el papel tan convincente como uno verdadero. La diferencia solo se ve cuando alguien lo comprueba de verdad.
Una versión del informe la preparó Fable 5. Para cazar los errores, le puse controladores. No personas, más IA. Tenían una sola tarea: encontrar un error en el informe. Cuando encontraban uno, se corregía y los controladores volvían a trabajar. Y otra vez. La regla era: repite hasta que una ronda entera no encuentre ni un solo error.
Hicieron falta nueve rondas hasta que entregaron un resultado sin errores. Treinta y seis agentes en total.
¿Por qué nueve?
Si tengo el mejor modelo del mercado, ¿por qué hicieron falta nueve rondas?
La respuesta tiene tres partes.
Primera: la mayoría de esas rondas no corregía errores de la auditoría. Corregía errores de los controladores. La IA que debía encontrar fallos cometió ella misma más de los que encontró. Dos veces informó de que cierto proceso se ejecuta cada cinco minutos. En realidad corría mucho menos. Dos veces calculó mal el tamaño de los datos. Una vez informó de un error en un archivo que buscaba en el lugar equivocado.
Cuando la regla es "repite hasta que esté impecable" y quienes buscan se equivocan a menudo, las últimas rondas no se dedican a corregir. Se dedican a demostrar que la alarma era falsa.
Fable 5 no fue disciplinado, tomó atajos
Segunda: esta tarea no iba de inteligencia. Iba de disciplina al comprobar. Las respuestas no estaban en la cabeza del modelo, estaban en los archivos. Y ni el modelo más listo te dice qué hay en un archivo hasta que lo abre y lo lee. El modelo no fue disciplinado.
Tercera. Por la habilidad al escribir el prompt.
Comprueba antes de escribir
El núcleo es una frase. La comprobación de los datos va en la entrada, no en la salida.
Fable 5 lo hacía así: un subagente encuentra un dato, Fable lo toma y lo escribe en el documento. La verificación llegaba solo al final, sobre el texto ya terminado. Debía ser al revés. Un dato se verifica en el archivo antes de que llegue siquiera al documento.
Faltaba también una tabla sencilla: cada afirmación, su fuente y quién la verificó. Sin ella, los controladores en cada ronda miraban al azar partes distintas del documento, así que nunca se revisaba todo de una vez. Las últimas afirmaciones sin verificar eran las que más tardaban. Con una tabla, una sola pasada honesta lo cubriría todo y se acabó. Sin ella, era una lotería.
Es una regla que falta sobre dónde y cuándo se comprueba. Y esa regla la puede fijar cualquiera cuando escribe el prompt.
Cuánto costaron de verdad esas nueve rondas
Tengo cifras exactas de cada ronda.
Únete a la Biblioteca
Acceso completo a mis hallazgos, historias personales y lo que me cuentan las personas con las que me encuentro.
Únete a la Biblioteca · €29,99 al año Cómo puede un pequeño empresario, un creador de contenido… ¿Qué estudiar en la era de la IA? ¿Qué… Dejé el trabajo durante varios meses para dedicarme a… Cómo me enamoré de ella, a primera vista ¿Cómo dejar de depender de las redes sociales? ¿Puede… Cómo empezar con la IA en la empresa: automatizar…Reciba el artículo completo por correo electrónico y no dude en responder si desea seguir comentándolo.
Resumen
Preguntas frecuentes sobre el tema del artículo
¿Qué modelo de IA es mejor, Fable 5 u Opus 4.8?
¿Por qué una IA comete tantos errores al verificar datos?
¿Cómo escribir un mejor prompt para una auditoría o un control con IA?
¿Importa más el modelo o el prompt con la IA?
¿Cuántos tokens consume una auditoría con IA?
¿Qué significa comprobar los datos en la entrada y no en la salida?
Si tienes pensamientos, preguntas o comentarios, no dudes en escribirme a mail@richardgolian.com.
LinkedIn
Más artículos
¿Eres creador de contenido y sigues las reglas de YouTube, Instagram o Google? ¿Eres un pequeño empresario y tu modelo de negocio depende de con qué frecuencia te recomiende Amazon, de lo caras que serán las impresiones de los anuncios de Facebook o de lo caros que serán los clics en Google Ads? Si todo tu contacto con tu público o tus clientes, o la mayor parte de él, depende de que te muestre alguna gran plataforma, no estás en una buena posición.
El desarrollo de la inteligencia artificial cambia la forma en que miramos qué caminos de vida tienen sentido. Qué estudiar y qué profesión elegir.
Era jueves, 31 de marzo de 2022, cuando traspasé las últimas partes de mis responsabilidades a mis compañeros, cerré el portátil y me fui a la biblioteca. Dejé el trabajo durante varios meses y me sumergí en la filosofía. Y lo agradezco enormemente. Hoy estoy, como la mayoría de la gente, en un carrusel, y me cuesta pararme y pensar en las preguntas fundamentales de mi propia vida.
Era septiembre de 2023. Mi vida, mi trabajo, todo era completamente distinto de ahora. Era más sencillo. No poseía casi nada. Necesitaba grabar un anuncio, subí dentro de la empresa a la planta donde estaba el producto que necesitaba para ese anuncio, y allí me fijé en ella por primera vez. Ella se ríe de mí cuando lo describo así, pero en aquel momento el universo me dijo, es ella.
Cómo y por qué voy dejando las redes sociales y las grandes plataformas. Cuando leo que Meta está probando una nueva forma de cobrar por las publicaciones orgánicas que enlazan fuera de su plataforma, me confirma lo acertada que fue mi decisión de ser cada vez menos dependiente de las grandes plataformas y de las redes sociales. No significa que las haya abandonado del todo. Significa que el que yo siga o no en contacto con mis lectores depende de ellas cada vez menos, y hoy casi nada.
Uno de mis familiares describía una empresa que tiene los datos en varias herramientas distintas y cuyos empleados todavía hoy los unen a mano, en hojas de cálculo. Ese es el estado habitual de las empresas. Si a esa gente alguien le dice que no lo haga a mano y que use la IA, no le van a entender. La mayoría de las empresas ni siquiera tiene los conectores básicos entre las herramientas que utiliza. Estas empresas necesitan ayuda con la transformación con IA.
Hace un tiempo escribí sobre cómo construí mi propio sistema de analítica respetuoso con la privacidad. Tenía detección de bots desde la primera versión, pero no bastó. Las visitas directas tenían un peso extrañamente alto. Cuando alguien afirma que el 20 % de sus visitas son bots y el 80 % personas, yo también lo pensaba antes. Hoy diría que la proporción inversa está más cerca de la verdad. Así llegué a esta conclusión.
Tengo a Heidegger y mi cuaderno al lado. Me pregunto hacia dónde se dirige todo esto, hacia dónde nos lleva la inteligencia artificial.
Setenta por ciento. Ahí empieza el primer resultado de la IA, incluso cuando le das todo el contexto de la empresa y los mejores ejemplos del pasado. Hablamos del tipo de resultado que no se puede definir de forma programática. Es más complejo. A menudo se trata de trabajo creativo. Con un tipo de resultado repetido llegué al ochenta por ciento en una semana. Cada punto porcentual adicional es más difícil que el anterior.
Cuatro días en Cataluña. Sin ordenador, sin IA, casi sin redes sociales. Me compré este cuaderno para anotar lo que pensaría y lo que encontraría y aprendería durante el viaje.