Fable 5 contre Opus : le modèle le moins cher a gagné

La même tâche. Deux modèles. Fable 5 contre Opus 4.8.

Qui a gagné ? Opus. Il a traité la tâche en un seul tour de contrôle pour 721 000 tokens, tandis que Fable en a exigé neuf et a brûlé 2,78 millions de tokens.

Sur le papier, Fable 5 est le meilleur modèle. Pourquoi a-t-il donc perdu ?

« It's not the plane, it's the pilot. » Ce n'est pas l'avion, c'est le pilote.

C'est le meilleur prompt qui a gagné. Et je le sais, parce que je l'ai mesuré.

Fable 5 a tourné en rond et brûlé presque 4 fois plus de tokens.

Neuf tours

J'ai fait réaliser un audit détaillé de la manière dont les données sont traitées sur un projet. C'était un document rempli de faits concrets : combien de fois par heure quelque chose se lance, quand cela tourne, à quelle ligne de code cela se trouve. Plus de cent affirmations de ce genre.

Et voici le piège. Aucun de ces chiffres ne peut se deviner. Soit on ouvre le bon fichier et on lit ce qui s'y trouve vraiment, soit on ne le sait pas. Un fait inventé paraît sur le papier tout aussi convaincant qu'un fait vrai. La différence ne se voit que lorsque quelqu'un vérifie réellement.

Une version du rapport a été préparée par Fable 5. Pour attraper les erreurs, j'y ai mis des contrôleurs. Pas des humains, d'autres IA. Ils avaient une seule tâche : trouver une erreur dans le rapport. Quand ils en trouvaient une, elle était corrigée et les contrôleurs se remettaient au travail. Et encore. La règle était : recommence jusqu'à ce qu'un tour entier ne trouve plus une seule erreur.

Il a fallu neuf tours avant qu'ils ne livrent un résultat sans erreur. Trente-six agents en tout.

Pourquoi neuf ?

Si j'ai le meilleur modèle du marché, pourquoi a-t-il fallu neuf tours ?

La réponse tient en trois parties.

Première : la plupart de ces tours ne corrigeaient pas les erreurs de l'audit. Ils corrigeaient les erreurs des contrôleurs. L'IA censée trouver les fautes en a commis elle-même plus qu'elle n'en a trouvé. Deux fois, elle a signalé qu'un certain processus se lance toutes les cinq minutes. En réalité, il tournait bien plus rarement. Deux fois, elle a mal calculé la taille des données. Une fois, elle a signalé une erreur dans un fichier qu'elle cherchait au mauvais endroit.

Quand la règle est « recommence jusqu'à ce que ce soit impeccable » et que ceux qui cherchent se trompent souvent, les derniers tours ne servent pas à corriger. Ils servent à prouver que l'alerte était fausse.

Fable 5 n'a pas été discipliné, il a pris des raccourcis

Deuxième : cette tâche ne relevait pas de l'intelligence. Elle relevait de la discipline dans la vérification. Les réponses n'étaient pas dans la tête du modèle, elles étaient dans les fichiers. Et même le modèle le plus intelligent ne vous dira pas ce qu'il y a dans un fichier tant qu'il ne l'a pas ouvert et lu. Le modèle n'a pas été discipliné.

Troisième. C'est une question de savoir-faire dans l'écriture du prompt.

Vérifiez avant d'écrire

Le cœur tient en une phrase. La vérification des faits appartient à l'entrée, pas à la sortie.

Fable 5 procédait ainsi : un sous-agent trouve un fait, Fable le reprend et l'écrit dans le document. La vérification n'arrivait qu'à la fin, sur le texte déjà terminé. Cela aurait dû être l'inverse. Un fait se vérifie dans le fichier avant même d'atteindre le document.

Il manquait aussi un simple tableau : chaque affirmation, sa source et qui l'a vérifiée. Sans lui, les contrôleurs, à chaque tour, examinaient au hasard des parties différentes du document, si bien que rien n'était jamais couvert d'un seul coup. Les dernières affirmations non vérifiées attendaient donc le plus longtemps. Avec un tableau, un seul passage honnête couvrirait tout et ce serait fini. Sans lui, c'était une loterie.

C'est une règle manquante sur où et quand l'on vérifie. Et cette règle, n'importe qui peut la fixer lorsqu'il écrit le prompt.

Ce que ces neuf tours ont réellement coûté

J'ai les chiffres exacts de chaque tour.