Fable 5 vs Opus: lacnejší model vyhral

Tá istá úloha. Dva modely. Fable 5 proti Opusu 4.8.

Kto vyhral? Opus. Zvládol úlohu s jedným kolom kontroly za 721-tisíc tokenov, kým Fable na to potreboval deväť kôl a spálil 2,78 milióna tokenov.

Na papieri je lepší Fable 5, prečo teda prehral?

„It's not the plane, it's the pilot." Nezáleží na stíhačke, ale na pilotovi.

Vyhral lepší prompt. A viem to, lebo som to odmeral.

Fable 5 sa točil v kruhu a spálil takmer 4x viac tokenov.

Deväť kôl

Nechal som si spraviť podrobný audit o tom, ako sa na jednom projekte spracovávajú dáta. Bol to dokument plný faktov: koľkokrát za hodinu sa niečo spustí, kedy to beží, na ktorom riadku v kóde to je. Vyše sto takýchto tvrdení.

A tu je háčik. Ani jedno z tých čísel sa nedá odhadnúť. Buď sa skontroluje správny súbor a prečíta, čo v ňom naozaj je, alebo nie. Vymyslený fakt vyzerá na papieri rovnako presvedčivo ako pravdivý. Rozdiel je vidno len keď to niekto skutočne skontroluje.

Jednu verziu správy pripravil Fable 5. Aby som odchytil chyby, nasadil som na ňu kontrolórov. Nie ľudí, ďalšie AI. Mali jedinú úlohu: nájsť v správe chybu. Keď nejakú našli, opravila sa a opäť začali pracovať kontrolóri. A znova. Pravidlo znelo: opakuj to dovtedy, kým jedno celé kolo nenájde ani jednu chybu.

Trvalo to deväť kôl, kým dodali výsledok bez chýb. Celkovo tridsaťšesť agentov.

Prečo deväť?

Ak mám najlepší model na trhu, prečo to trvalo deväť kôl?

Odpoveď má tri časti.

Prvá: väčšina tých kôl neopravovala chyby z auditu. Opravovala chyby kontrolórov. Tie AI, ktoré mali omyly hľadať, ich samy urobili viac, než našli. Dvakrát nahlásili, že sa istý proces spúšťa každých päť minút. V skutočnosti bežal oveľa zriedkavejšie. Dvakrát zle prepočítali veľkosť dát. Raz hlásili chybu v súbore, ktorý hľadali na zlom mieste.

Keď je pravidlo „opakuj, kým to nebude bezchybné" a tí, čo hľadajú, sa sami často mýlia, posledné kolá sa nevenovali opravovaniu. Trávili ich dokazovaním, že poplach bol falošný.

Fable 5 nebol disciplinovaný, prácu si zjednodušil

Druhá: táto úloha nebola o inteligencii. Bola o disciplíne pri kontrolách. Odpovede neboli v hlave modelu, boli v súboroch. A ani najchytrejší model ti nepovie, čo je v súbore, kým ho neotvorí a neprečíta. Model nebol disciplinovaný.

Tretia. Kvôli zručnostiam v promptovaní.

Over skôr, než zapíšeš

Jadro je jedna veta. Kontrola faktov patrí na vstup, nie na výstup.

Fable 5 to robil takto: podagent nájde fakt, Fable ho prevezme a zapíše do dokumentu. Overenie prišlo až na konci, na hotovom texte. Malo to byť naopak. Fakt sa overí v súbore skôr, než sa vôbec dostane do dokumentu.

Chýbala aj obyčajná tabuľka: každé tvrdenie, jeho zdroj a kto ho overil. Bez nej kontrolóri v každom kole náhodne prezerali iné časti dokumentu, takže sa nikdy neprešlo všetko naraz. Posledné neoverené tvrdenia tak trvali najdlhšie. S tabuľkou by jeden poctivý prechod pokryl úplne všetko a bol by koniec. Bez nej to bola lotéria.

Je to chýbajúce pravidlo, kde a kedy sa kontroluje. A to pravidlo vie každý nastaviť, keď píše prompt.

Čo tých deväť kôl reálne stálo

Mám presné čísla z každého kola.