Richard Golian

Narodený roku 1995. Absolvent Univerzity Karlovej. Vedúci výkonnostného oddelenia v Mixit. 10+ rokov v marketingu postavenom na dátach.

English Castellano Français

Správa predplatného Výber predplatného

RSS
Newsletter
Nové články do e-mailu
Richard Golian

Článok

Fable 5 vs Opus: lacnejší model vyhral

Opus porazil Fable 5. Rozhodol prompt.
Richard Golian
Richard Golian · 659 čítaní
Zdravím, som Richard. Na tomto blogu zdieľam myšlienky, osobné príbehy, zistenia a aj to, na čom práve pracujem. Dúfam, že vám tento článok prinesie hodnotu.

Tá istá úloha. Dva modely. Fable 5 proti Opusu 4.8.

Kto vyhral? Opus. Zvládol úlohu s jedným kolom kontroly za 721-tisíc tokenov, kým Fable na to potreboval deväť kôl a spálil 2,78 milióna tokenov.

Na papieri je lepší Fable 5, prečo teda prehral?

„It's not the plane, it's the pilot." Nezáleží na stíhačke, ale na pilotovi.

Vyhral lepší prompt. A viem to, lebo som to odmeral.

Fable 5 sa točil v kruhu a spálil takmer 4x viac tokenov.

Deväť kôl

Nechal som si spraviť podrobný audit o tom, ako sa na jednom projekte spracovávajú dáta. Bol to dokument plný faktov: koľkokrát za hodinu sa niečo spustí, kedy to beží, na ktorom riadku v kóde to je. Vyše sto takýchto tvrdení.

A tu je háčik. Ani jedno z tých čísel sa nedá odhadnúť. Buď sa skontroluje správny súbor a prečíta, čo v ňom naozaj je, alebo nie. Vymyslený fakt vyzerá na papieri rovnako presvedčivo ako pravdivý. Rozdiel je vidno len keď to niekto skutočne skontroluje.

Jednu verziu správy pripravil Fable 5. Aby som odchytil chyby, nasadil som na ňu kontrolórov. Nie ľudí, ďalšie AI. Mali jedinú úlohu: nájsť v správe chybu. Keď nejakú našli, opravila sa a opäť začali pracovať kontrolóri. A znova. Pravidlo znelo: opakuj to dovtedy, kým jedno celé kolo nenájde ani jednu chybu.

Trvalo to deväť kôl, kým dodali výsledok bez chýb. Celkovo tridsaťšesť agentov.

Prečo deväť?

Ak mám najlepší model na trhu, prečo to trvalo deväť kôl?

Odpoveď má tri časti.

Prvá: väčšina tých kôl neopravovala chyby z auditu. Opravovala chyby kontrolórov. Tie AI, ktoré mali omyly hľadať, ich samy urobili viac, než našli. Dvakrát nahlásili, že sa istý proces spúšťa každých päť minút. V skutočnosti bežal oveľa zriedkavejšie. Dvakrát zle prepočítali veľkosť dát. Raz hlásili chybu v súbore, ktorý hľadali na zlom mieste.

Keď je pravidlo „opakuj, kým to nebude bezchybné" a tí, čo hľadajú, sa sami často mýlia, posledné kolá sa nevenovali opravovaniu. Trávili ich dokazovaním, že poplach bol falošný.

Fable 5 nebol disciplinovaný, prácu si zjednodušil

Druhá: táto úloha nebola o inteligencii. Bola o disciplíne pri kontrolách. Odpovede neboli v hlave modelu, boli v súboroch. A ani najchytrejší model ti nepovie, čo je v súbore, kým ho neotvorí a neprečíta. Model nebol disciplinovaný.

Tretia. Kvôli zručnostiam v promptovaní.

Over skôr, než zapíšeš

Jadro je jedna veta. Kontrola faktov patrí na vstup, nie na výstup.

Fable 5 to robil takto: podagent nájde fakt, Fable ho prevezme a zapíše do dokumentu. Overenie prišlo až na konci, na hotovom texte. Malo to byť naopak. Fakt sa overí v súbore skôr, než sa vôbec dostane do dokumentu.

Chýbala aj obyčajná tabuľka: každé tvrdenie, jeho zdroj a kto ho overil. Bez nej kontrolóri v každom kole náhodne prezerali iné časti dokumentu, takže sa nikdy neprešlo všetko naraz. Posledné neoverené tvrdenia tak trvali najdlhšie. S tabuľkou by jeden poctivý prechod pokryl úplne všetko a bol by koniec. Bez nej to bola lotéria.

Je to chýbajúce pravidlo, kde a kedy sa kontroluje. A to pravidlo vie každý nastaviť, keď píše prompt.

Čo tých deväť kôl reálne stálo

Mám presné čísla z každého kola.

Pokračujte

Vstúpte do knižnice

Plný prístup k mojim zisteniam, osobným príbehom a tomu, čo sa dozviem od ľudí, s ktorými sa stretávam.

Vstúpte do knižnice · €29,99 ročne S AI je možné všetko Ako analyzovať návštevnosť webu v… Závislí od umelej inteligencie: sme… Ktorú prácu AI nenahradí? Zatiaľ… Teória mŕtveho internetu sa stáva realitou. Vrátime sa do… Priepasť medzi profesionálmi nebola nikdy taká veľká, aká je…
Iba tento článok · €2,99

Získajte celý článok e-mailom a neváhajte odpovedať, ak o ňom chcete ďalej diskutovať.

Visa Mastercard Apple Pay Google Pay

Zhrnutie

Ten istý audit som dal dvom AI modelom. Silnejší a drahší Fable 5 potreboval deväť kôl kontroly a spálil 2,78 milióna tokenov. Lacnejší Opus 4.8 to zvládol na jedno kolo za 721-tisíc, so zhodou okolo deväťdesiat percent. Nerozhodol model, ale prompt. Kontrola faktov patrí na vstup, nie na výstup, a to pravidlo vie do zadania dať každý.

Časté otázky k téme článku

Ktorý AI model je lepší, Fable 5 alebo Opus 4.8?
V mojom teste na tej istej úlohe zvládol audit lepšie Opus 4.8, hoci je lacnejší a na papieri slabší. Nerozhodol samotný model, ale to, ako som mu úlohu zadal. Fable 5 potreboval deväť kôl kontroly, Opus jedno.
Prečo AI urobí toľko chýb pri kontrole faktov?
Väčšina chýb nevznikla v samotnej práci, ale v tom, že sa fakty zapisovali bez overenia proti zdroju. Keď sa každý údaj overí hneď pri vzniku, počet kôl aj chýb prudko klesne.
Ako napísať lepší prompt pre AI audit alebo kontrolu?
Do zadania daj pravidlo, že žiadny fakt nejde do výstupu bez overenia v zdroji. Nech si model vedie tabuľku všetkých tvrdení a overí sto percent z nich. A stanov strop na počet kôl aj na cenu.
Rozhoduje pri AI viac model alebo prompt?
V meranom teste rozhodol prompt. Lacnejší model s dobrým zadaním dosiahol okolo deväťdesiat percent zhody za 26 percent ceny a jedno kolo namiesto deviatich.
Koľko tokenov spotrebuje AI audit?
Závisí od rozsahu. Toto bol audit dokumentu s vyše sto overiteľnými faktami o spracovaní dát na jednom projekte. Prvý beh naň spálil 2,78 milióna tokenov a deväť kôl kontroly. Ten istý audit s lepším zadaním na druhom modeli stál 721-tisíc tokenov a jedno kolo.
Čo znamená kontrola faktov na vstupe namiesto výstupu?
Znamená overiť každý fakt vo chvíli, keď vznikne, ešte pred zápisom do dokumentu. Kontrola na konci je náhodné vzorkovanie, kontrola na vstupe pokryje všetko.
Richard Golian

Ak máte nejaké otázky alebo spätnú väzbu, pokojne mi napíšte na mail@richardgolian.com.

NEWSLETTER
O čom píšem, na čom pracujem, čo som sa naučil.
Posielam prvú nedeľu v mesiaci. Kedykoľvek sa môžete odhlásiť.

Ďalšie články

S AI je možné všetko

Pred pár týždňami som si na notebook nainštaloval malý lokálny AI model, ktorý sleduje živý obraz z kamery. Zapol som webkameru vo tme a v skoro úplnej tme rozoznal mňa aj predmety v miestnosti. Že takéto veci existujú, som vedel dávno. Oči mi otvorila dostupnosť. Nainštaloval som to na jeden prompt, zadarmo, beží celé na mojom stroji a nikam neposiela dáta.

15.7.2026·400 čítaní
Môj blog je plný agentov a botov

V minulosti som písal o tom, ako som si vyvíjal vlastný analytický nástroj, ktorý je v súlade s ochranou osobných údajov. Mal detekciu botov už v prvej verzii, no nestačila. Návštevy z directu mali zvláštne vysoký podiel. Keď niekto tvrdí, že 20 % jeho návštev sú boti a 80 % ľudia, kedysi som si to myslel tiež. Dnes by som povedal, že bližšie k pravde je opačný pomer. Takto som k tomu dospel.

6.7.2026·1 865 čítaní
Závislí od umelej inteligencie: sme ešte páni, alebo otroci?

Mám pri sebe Heideggera a zápisník. Pýtam sa, kam to všetko smeruje, kam nás vedie umelá inteligencia.

21.6.2026·805 čítaní
Ktorú prácu AI nenahradí?

Sedemdesiat percent. Tam začína prvý výstup AI, aj keď jej dáte celý firemný kontext aj najlepšie príklady z minulosti. Hovoríme o type výstupu, ktorý sa nedá zadefinovať programaticky. Je zložitejší. Často ide o kreatívnu prácu. Pri jednom opakovanom type výstupu som sa dostal na osemdesiat percent za týždeň. Každé jedno percento vyššie je ťažšie než to predošlé.

10 June 2026·716 čítaní
Čo je teória mŕtveho internetu a vrátime sa do offline?

Internet sme dlho brali ako hlavný smer cesty, miesto, kde sa odohráva práca aj vzťahy. Lenže väčšina toho, čo na ňom dnes vidíme, už je alebo čoskoro bude AI-generovaná: text, obrázky, profily aj komentáre. Internet sa mení na online hru plnú botov, kde si pri ničom nemôžete byť istý, že na druhej strane je človek. A tak sa pýtam: bol online svet hlavná cesta, alebo len dočasná odbočka, z ktorej sa časť ľudí vráti späť do offline?

7.6.2026·894 čítaní
Priepasť medzi profesionálmi v AI dobe

Pred pár dňami som mal pohovor so seniórnym marketérom. Skúsený človek, roky praxe. Spýtal som sa ho na AI. Povedal, že ju takmer nepoužíva. Mal jednu zlú skúsenosť s výstupom a usúdil, že je príliš skúsený na to, aby mu to dávalo hodnotu, keď to nie je stopercentné. Poznám aj druhú stranu: profíkov, ktorí si automatizujú všetko, čo sa automatizovať dá.

6.6.2026·799 čítaní
Európa nie je pripravená na vojnu dronov

Európa nemá kapacity, aby čelila plnohodnotnej masívnej vojne dronov, takej akú vidíme na Ukrajine. Oslabujú ju tri závislosti: materiál pre obranné systémy dodáva Čína, vojenské schopnosti, ktoré Európa nemá, dodávajú USA, a dvadsaťsedem štátov sa nevie dohodnúť, ako rýchlo a za čo. Plány na prezbrojenie existujú, ich napĺňanie je však pomalé.

31.5.2026·788 čítaní
Dokáže AI nahradiť ľudský úsudok?

AI spraví grafiku, newsletter aj produktovú stránku rýchlejšie než človek. Tomu, kto to robil, zostáva jediné: posúdiť, či je výstup dobrý. Lenže väčšina ľudí má horší úsudok než AI. A kto nevie posúdiť kvalitu, nevie ani delegovať. Ako zistíš, či je tvoj úsudok ten, na ktorý sa firma spolieha, alebo ten nahraditeľný?

30.5.2026·769 čítaní
Čo určuje cenu akcie?

V apríli som v prvej časti tejto série písal o AI predikčnom systéme, ktorý som začal vyvíjať na vlastnom počítači. Vtedy mal software pár hodín a záznam predpovedí bol prázdny. Odvtedy záznamy v systéme ukázali vec, ktorá sa na začiatku dala čakať. Systém ešte nerozumie trhu, ktorý má predpovedať. Vie si nájsť makro kontext, účtovnú hodnotu firiem, zisky. Ale nevie si tie veci poskladať do niečoho, čo by mu pomáhalo porozumieť cene.

23.5.2026·810 čítaní
Kam pôjdu peniaze, keď AI prevezme prácu

Praha, 13. mája 2026. Cestou do práce som začal premýšľať o niečom, čo mi zostalo v hlave celé dni. Ak väčšina rutinnej práce na počítači v nasledujúcich desiatich rokoch zmizne a s ňou aj veľká časť opakujúcej sa manuálnej práce, čo sa stane s tokom peňazí? Kto bude platiť komu a za čo? Aké ekonomické vrstvy budú existovať, aké budú veľké a aké vzťahy medzi nimi pobežia? Toto je šesťvrstvová mapa, ktorú som ako odpoveď načrtol.

15.5.2026·1 492 čítaní
Buď len digitálne a s AI, alebo úplne offline.

Štyri dni v Katalánsku. Bez počítača, bez AI, takmer bez sociálnych sietí. Kúpil som si tento zápisník, aby som doň písal to, o čom budem premýšľať, a to, na čo na tejto ceste narazím a čo sa naučím.

10 May 2026·1 349 čítaní
Andrej Sámel: Ako prvý vystúpil proti Mečiarovi a varoval pred rozpadom Československa

„Neospravedlniteľné, neobhájiteľné. Na toto sa nesmie nikdy zabudnúť.“

17.11.2019·5 252 čítaní
NEWSLETTER
O čom píšem, na čom pracujem, čo som sa naučil.
Posielam prvú nedeľu v mesiaci. Kedykoľvek sa môžete odhlásiť.