Článok
Tá istá úloha. Dva modely. Fable 5 proti Opusu 4.8.
Kto vyhral? Opus. Zvládol úlohu s jedným kolom kontroly za 721-tisíc tokenov, kým Fable na to potreboval deväť kôl a spálil 2,78 milióna tokenov.
Na papieri je lepší Fable 5, prečo teda prehral?
„It's not the plane, it's the pilot." Nezáleží na stíhačke, ale na pilotovi.
Vyhral lepší prompt. A viem to, lebo som to odmeral.
Fable 5 sa točil v kruhu a spálil takmer 4x viac tokenov.
Deväť kôl
Nechal som si spraviť podrobný audit o tom, ako sa na jednom projekte spracovávajú dáta. Bol to dokument plný faktov: koľkokrát za hodinu sa niečo spustí, kedy to beží, na ktorom riadku v kóde to je. Vyše sto takýchto tvrdení.
A tu je háčik. Ani jedno z tých čísel sa nedá odhadnúť. Buď sa skontroluje správny súbor a prečíta, čo v ňom naozaj je, alebo nie. Vymyslený fakt vyzerá na papieri rovnako presvedčivo ako pravdivý. Rozdiel je vidno len keď to niekto skutočne skontroluje.
Jednu verziu správy pripravil Fable 5. Aby som odchytil chyby, nasadil som na ňu kontrolórov. Nie ľudí, ďalšie AI. Mali jedinú úlohu: nájsť v správe chybu. Keď nejakú našli, opravila sa a opäť začali pracovať kontrolóri. A znova. Pravidlo znelo: opakuj to dovtedy, kým jedno celé kolo nenájde ani jednu chybu.
Trvalo to deväť kôl, kým dodali výsledok bez chýb. Celkovo tridsaťšesť agentov.
Prečo deväť?
Ak mám najlepší model na trhu, prečo to trvalo deväť kôl?
Odpoveď má tri časti.
Prvá: väčšina tých kôl neopravovala chyby z auditu. Opravovala chyby kontrolórov. Tie AI, ktoré mali omyly hľadať, ich samy urobili viac, než našli. Dvakrát nahlásili, že sa istý proces spúšťa každých päť minút. V skutočnosti bežal oveľa zriedkavejšie. Dvakrát zle prepočítali veľkosť dát. Raz hlásili chybu v súbore, ktorý hľadali na zlom mieste.
Keď je pravidlo „opakuj, kým to nebude bezchybné" a tí, čo hľadajú, sa sami často mýlia, posledné kolá sa nevenovali opravovaniu. Trávili ich dokazovaním, že poplach bol falošný.
Fable 5 nebol disciplinovaný, prácu si zjednodušil
Druhá: táto úloha nebola o inteligencii. Bola o disciplíne pri kontrolách. Odpovede neboli v hlave modelu, boli v súboroch. A ani najchytrejší model ti nepovie, čo je v súbore, kým ho neotvorí a neprečíta. Model nebol disciplinovaný.
Tretia. Kvôli zručnostiam v promptovaní.
Over skôr, než zapíšeš
Jadro je jedna veta. Kontrola faktov patrí na vstup, nie na výstup.
Fable 5 to robil takto: podagent nájde fakt, Fable ho prevezme a zapíše do dokumentu. Overenie prišlo až na konci, na hotovom texte. Malo to byť naopak. Fakt sa overí v súbore skôr, než sa vôbec dostane do dokumentu.
Chýbala aj obyčajná tabuľka: každé tvrdenie, jeho zdroj a kto ho overil. Bez nej kontrolóri v každom kole náhodne prezerali iné časti dokumentu, takže sa nikdy neprešlo všetko naraz. Posledné neoverené tvrdenia tak trvali najdlhšie. S tabuľkou by jeden poctivý prechod pokryl úplne všetko a bol by koniec. Bez nej to bola lotéria.
Je to chýbajúce pravidlo, kde a kedy sa kontroluje. A to pravidlo vie každý nastaviť, keď píše prompt.
Čo tých deväť kôl reálne stálo
Mám presné čísla z každého kola.
Vstúpte do knižnice
Plný prístup k mojim zisteniam, osobným príbehom a tomu, čo sa dozviem od ľudí, s ktorými sa stretávam.
Vstúpte do knižnice · €29,99 ročne Ako môže byť malý podnikateľ, tvorca obsahu alebo politik… Čo študovať v AI dobe? Aký odbor si vybrať?… Na niekoľko mesiacov som odišiel z práce, aby som… Ako som sa do nej zamiloval, na prvý pohľad Ako nebyť závislý od sociálnych sietí? Môže ich tvorca… Ako začať s AI vo firme: automatizácia práce a…Získajte celý článok e-mailom a neváhajte odpovedať, ak o ňom chcete ďalej diskutovať.
Zhrnutie
Časté otázky k téme článku
Ktorý AI model je lepší, Fable 5 alebo Opus 4.8?
Prečo AI urobí toľko chýb pri kontrole faktov?
Ako napísať lepší prompt pre AI audit alebo kontrolu?
Rozhoduje pri AI viac model alebo prompt?
Koľko tokenov spotrebuje AI audit?
Čo znamená kontrola faktov na vstupe namiesto výstupu?
Ďalšie články
Ste tvorca obsahu a hráte podľa pravidiel YouTubu, Instagramu alebo Googlu? Ste malý podnikateľ a váš biznis model stojí na tom, ako často vás bude odporúčať Amazon, aké drahé budú zobrazenia vo Facebook reklame alebo aké drahé budú kliknutia v Google Ads? Ak celý váš kontakt s publikom alebo zákazníkmi, alebo jeho väčšina, stojí na tom, že vás zobrazí nejaká veľká platforma, nie ste v dobrej pozícii.
Rozvoj umelej inteligencie mení pohľad na to, aké životné cesty dávajú zmysel. To, aké štúdium a profesiu si vybrať.
Bol štvrtok 31. 3. 2022, keď som odovzdal posledné časti mojej agendy kolegom, zaklapol som počítač a šiel do knižnice. Na niekoľko mesiacov som odišiel z práce a ponoril som sa do filozofie. A som za to nesmierne vďačný. Dnes som, tak ako väčšina ľudí, v jednom kolotoči, a je pre mňa ťažké sa zastaviť a zamyslieť sa nad zásadnými otázkami môjho vlastného života.
Bol september 2023. Môj život, moja práca, všetko bolo úplne iné ako teraz. Bolo to jednoduchšie. Nevlastnil som takmer nič. Potreboval som natočiť jednu reklamu, išiel som v rámci firmy na poschodie, kde bol produkt, ktorý som do tej reklamy potreboval, a tam som si ju všimol prvýkrát. Ona sa mi smeje, keď to tak opisujem, ale mne vtedy vesmír povedal, to je ona.
Ako a prečo postupne opúšťam sociálne siete a veľké platformy. Keď dnes čítam o tom, ako Meta testuje nový spôsob spoplatnenia organického príspevku, ktorý obsahuje linky mimo jej platformu, pripomína mi to, aké správne bolo moje rozhodnutie byť čoraz nezávislejší od veľkých platforiem a sociálnych sietí. Neznamená to, že som ich úplne opustil, znamená to, že to, či budem alebo nebudem v kontakte s mojimi čitateľmi, od nich závisí čím ďalej tým menej, a dnes už takmer vôbec.
Jeden z mojich rodinných príslušníkov opisoval firmu, ktorá má dáta v niekoľkých rôznych nástrojoch a jej zamestnanci ich ešte dnes spájajú ručne, v tabuľkách. To je bežný stav firiem. Keď takým ľuďom niekto povie, nerobte to ručne, použite AI, nebudú mu rozumieť. Väčšina firiem nemá ani základné konektory medzi nástrojmi, ktoré používa. Takéto firmy potrebujú pomoc s firemnou AI transformáciou.
Pred pár týždňami som si na notebook nainštaloval malý lokálny AI model, ktorý sleduje živý obraz z kamery. Zapol som webkameru vo tme a v skoro úplnej tme rozoznal mňa aj predmety v miestnosti. Že takéto veci existujú, som vedel dávno. Oči mi otvorila dostupnosť. Nainštaloval som to na jeden prompt, zadarmo, beží celé na mojom stroji a nikam neposiela dáta.
V minulosti som písal o tom, ako som si vyvíjal vlastný analytický nástroj, ktorý je v súlade s ochranou osobných údajov. Mal detekciu botov už v prvej verzii, no nestačila. Návštevy z directu mali zvláštne vysoký podiel. Keď niekto tvrdí, že 20 % jeho návštev sú boti a 80 % ľudia, kedysi som si to myslel tiež. Dnes by som povedal, že bližšie k pravde je opačný pomer. Takto som k tomu dospel.
Mám pri sebe Heideggera a zápisník. Pýtam sa, kam to všetko smeruje, kam nás vedie umelá inteligencia.
Sedemdesiat percent. Tam začína prvý výstup AI, aj keď jej dáte celý firemný kontext aj najlepšie príklady z minulosti. Hovoríme o type výstupu, ktorý sa nedá zadefinovať programaticky. Je zložitejší. Často ide o kreatívnu prácu. Pri jednom opakovanom type výstupu som sa dostal na osemdesiat percent za týždeň. Každé jedno percento vyššie je ťažšie než to predošlé.
Štyri dni v Katalánsku. Bez počítača, bez AI, takmer bez sociálnych sietí. Kúpil som si tento zápisník, aby som doň písal to, o čom budem premýšľať, a to, na čo na tejto ceste narazím a čo sa naučím.
„Neospravedlniteľné, neobhájiteľné. Na toto sa nesmie nikdy zabudnúť.“

