Limity lokálnych AI modelov: Prečo som prešiel z Ollamy na Claude

O AI píšem od začiatku roka 2023. Za ten čas som sledoval, ako mení spôsob, akým programujem, ako premýšľam o obsahu, a čo si myslím o budúcnosti práce.

Toto je príbeh o tom, ako som sa pokúsil ísť o úroveň hlbšie: od používania AI ako nástroja k snahe postaviť na nej niečo autonómne. Nedopadlo to tak, ako som čakal.

PREČO SOM SKÚSIL SPÚŠŤAŤ AI LOKÁLNE

Skôr než som s tým mal reálnu skúsenosť, lokálna AI sa mi zdala ako najzaujímavejší krok, ktorý som mohol urobiť. Nielen kvôli flexibilite alebo bezpečnosti, hoci oboje boli dôležité, ale aj preto, že mi to pripadalo ako najpoctivejší spôsob, ako k tejto technológii pristúpiť.

Uprostred všetkého, čo sa okolo AI deje, mi spustiť model lokálne, nakonfigurovať ho, napojiť ho na dáta a vidieť, kde sa láme, pripadalo zásadne odlišné od používania uhladeného cloudového rozhrania. Bol to rozdiel medzi používaním nástroja a skutočným pochopením toho, ako ten nástroj funguje.

Zároveň som k tomu nepristupoval ako k čisto technickému experimentu. Od začiatku som mal v hlave jasný use case.

Prvou oblasťou, na ktorú som to chcel aplikovať, bolo SEO. SEO je zdokumentovaná a pomerne exaktná disciplína. Má štruktúru, pravidlá, vzorce a merateľné výsledky. Teoreticky je preto ideálne na automatizáciu. Agent môže v priebehu niekoľkých minút prejsť stovky podstránok, identifikovať štrukturálne problémy, odhaliť chýbajúce prvky a ak má zároveň prístup k dátam o trendoch vo vyhľadávaní, môže vytvárať zmysluplné odporúčania k obsahu.

To nie je abstraktná predstava. To je reálny workflow s jasnou biznisovou hodnotou.

Širšia vízia bola ambicióznejšia. Chcel som vybudovať agenta, ktorý bude na základe nastavených automatizácií získavať dáta, podľa toho, čo nájde, navrhovať ďalšie kroky, tieto návrhy niekam posielať na schválenie a cez túto spätnú väzbu sa postupne zlepšovať. V určitom bode, keď sa jeho navrhované kroky budú dlhodobo zhodovať s tým, čo považujem za dobré rozhodnutia, by začal tieto kroky vykonávať autonómne.

Nielen asistovať. Konať.

To bol cieľ.

MAC MINI, OLLAMA, N8N

Prvým krokom bolo samotné nastavenie AI modelu. Použil som Mac Mini, spustil lokálny model cez Ollamu a základnú orchestráciu riešil cez n8n.

Rozbehať Ollamu bolo prekvapivo jednoduché. Oveľa jednoduchšie, než som čakal. Za krátky čas som mal model spustený, odpovedal a správal sa ako chatbot. Z čisto technického pohľadu bola vstupná bariéra nízka.

V priebehu niekoľkých hodín som mal pripravený základný pipeline. Model vedel získať dáta, urobiť základnú marketingovú analýzu a zároveň som mal jasnú cestu k tomu, ako na základe výstupu automatizovať alerty do Slacku. V tej fáze všetko pôsobilo sľubne. Systém fungoval. A fungoval lokálne.

Čomu som vtedy ešte úplne nerozumel, bolo to, ako rýchlo narazím na jeho limity.

Potom som ho otestoval na reprezentatívnych ukážkových dátach navrhnutých tak, aby simulovali reálne podmienky.

KONTEXTOVÉ OKNO

Práve tu sa ukázalo skutočné obmedzenie.

Model zvládol niekoľko strán textu. Vedel spracovať menšiu tabuľku alebo dataset s veľkosťou niekoľkých kilobajtov. V tomto rozsahu sa správal spôsobom, ktorý pôsobil funkčne.

No v momente, keď som mu dal reprezentatívne SEO dáta (teda objem, ktorý naozaj potrebujeme analyzovať, ak chceme dostať zmysluplný výstup) sa systém rozpadol.

Spracoval to, čo sa zmestilo do jeho kontextového okna, a zvyšok ignoroval. Produkoval výstup, ktorý na prvý pohľad vyzeral štruktúrovane, ale pri bližšom pohľade mal takmer nulovú hodnotu. Zachytil nejaké číslo niekde v dátach a zopakoval ho späť. Nekombinoval signály. Neprioritizoval správne. Nerozumel vzťahom naprieč datasetom.

A dôvod bol jednoduchý. Nevidel toho dosť.

Všimol som si to okamžite pri prvej reálnej analýze. Kvalita výstupu bola zhruba porovnateľná s tým, čo produkovali cloudové modely v roku 2023. Nie je to kritika samotného modelu. Je to odraz obmedzení.

Problém nebol v konfigurácii. Nebol v promptoch. Nebol v nedostatku úsilia.

Hardvér určoval, aký model môžem spustiť. A model, ktorý som mohol spustiť, jednoducho nedokázal udržať množstvo informácií, ktoré táto úloha vyžadovala.

ČO V PRAXI ZNAMENÁ „AUTONÓMNY“

V tomto bode bolo jasné, čo „autonómny“ v praxi naozaj vyžaduje a v čom systém zaostával.

Autonómny agent nie je len slučka, ktorá opakovane volá model. Vyžaduje schopnosť uvažovať nad veľkým objemom kontextu, udržať koherenciu naprieč viacerými krokmi a produkovať výstupy dostatočne presné na to, aby sa podľa nich dalo konať bez neustáleho dohľadu.

To znamená, že potrebuje držať nielen aktuálny vstup, ale aj nahromadený stav celého workflowu. Aké dáta sa získali, aké kroky sa navrhli, aké rozhodnutia sa prijali, čo zlyhalo, čo fungovalo a aký je celkový cieľ.

Práve tu sa obmedzenie stáva štrukturálnym.

Model s obmedzeným kontextovým oknom nedokáže tento stav udržať. Nedokáže prepájať rozhodnutia v čase. Nedokáže zmysluplne vyhodnocovať vlastné výstupy, pretože mu chýba viditeľnosť nad celým procesom.

Vízia systému nebola problém.

Problém bola infraštruktúra pod ním.

PRECHOD NA CLAUDE CODE

V tom bode som prešiel na cloudové riešenie a začal pracovať s Claude Code od Anthropicu.