Keď sa tvoj AI agent pripojí k tímu

Od učenia ku kontrole prístupu

V predchádzajúcom článku som opísal stavbu AI agenta, ktorý sa učí medzi jednotlivými sessions. Agent so štruktúrovanou pamäťou, slučkou sebakorrektúry a systémom akumulácie skúseností z jednej session do druhú.

V momente, keď k nemu potrebovali prístup ďalší ľudia, problém sa úplne zmenil. Už nešlo o to, či sa agent dokáže učiť. Šlo o to, kto ho smie učiť.

Čo sa stane, keď tvoj tím získa prístup k AI agentovi

Väčšina článkov o AI agentoch sa zameriava na to, čo agent dokáže. Veľmi málo z nich hovorí o tom, čo sa stane, keď ho začne používať niekto iný ako jeho tvorca.

Postavil som Slack bota. Myšlienka bola jednoduchá: dať tímu spôsob, ako priamo komunikovať s agentom — klásť otázky, žiadať analýzy, získavať reporty. Bez terminálu. Bez kódu. Len Slack.

Fungovalo to okamžite. A vtedy sa objavil skutočný problém.

Voľný chat s AI agentom je riziko. Ak ktokoľvek v tíme môže agentovi napísať čokoľvek, tak ktokoľvek môže náhodou prepísať jeho pamäť, zmeniť jeho správanie alebo spustiť akcie, ktoré neboli zamýšľané. Agent neposudzuje autoritu. Spracováva vstupy.

Otázka nebola, či má tím mať prístup. Otázka bola: aký typ prístupu?

Kontrola prístupu na základe rolí pre AI agentov

Nakoniec som zaviedol systém rolí. Tri úrovne: administrátor, analytik, pozorovateľ.

Pozorovateľ môže čítať reporty a vidieť, čo agent produkuje. Nič viac. Žiadne príkazy, žiadny chat, žiadny vplyv na správanie.

Analytik môže viac. Môže klásť otázky. Môže spúšťať preddefinované príkazy. A — toto je dôležité — môže zapisovať do pamäte agenta. Ale iba cez explicitný príkaz, nie cez voľnú konverzáciu. Ak analytik napíše inštrukciu na zapamätanie v správnom formáte, agent si ju uloží. Ak sa ju pokúsi napísať ako bežnú správu, systém ju ignoruje.

Administrátor má neobmedzený prístup. Voľný chat, priame príkazy, zápisy do pamäte, zmeny konfigurácie.

Znie to ako štandardný model oprávnení. Ale rozlíšenie, na ktorom záleží, nie je kto môže čítať alebo písať. Je to kto môže učiť. Pretože každý záznam v pamäti mení to, čo agent vie. A to, čo agent vie, formuje každý budúci výstup.

Prečo sa pamäť AI agenta stáva zdieľanou znalostnou bázou

Toto je niečo, čo som plne nedocenil, kým som to nevidel v praxi.

V predchádzajúcom článku som opísal vrstvu štruktúrovanej pamäte — súbor, ktorý agent číta pred každým behom a ktorý obsahuje poučenia z predchádzajúcich sessions. Čo som nepovedal, je čo sa stane, keď sa tá pamäť stane zdieľanou.

V momente, keď do pamäte agenta prispieva viacero ľudí, prestáva byť osobným nástrojom. Stáva sa zdieľanou znalostnou bázou. Každý záznam ovplyvňuje každú budúcu session — nielen pre človeka, ktorý ho napísal, ale pre všetkých, ktorí s agentom interagujú.

Nekontrolovaný prístup k tejto pamäti je reálne riziko. Nie preto, že by ľudia mali zlé úmysly. Ale preto, že agent nerozlišuje medzi starostlivo premysleným metodologickým poznatkom a náhodnou poznámkou, ktorú niekto napísal bez premýšľania. K obom pristupuje ako k rovnocenným pravdám.

Prístup k pamäti iba cez príkaz pre analytikov bol kompromis. Môžeš prispievať. Ale robíš to vedome, v štruktúrovanom formáte, a je to zaznamenané.

Čo sa stane, keď sa agent pomýli v metodológii

Toto ma zaskočilo.