Robí nás AI hlúpejšími?

Za posledné štyri roky som viedol zhruba stopäťdesiat praktických pohovorov. Päťdesiat na pozície dátových špecialistov. Sto na špecialistov reklamy a výkonnostného marketingu.

Takmer každý z nich znamenal sadnúť si s kandidátom nad praktickou úlohou — niečím blízkym reálnemu problému, ktorý vo firme naozaj potrebujeme riešiť. Žiadna teória. Žiadne testy. Len riešenie problémov.

Postupom času som si začal všímať vzorec.

Neprišlo to naraz. Nebol žiadny konkrétny moment, keď kvalita kandidátov skolabovala. Ale keď to robíte dosť dlho — keď udržiavate rovnaké úlohy a rovnaké štandardy — začnete vidieť krivku.

A tá krivka ide dole.

NAJLEPŠÍ VÝSLEDOK, AKÝ SOM KEDY VIDEL — BEZ AI

Najlepšie riešenie, aké som kedy dostal, prišlo od ženy, ktorá nepoužila žiadny AI model.

Žiadny ChatGPT. Žiadny Copilot. Žiadny jazykový model bežiaci na pozadí počas jej hodiny prípravy. Mala dáta, zadanie úlohy a svoju vlastnú hlavu.

Je učiteľka matematiky. Pracuje v školstve, presadzuje inovatívne prístupy k výučbe inšpirované Montessori — typ človeka, ktorý svoje dni trávi tým, že zisťuje, ako urobiť zložité veci zrozumiteľnými.

Bolo to vidieť.

Nemôžem prezradiť, čo konkrétne urobila — pohovory stále prebiehajú a úlohy sú stále v používaní. Ale na škále od jednej do desať dostala deväť.

Počas jej prezentácie bolo niekoľko momentov, keď som si pomyslel: toto je iná liga. Nie jeden moment. Niekoľko.

Nielen že odpovedala na otázku. Všimla si v dátach veci, ktoré neboli súčasťou zadania. Veci, na ktoré som sa explicitne nepýtal. Veci, na ktorých záležalo.

To je rozdiel medzi výstupom s asistenciou AI a skutočným ľudským riešením problémov. AI odpovedá na to, čo sa pýtate. Ona odpovedala na to, na čom záležalo.

Dodnes sa jej žiadny kandidát s prístupom k AI ani nepriblížil.

ÚPADOK SAMOSTATNÉHO MYSLENIA

Pred tromi rokmi zhruba jeden z piatich kandidátov dosiahol skóre nad šesť z desiatich. Ich riešenie bolo dostatočne solídne na to, aby bol pohovor zaujímavým.

Jeden z dvadsiatich dosiahol osem alebo viac. To znamenalo, že úlohu vyriešili samostatne, väčšinou správne, s úrovňou kritického myslenia, z ktorej bolo jasné, že rozumejú tomu, čo robia.

Dnes — pri dátových špecialistoch — by som ťažko hľadal niekoho nad päť.

Nehovorím o jemnom posune. Hovorím o merateľnom poklese kvality riešenia problémov, ktorý zmenil to, čo očakávam, keď vojdem do miestnosti na pohovor.

Pri špecialistoch na reklamu je obraz o niečo lepší. Ale trend je rovnaký.

PARADOX PRODUKTIVITY AI — LEPŠIE NÁSTROJE, HORŠIE VÝSLEDKY

Kandidáti na dátových špecialistov dostanú dataset a úlohu hodinu pred pohovorom. Majú čas na prípravu. Majú prístup k akýmkoľvek nástrojom, vrátane AI modelov, ktoré sú rádovo výkonnejšie ako čokoľvek, čo existovalo, keď som s týmito pohovormi začínal.

Viac času. Lepšie nástroje. Horšie výsledky.

V akomkoľvek inom kontexte by sme tomu povedali kríza.

Nie som jediný, kto si tento vzorec všíma. Randomizovaná kontrolovaná štúdia Grace Liu a kolegov (1 222 účastníkov naprieč viacerými experimentmi) zistila, že ľudia, ktorí používali AI asistenciu, dosahovali výrazne horšie výsledky po tom, čo im nástroj odobrali — dokonca už po desiatich minútach používania. Výskumníci naznačujú, že AI podmieňuje ľudí očakávať okamžité odpovede a odopiera im skúsenosť prepracovať sa cez výzvy vlastnými silami. Tento mechanizmus má názov: kognitívny offloading.

Štúdia MIT Media Lab s 54 účastníkmi využívajúca EEG merania zistila, že konektivita mozgu sa systematicky znižovala s úrovňou AI asistencie — pričom skupina používajúca ChatGPT vykazovala najslabšie neurálne prepojenie v oblastiach spojených s exekutívnymi funkciami, sémantickým spracovaním a reguláciou pozornosti. Štúdia je preprint a zatiaľ neprešla recenzným konaním — ale smer je konzistentný s tým, čo pozorujem na svojich pohovoroch.

Sú to rôzne domény — matematika, písanie esejí. Moja doména je analytické riešenie problémov v dátach a marketingu. Ale základný vzorec je rovnaký. Lepšie nástroje. Menšia námaha. Slabší samostatný výkon.

V praxi to vyzerá takto. Kandidát vezme dáta, nahádže ich do modelu a prinesie výstup na pohovor. Niekedy výstup vyzerá čisto. Niekedy dokonca pôsobivo — dobre štruktúrovaný, vizuálne vyladený.

Potom položím prvú doplňujúcu otázku.

„Prečo ste to riešili týmto spôsobom?"

A v miestnosti je ticho.

Tá odpoveď nikdy nebola ich.

KEĎ AI NAHRÁDZA MYSLENIE — BLACKBOX GENERÁCIA

Za zmienku stoja špeciálne pohovory s mladými kandidátmi, ktorí sú šikovní programátori. Vedia, ako doladiť modely, upraviť algoritmy, pracovať s komplexnými nástrojmi.

Prezentujú svoje riešenie sebavedomo. Výstup vyzerá štruktúrovane, niekedy dokonca pôsobivo. Ale po niekoľkých doplňujúcich otázkach sa to ukáže. Nakŕmili model dátami, zaobchádzali s ním ako s čiernou skrinkou a akceptovali čokoľvek, čo vypadlo. Nepovedia to takto priamo — ale presne to sa stalo.