Článok
Za posledné štyri roky som viedol zhruba stopäťdesiat praktických pohovorov. Päťdesiat na pozície dátových špecialistov. Sto na špecialistov reklamy a výkonnostného marketingu.
Takmer každý z nich znamenal sadnúť si s kandidátom nad praktickou úlohou, niečím blízkym reálnemu problému, ktorý vo firme naozaj potrebujeme riešiť. Žiadna teória. Žiadne testy. Len riešenie problémov.
Postupom času som si začal všímať vzorec.
Neprišlo to naraz. Nebol žiadny konkrétny moment, keď kvalita kandidátov skolabovala. Ale keď to robíte dosť dlho, keď udržiavate rovnaké úlohy a rovnaké štandardy, začnete vidieť krivku.
A tá krivka ide dole.
NAJLEPŠÍ VÝSLEDOK, AKÝ SOM KEDY VIDEL: BEZ AI
Najlepšie riešenie, aké som kedy dostal, prišlo od ženy, ktorá nepoužila žiadny AI model.
Žiadny ChatGPT. Žiadny Copilot. Žiadny jazykový model bežiaci na pozadí počas jej hodiny prípravy. Mala dáta, zadanie úlohy a svoju vlastnú hlavu.
Je učiteľka matematiky. Pracuje v školstve, presadzuje inovatívne prístupy k výučbe inšpirované Montessori, typ človeka, ktorý svoje dni trávi tým, že zisťuje, ako urobiť zložité veci zrozumiteľnými.
Bolo to vidieť.
Nemôžem prezradiť, čo konkrétne urobila: pohovory stále prebiehajú a úlohy sú stále v používaní. Ale na škále od jednej do desať dostala deväť.
Počas jej prezentácie bolo niekoľko momentov, keď som si pomyslel: toto je iná liga. Nie jeden moment. Niekoľko.
Nielen že odpovedala na otázku. Všimla si v dátach veci, ktoré neboli súčasťou zadania. Veci, na ktoré som sa explicitne nepýtal. Veci, na ktorých záležalo.
To je rozdiel medzi výstupom s asistenciou AI a skutočným ľudským riešením problémov. AI odpovedá na to, čo sa pýtate. Ona odpovedala na to, na čom záležalo.
Dodnes sa jej žiadny kandidát s prístupom k AI ani nepriblížil.
ÚPADOK SAMOSTATNÉHO MYSLENIA
Pred tromi rokmi zhruba jeden z piatich kandidátov dosiahol skóre nad šesť z desiatich. Ich riešenie bolo dostatočne solídne na to, aby bol pohovor zaujímavým.
Jeden z dvadsiatich dosiahol osem alebo viac. To znamenalo, že úlohu vyriešili samostatne, väčšinou správne, s úrovňou kritického myslenia, z ktorej bolo jasné, že rozumejú tomu, čo robia.
Dnes, pri dátových špecialistoch, by som ťažko hľadal niekoho nad päť.
Nehovorím o jemnom posune. Hovorím o merateľnom poklese kvality riešenia problémov, ktorý zmenil to, čo očakávam, keď vojdem do miestnosti na pohovor.
Pri špecialistoch na reklamu je obraz o niečo lepší. Ale trend je rovnaký.
PARADOX PRODUKTIVITY AI: LEPŠIE NÁSTROJE, HORŠIE VÝSLEDKY
Kandidáti na dátových špecialistov dostanú dataset a úlohu hodinu pred pohovorom. Majú čas na prípravu. Majú prístup k akýmkoľvek nástrojom, vrátane AI modelov, ktoré sú rádovo výkonnejšie ako čokoľvek, čo existovalo, keď som s týmito pohovormi začínal.
Viac času. Lepšie nástroje. Horšie výsledky.
V akomkoľvek inom kontexte by sme tomu povedali kríza.
Nie som jediný, kto si tento vzorec všíma. Randomizovaná kontrolovaná štúdia Grace Liu a kolegov (1 222 účastníkov naprieč viacerými experimentmi) zistila, že ľudia, ktorí používali AI asistenciu, dosahovali výrazne horšie výsledky po tom, čo im nástroj odobrali, dokonca už po desiatich minútach používania. Výskumníci naznačujú, že AI podmieňuje ľudí očakávať okamžité odpovede a odopiera im skúsenosť prepracovať sa cez výzvy vlastnými silami. Tento mechanizmus má názov: kognitívny offloading.
Štúdia MIT Media Lab s 54 účastníkmi využívajúca EEG merania zistila, že konektivita mozgu sa systematicky znižovala s úrovňou AI asistencie, pričom skupina používajúca ChatGPT vykazovala najslabšie neurálne prepojenie v oblastiach spojených s exekutívnymi funkciami, sémantickým spracovaním a reguláciou pozornosti. Štúdia je preprint a zatiaľ neprešla recenzným konaním, ale smer je konzistentný s tým, čo pozorujem na svojich pohovoroch.
Sú to rôzne domény: matematika, písanie esejí. Moja doména je analytické riešenie problémov v dátach a marketingu. Ale základný vzorec je rovnaký. Lepšie nástroje. Menšia námaha. Slabší samostatný výkon.
V praxi to vyzerá takto. Kandidát vezme dáta, nahádže ich do modelu a prinesie výstup na pohovor. Niekedy výstup vyzerá čisto. Niekedy dokonca pôsobivo, dobre štruktúrovaný, vizuálne vyladený.
Potom položím prvú doplňujúcu otázku.
„Prečo ste to riešili týmto spôsobom?"
A v miestnosti je ticho.
Tá odpoveď nikdy nebola ich.
KEĎ AI NAHRÁDZA MYSLENIE: BLACKBOX GENERÁCIA
Za zmienku stoja špeciálne pohovory s mladými kandidátmi, ktorí sú šikovní programátori. Vedia, ako doladiť modely, upraviť algoritmy, pracovať s komplexnými nástrojmi.
Prezentujú svoje riešenie sebavedomo. Výstup vyzerá štruktúrovane, niekedy dokonca pôsobivo. Ale po niekoľkých doplňujúcich otázkach sa to ukáže. Nakŕmili model dátami, zaobchádzali s ním ako s čiernou skrinkou a akceptovali čokoľvek, čo vypadlo. Nepovedia to takto priamo, ale presne to sa stalo.
Vstúpte do knižnice
Plný prístup k mojim zisteniam, osobným príbehom a tomu, čo sa dozviem od ľudí, s ktorými sa stretávam.
Vstúpte do knižnice · €29,99 ročne Ako môže byť malý podnikateľ, tvorca obsahu alebo politik… Čo študovať v AI dobe? Aký odbor si vybrať?… Na niekoľko mesiacov som odišiel z práce, aby som… Ako som sa do nej zamiloval, na prvý pohľad Ako nebyť závislý od sociálnych sietí? Môže ich tvorca… Ako začať s AI vo firme: automatizácia práce a…Získajte celý článok e-mailom a neváhajte odpovedať, ak o ňom chcete ďalej diskutovať.
Zhrnutie
Časté otázky k téme článku
Robí nás AI hlúpejšími?
Čo je kognitívny offloading?
Ako AI ovplyvňuje výkon na pracovných pohovoroch?
Dokáže AI nahradiť kritické myslenie?
Ak máte nejaké otázky alebo spätnú väzbu, pokojne mi napíšte na mail@richardgolian.com.
LinkedIn
Ďalšie články
Ste tvorca obsahu a hráte podľa pravidiel YouTubu, Instagramu alebo Googlu? Ste malý podnikateľ a váš biznis model stojí na tom, ako často vás bude odporúčať Amazon, aké drahé budú zobrazenia vo Facebook reklame alebo aké drahé budú kliknutia v Google Ads? Ak celý váš kontakt s publikom alebo zákazníkmi, alebo jeho väčšina, stojí na tom, že vás zobrazí nejaká veľká platforma, nie ste v dobrej pozícii.
Rozvoj umelej inteligencie mení pohľad na to, aké životné cesty dávajú zmysel. To, aké štúdium a profesiu si vybrať.
Bol štvrtok 31. 3. 2022, keď som odovzdal posledné časti mojej agendy kolegom, zaklapol som počítač a šiel do knižnice. Na niekoľko mesiacov som odišiel z práce a ponoril som sa do filozofie. A som za to nesmierne vďačný. Dnes som, tak ako väčšina ľudí, v jednom kolotoči, a je pre mňa ťažké sa zastaviť a zamyslieť sa nad zásadnými otázkami môjho vlastného života.
Bol september 2023. Môj život, moja práca, všetko bolo úplne iné ako teraz. Bolo to jednoduchšie. Nevlastnil som takmer nič. Potreboval som natočiť jednu reklamu, išiel som v rámci firmy na poschodie, kde bol produkt, ktorý som do tej reklamy potreboval, a tam som si ju všimol prvýkrát. Ona sa mi smeje, keď to tak opisujem, ale mne vtedy vesmír povedal, to je ona.
Ako a prečo postupne opúšťam sociálne siete a veľké platformy. Keď dnes čítam o tom, ako Meta testuje nový spôsob spoplatnenia organického príspevku, ktorý obsahuje linky mimo jej platformu, pripomína mi to, aké správne bolo moje rozhodnutie byť čoraz nezávislejší od veľkých platforiem a sociálnych sietí. Neznamená to, že som ich úplne opustil, znamená to, že to, či budem alebo nebudem v kontakte s mojimi čitateľmi, od nich závisí čím ďalej tým menej, a dnes už takmer vôbec.
Jeden z mojich rodinných príslušníkov opisoval firmu, ktorá má dáta v niekoľkých rôznych nástrojoch a jej zamestnanci ich ešte dnes spájajú ručne, v tabuľkách. To je bežný stav firiem. Keď takým ľuďom niekto povie, nerobte to ručne, použite AI, nebudú mu rozumieť. Väčšina firiem nemá ani základné konektory medzi nástrojmi, ktoré používa. Takéto firmy potrebujú pomoc s firemnou AI transformáciou.
Ten istý audit, dva modely. Fable 5 proti Opusu 4.8. Na papieri je Fable lepší, má väčší kontext aj silnejšie parametre. A predsa prehral. Opus zvládol úlohu jedným kolom kontroly za 721-tisíc tokenov, kým Fable na to potreboval deväť kôl a spálil 2,78 milióna tokenov. Rozdiel nebol v modeli, ale v tom, ako som mu úlohu zadal. A viem to, lebo som to zmeral.
Pred pár týždňami som si na notebook nainštaloval malý lokálny AI model, ktorý sleduje živý obraz z kamery. Zapol som webkameru vo tme a v skoro úplnej tme rozoznal mňa aj predmety v miestnosti. Že takéto veci existujú, som vedel dávno. Oči mi otvorila dostupnosť. Nainštaloval som to na jeden prompt, zadarmo, beží celé na mojom stroji a nikam neposiela dáta.
Sedemdesiat percent. Tam začína prvý výstup AI, aj keď jej dáte celý firemný kontext aj najlepšie príklady z minulosti. Hovoríme o type výstupu, ktorý sa nedá zadefinovať programaticky. Je zložitejší. Často ide o kreatívnu prácu. Pri jednom opakovanom type výstupu som sa dostal na osemdesiat percent za týždeň. Každé jedno percento vyššie je ťažšie než to predošlé.
Internet sme dlho brali ako hlavný smer cesty, miesto, kde sa odohráva práca aj vzťahy. Lenže väčšina toho, čo na ňom dnes vidíme, už je alebo čoskoro bude AI-generovaná: text, obrázky, profily aj komentáre. Internet sa mení na online hru plnú botov, kde si pri ničom nemôžete byť istý, že na druhej strane je človek. A tak sa pýtam: bol online svet hlavná cesta, alebo len dočasná odbočka, z ktorej sa časť ľudí vráti späť do offline?
V minulosti som písal o tom, ako som si vyvíjal vlastný analytický nástroj, ktorý je v súlade s ochranou osobných údajov. Mal detekciu botov už v prvej verzii, no nestačila. Návštevy z directu mali zvláštne vysoký podiel. Keď niekto tvrdí, že 20 % jeho návštev sú boti a 80 % ľudia, kedysi som si to myslel tiež. Dnes by som povedal, že bližšie k pravde je opačný pomer. Takto som k tomu dospel.
Mám pri sebe Heideggera a zápisník. Pýtam sa, kam to všetko smeruje, kam nás vedie umelá inteligencia.
Štyri dni v Katalánsku. Bez počítača, bez AI, takmer bez sociálnych sietí. Kúpil som si tento zápisník, aby som doň písal to, o čom budem premýšľať, a to, na čo na tejto ceste narazím a čo sa naučím.