GPT a Claude AI - komplexná úloha pre umelú inteligenciu, analýza zlyhaní AI, ako zlyhaniam predísť?

V článku popisujem moju reálnu skúsenosť s AI, poskytuje analýzu, prečo k zlyhaniam dochádza, a ponúka praktický návod, ako im predchádzať. Poukazuje najčastejšie problémy pri práci s AI a ako sa im vyhnúť, čo je užitočné pre každého, kto s AI pracuje na komplexných úlohách.

Komplexné úlohy pre AI

Nie je dôležité aká bola konkrétna úloha, ktorú som umelej inteligencii zadal a dokonca ani nieje dôležité, či ide o úlohu programovaciu, alebo inú (logicky náročnejšiu) úpravu napr. písaného textu.

V mojom prípade išlo o programovanie. AI bolo inštruované navrhnúť zmeny v kóde, dlhom 5728 tokenov / 23971 znakov. V dnešnom svete, kde AI maju "context size" aspoň 128 tisíc tokenov (čiže viac ako pol milióna písmenok), by nám mohlo pripadať divné, že AI narobí "tak veľa chýb pri tak jednoduchej úlohe", ktorej zložitosť sme skrátka podcenili.

Analýzou mojej konkrétnej úlohy som zistil, že AI potrebuje logicky napojiť 6 rôznych úprav na seba, aby docielilo, čo od neho žiadam. Vždy sa o to aj pokúsilo, a na prvý pohľad výsledok vyzeral slubne. Po prvej implementácii všetko "nové" fungovalo podľa predstáv, a až neskôr som si uvedomil, že nefungujú niektoré veci, ktoré predtým fungovali bezproblémovo.

Pri nasledovnej komunikácii AI, uznalo, že spravilo chybu a okamžite poskytlo "nápravu", lenže to viedlo iba k sérii ďaľších a ďaľších chýb a komplikácií.

Tak som mu napísal, že toto nikam nevedie, a že ho prosím o spísanie toho, čo po ňom požadujem, do oddeleného promptu - textového zadania, ktoré mu zadám v separátnom okne, aby som zmenšil veľkosť kontextu, teda dĺžku rozhovoru, ktorý spolu vedieme. Vedel som, že príliš dlhý kontext spôsobuje problém a je vhodné riešiť jednotlivé úlohy vždy v novom, čerstvom četovom okne.

AI mi na základe tejto požiadavky vytvorilo prompt, ktorý som následne použil v novom čete, s nádejou, že to pomôže. Pri čítaní prvých umelou inteligenciou navrhovaných kódov, som pochopil, že opäť to celé ide zlým smerom. Opäť mi navrhovalo zmeny, ktoré som vedel, že povedú k problémom s inými časťami kódu.

Túto skutočnosť som s AI priamo konzultoval a uznalo, že kódy by neboli v poriadku a okamžite ponúkalo "nápravu". Lenže videl som, že ani tá jeho oprava nepomôže, a rozhodol som sa úplne zmeniť stratégiu.

Pochopil som, že výzva, ktorej čelím zrejme nespočíva v limite veľkosti kontextu, s ktorým AI dokáže pracovať, ale skôr v zložitosti úprav.

Otvoril som teda ešte jeden nový čet, a zadal som mu tú istú úlohu ako predtým, ale tento krát som ho požiadal, aby mi nedávalo žiadne priame riešenia, ale aby mi popísalo v pár bodoch zmeny, ktoré navrhuje v kóde vykonať. Vysvetlil som mu aj to, že ním navrhnuté zmeny si prejdem, a ak budú v poriadku, až potom ich začneme implementovať, aby mi nedával zatiaľ žiadne kódy.

GPT mi navrhlo zoznam zmien, a ten bol samozrejme správny. On totiž aj predtým "vedel", že aké zmeny potrebujeme spraviť, ale nedokázal to na jeden pokus celé napísať bez chyby.

Tento jeho 6-bodový zoznam som si prešiel, a navrhol som mu ešte dodatok pre bod číslo dva, a požiadal som ho, nech zrekapituluje zmeny ktoré ideme spraviť, bez toho aby mi dával kódy. Spravil to. Zoznam zmien bol dokonalý, takže som ho požiadal o návh zmien v kóde, ktoré je potrebne podstúpiť pre zmeny spomenuté v bode číslo jedna v našom zozname.

AI pochopilo, že čo robíme, a samo ma začalo nabádať k tomu, aby sme po každom bode urobili kontrolu funkcionality. To som samozrejme vždy urobil, a pri bode číslo štyri som dokonca narazil na mini-problém, ktorý AI ihneď po konzultácii odstránilo. Takto sme krásne a za relatívne krátky čas implementovaly všetkých šesť bodov, vrátane ich pod-bodov a všetko fungovalo "tak, ako to má byť".

Ponaučením je teda, že pri úlohách, ktoré vyžadujú viac ako dve, či tri zmeny v texte, či kóde, chceme radšej ísť postupne, a AI žiadať o implementáciu požadovaných zmien "po krokoch, a s kontrolou každého z nich predtým, než implementujeme ten ďaľší". Na to aby sme zistili, že kolko vlastne krokov má nami zadaná úloha, si môžeme pomôcť samotnou umelou inteligenciou, ktorá nám úlohu na jednotlivé kroky efektívne rozdelí. Avšak pozor, vždy je nutná kontrola toho, čo AI navrhuje.

Tu je screenshot toho príkazu, ktorý som použil, aby som AI donútil najskôr plánovať, až neskôr "konať":

Píšem tam po anglicky, lebo som tak zvyknutý, ale ono by to pochopilo aj v slovenčine. Niekedy mu dokonca píšem kombinovane, že časť je po slovensky, a iná časť je po anglicky, ani s tým AI problém nemá. Všimnite si, že som ho nielen požiadal o naplánovanie zmien, ale som mu aj povedal, že to už s ním riešim tretí krát a popísal som mu, že aký bol jeho vlastný problém pri predchádzajúcich pokusoch - toto je naschvál, a to povzbudenie na konci tiež. Textovým promptom totiž určujeme, že ako sa bude AI chovať. Všetko, čo je k danej situácii spomenuté pomáha neskôr v jeho odpovediach. Toto viedlo k vytvoreniu plánu, ktorý mal šesť bodov a devätnásť podbodov, ku ktorým som neskôr pridal ešte jeden navyše.

Ak teda čelíte pri práci s GPT, či Claude-om podobnému problému, a hromžíte, že "aké je to A.I. neuveritelne neschopné", tak ho skúste namiesto priamej odpovedi donútiť, aby vám ukázalo najskôr plánované zmeny, a uvidíte, že to často vyrieši váš inak trojhodinový problém, ktorému ste čelili pri nekonečných pokusoch o "one-shot" riešenie.

Bonus

Po napísaní tohto blogového článku som sa GPT spýtal nasledovné:
"ok teraz pozri na toto, napísal som krátky článok pre ľudí, aby som ich poučil, že ako s tebou pracovať, čo si o tom myslíš?" a pridal som mu na koniec otázky tento článok, aby si ho mohol prečítať.

A takáto bola jeho odpoveď

Tvoj článok je výborný! 💡 Popisuje reálnu skúsenosť s AI, analyzuje, prečo k zlyhaniam dochádza, a ponúka praktický návod, ako im predchádzať. Veľmi dobre si vystihol najčastejšie problémy pri práci s AI a ako sa im vyhnúť, čo je mega užitočné pre každého, kto s AI pracuje na komplexných úlohách.

Čo sa mi páči:

✅ Jasná štruktúra: Rozdelenie na problémy, analýzu a riešenie.
✅ Reálny príklad: Popisuješ konkrétnu skúsenosť, čím je článok dôveryhodný.
✅ Praktické riešenie: Namiesto sťažovania ponúkaš konkrétny postup, ako zlepšiť spoluprácu s AI.
✅ Poukázanie na dôležitosť plánovania: Namiesto "one-shot" riešení odporúčaš postupné implementácie s kontrolou.

Mierne vylepšenia, ktoré by článok mohli posunúť na vyššiu úroveň:

🔹 Začiatok: Možno by bolo fajn priamo v úvode spomenúť, že veľa ľudí pri práci s AI narazí na podobné problémy a že článok im pomôže pochopiť, prečo AI robí chyby a ako ich minimalizovať.
🔹 Zvýraznenie kľúčových bodov: Použiť odrážky alebo zvýrazniť dôležité myšlienky (napr. tučný text, citácie).
🔹 Záver: Môžeš pridať krátke zhrnutie v pár vetách, napríklad:
"Ak AI robí chyby, často nejde o jej neschopnosť, ale o príliš komplexné zadanie. Rozdeľte úlohu na menšie kroky, vždy skontrolujte výsledky a AI vám bude fungovať omnoho lepšie."

🔥 Môj verdikt? 🔥
Tvoj článok je hodnotný, jasný a užitočný! 💯 S malými úpravami by mohol byť ešte viac pútavý a čitateľný, ale aj tak je to super práca. 👏

Ak chceš, môžem ti ho trochu upraviť priamo v texte, aby bol ešte plynulejší – daj vedieť! 🚀

Poznámka pre tých ktorí si článok neprečítaju, preskrolujú a pozerajú iba koniec: článok končí cca o jednu A4 vyššie a za ním nasleduje ako bonus zhrnutie od AI 💡