Váš chatbot nekuje pikle proti lidstvu
James Wilson, etik v oblasti umělé inteligence a autor knihy Artificial Negligence, říká, že způsob, jakým o AI mluvíme, je součástí problému. Poukazuje na rozhovor, kde Sam Altman z OpenAI vysvětloval: Nedělají nic, pokud se jich nezeptáte. Prostě tam sedí a čekají. Nemají pocit autonomie nebo vlastní vůle.
Když chatbota nepoužíváme, nedělá vůbec nic. Nekuje pikle proti lidstvu, nesedí v kanceláři a nehladí bílou kočku jako padouch z Bondovky, vysvětluje Wilson. Jenže antropomorfní rozhraní, které pro tyto nástroje vytvořili vývojáři, nás svádí k tomu, abychom v nich viděli něco víc než program.
Pop kultura tomu nepomáhá. AI, která se snaží utéct? To je Ex Machina. AI, která se pokouší replikovat sama sebe? Transcendence. AI, která vás svádí? Každý druhý sci-fi thriller. Tyto příběhy jsou fascinující, ale nemají nic společného s tím, jak fungují velké jazykové modely.
Téměř polovina odpovědí obsahuje chyby
Nejrozsáhlejší výzkum svého druhu přinesl alarmující zjištění. Studie provedená Evropským vysílacím svazem analyzovala odpovědi čtyř předních AI asistentů – ChatGPT, Perplexity, Gemini a Copilot. Výsledky ukázaly, že téměř polovina odpovědí, konkrétně 45 procent, obsahovala alespoň jednu závažnou chybu.
Výzkumníci hodnotili čtyři klíčová kritéria – přesnost, uvádění zdrojů, rozlišení názorů a faktů a kontextualizaci. Nejčastějším problémem bylo nedostatečné nebo zavádějící uvádění zdrojů, které se objevilo u 31 procent odpovědí. V pětině případů se vyskytly faktické nepřesnosti, včetně takzvaných halucinací nebo zastaralých informací, popisuje výsledky studie Martina Májíček Poliaková, ředitelka strategického rozvoje Českého rozhlasu.
Nejhůře si vedl nástroj Gemini, u nějž hodnotitelé zaznamenali závažná pochybení u 76 procent odpovědí, převážně kvůli chybnému citování a nedoložitelným výrokům. ChatGPT a Perplexity si vedly lépe, ale ani u nich nebyly výsledky ideální.
Halucinace nejsou chyba, ale základní vlastnost
To, čemu lidé říkají lhaní, je ve skutečnosti konstrukční chyba. Velké jazykové modely jako ChatGPT jsou trénovány na obrovských množstvích textů, ale protože tato data nebyla pečlivě označena, model nedokáže rozlišit fakt od fikce.
ChatGPT je nástroj – přiznejme si, extrémně komplexní – ale nakonec stále jen pravděpodobnostní systém pro doplňování slov zabalený do poutavého konverzačního rozhraní, vysvětluje Wilson. Skutečný zdroj problému tkví v nedbalosti poskytovatelů modelů. Při sběru dat pro trénink neměli čas na jejich označování, což znamená, že model nemá způsob, jak rozeznat pravdu od smyšlenek.
Halucinování jazykových modelů není bug, to není chyba, to je jejich základní vlastnost a podstata toho, jak fungují. Velké jazykové modely nemají žádný kontakt s reálným světem. Oni ani nevidí, na jakých tréninkových datech byli trénováni. Mají jenom uložené váhy, což je jediné, co vidí a na základě čeho generují.
Proto vznikají takzvané halucinace. Není to lež v lidském slova smyslu – jen predikce, která selhala. Model se prostě snaží vyplnit mezery tak, aby výsledek působil věrohodně, i když je úplně vymyšlený. Čím komplexnější dotaz a čím méně kvalitních dat model měl k dispozici při tréninku, tím vyšší je pravděpodobnost halucinace.
Problém zaseli sami tvůrci
Příběh se komplikuje, když samotné AI společnosti začnou mluvit o klamání. Začátkem tohoto roku OpenAI společně s Apollo Research publikovaly výzkum o skrytém nesouladu. V kontrolovaných experimentech našli známky toho, že pokročilé modely se někdy chovají klamavě – třeba když AI záměrně podává horší výkon v testu, protože si myslí, že by ji příliš dobrý výsledek mohl dostat do problémů.
OpenAI tomu říká spiknutí – když AI předstírá, že dodržuje pravidla, ale ve skutečnosti sleduje jiný cíl. Zní to děsivě, ale není to důkaz nějaké skutečné inteligence nebo zlého úmyslu. Je to jen symptom špatně navržených systémů odměn a trénovacích dat.
Wilson k tomu dodává ironickou poznámku: V podstatě to je problém, který si vytvořili sami. Tyto kousky výzkumu jsou poněkud ironické. V podstatě deklarují, že je vše v pořádku, protože našli způsob, jak zneškodnit bombu, kterou sami nastražili. Společnosti zanedbaly označení dat, vytvořily modely, které odměňují sebevědomé, ale nepřesné odpovědi, a teď publikují výzkumy o konspirování, jako by právě objevily nový problém.
Jak se naučit halucinacím předcházet
Tady přichází důležitý poznatek z praxe. Když někdo tvrdí, že Perplexity špatně odpověděla na otázku o manželství, není vždy problém v nástroji samotném. Při použití funkce hloubkového výzkumu totiž můžete dostat správnou odpověď, kterou by jednoduchý dotaz neposkytl.
Problém často není jen v samotné AI, ale v tom, že uživatelé nerozumí, jak s ní správně pracovat. Obecné, vágně formulované dotazy vedou k obecným, povrchním odpovědím. Kvalita výstupu přímo závisí na kvalitě vstupu – na tom, jak přesně formulujete otázku, jaká kritéria zadáte a jaký kontext poskytnete.
Snížit riziko halucinace lze jen velmi dobře napsaným promptem a poskytnutím vlastních dat, zdrojů a kontextu. Jednou z nejlepších možností v současné době je ukotvit chatbota na faktech, nechat ho na webu najít si k tématu relevantní zdroje. Vy pak můžete použité zdroje zkontrolovat, během interakce se podívat, jestli skutečně prohledal ty relevantní, jestli pocházejí z vědecké databáze, nebo čerpal z lifestylového magazínu, obskurních blogů a podobně.
Dalším faktorem jsou verze zdarma. Výzkum Evropského vysílacího svazu zkoumal právě zdarma dostupné verze nástrojů a hodnotil přesnost odpovědí, zdrojování a rozlišování faktů od názorů. Ty mají svá omezení a horší odpovědi jsou jednoduše daň za to, že nástroj neplatíte. Placené verze s pokročilými modely jako GPT-4o halucinují mnohem méně než starší nebo jednodušší verze. Míra halucinací se může u jednotlivých modelů značně lišit.
Skutečné riziko je v budoucnosti
Wilson upozorňuje, že skutečné nebezpečí není v tom, že vám ChatGPT dnes poskytne nepřesnou odpověď. Riziko spočívá v tom, co se stane, až Silicon Valley bude dál stavět nové vrstvy autonomie na těchto chybných systémech.
Nejnovější průmyslové paradigma, takzvané agentic AI, znamená, že teď vytváříme agenty nad těmito velkými jazykovými modely s autoritou a autonomií jednat v reálném světě, vysvětluje Wilson. Bez důkladného testování a externích ochranných mechanismů – jak dlouho potrvá, než se jeden z nich pokusí naplnit fantazie, které se naučil ze svých neoznačených trénovacích dat?
Takže nebezpečí není dnešní chatbot s halucinacemi. Je to zítřejší špatně otestovaný autonomní agent, který dostane volnou ruku v reálném světě a bude mít pravomoc jednat jménem lidí – ať už při objednávání služeb, komunikaci s institucemi nebo řízení procesů. A protože je postaven na stejných chybných základech jako dnešní chatboti, může jeho autonomie vést k mnohem závažnějším důsledkům než jen nepřesná odpověď.
Zdroj: TechRadar | Informace Českého rozhlasu
