ZeroSearch: Nový trénink umělé inteligence
Proč je ZeroSearch průlomem v AI
Vývoj pokročilých AI asistentů, kteří dokážou samostatně vyhledávat informace, byl dosud spojen s vysokými náklady a složitostí. Hlavní překážkou byly poplatky za API komerčních vyhledávačů, jako je Google, a také nekonzistentní kvalita získaných dat. Alibaba tento problém řeší novým přístupem ZeroSearch, který umožňuje modelům trénovat vyhledávací schopnosti bez nutnosti reálného připojení k vyhledávačům.
ZeroSearch staví na myšlence, že velké jazykové modely (LLM) už mají díky předchozímu rozsáhlému tréninku dostatečné znalosti světa. Proto je možné je naučit simulovat výsledky vyhledávání – generovat jak relevantní, tak i nerelevantní dokumenty k dotazu. To zásadně mění přístupy, protože trénink už není omezen vysokými náklady na API a je plně pod kontrolou vývojářů.
Jak ZeroSearch funguje v praxi
Trénink začíná lehkým doškolením modelu, aby se z něj stal tzv. retrieval modul – tedy model, který umí na dotaz vygenerovat různé typy odpovědí, včetně těch méně kvalitních. V další fázi se využívá tzv. „curriculum-based rollout strategy“, což znamená, že AI je postupně vystavována stále méně kvalitním informacím. Tento přístup simuluje reálné internetové prostředí, kde nejsou všechny informace vždy přesné nebo relevantní.
Klíčová je zde schopnost modelu učit se pracovat i s nejednoznačnými nebo protichůdnými daty, což je v praxi velmi cenné. Model se tak stává robustnějším a lépe připraveným na reálné situace, kde musí filtrovat šum a najít správnou odpověď.
Výsledky: Výkon i úspora nákladů
ZeroSearch byl testován na sedmi známých datových sadách pro otázky a odpovědi. Výsledky ukázaly, že model s 7 miliardami parametrů dosáhl srovnatelného výkonu jako Google Search, a větší model s 14 miliardami parametrů jej dokonce překonal. Rozdíl je ale v nákladech: trénink s 64 000 dotazy přes Google Search by stál přibližně 587 dolarů, zatímco ZeroSearch zvládne totéž za 71 dolarů – to je úspora 88 %.
Tato metoda je univerzální – funguje napříč různými rodinami modelů (např. Qwen-2.5, LLaMA-3.2), ať už jde o základní nebo instrukčně laděné varianty. Vývojáři mají navíc plnou kontrolu nad tím, jaká data model během tréninku vidí, což zvyšuje transparentnost a předvídatelnost celého procesu.
Dopady na vývoj AI a budoucnost oboru
ZeroSearch může zásadně změnit ekonomiku vývoje AI. Menší firmy a startupy, které si nemohly dovolit vysoké náklady na API, teď získávají přístup k pokročilému tréninku za zlomek ceny. Zároveň se snižuje závislost na velkých technologických platformách, což podporuje větší otevřenost a inovace v celém ekosystému.
Další výhodou je možnost přesně řídit kvalitu a typ informací, které model během tréninku zpracovává. To znamená, že lze lépe simulovat různé scénáře, včetně těch, kde jsou informace neúplné nebo zavádějící. Výsledkem jsou robustnější a spolehlivější AI asistenti, kteří si poradí i v náročných podmínkách.
Alibaba zpřístupnila kód, datasety i předtrénované modely na GitHubu a Hugging Face, což umožňuje široké komunitě využít tento přístup a dále jej rozvíjet.
Zdroje: VentureBeat | TechRepublic | The Decoder | WinBuzzer | GitHub
