Proč je datová různorodost největší výzvou AI
Pro firmy není problémem nedostatek výpočetního výkonu nebo složitost algoritmů, ale právě různorodost dat. Data přicházejí z nespočtu různých zdrojů — od SaaS aplikací, databází až po různé formáty souborů a externí partnery. Každý systém přitom mluví jiným „jazykem“, což vyžaduje stovky unikátních konektorů jen pro základní propojení.
Dále, data jsou často v různých formátech: strukturovaných jako CSV, semi-strukturovaných jako XML či tabulky, nebo zcela nestrukturovaných jako PDF, smlouvy či e-maily. Navíc stejné obchodní pojmy mohou mít v různých systémech úplně odlišné definice a schémata. Tato komplexita roste s tím, jak do hry vstupují externí data od partnerů, dodavatelů či regulátorů, která přinášejí další neustále se měnící varianty.
Proč samotná AI problém nevyřeší
Je lákavé si myslet, že AI, zvláště velké jazykové modely, si poradí s různorodými daty samy. Realita je ale komplikovanější. Kromě technických výzev, jako je testování a udržování spolehlivých integrací, stojí za úspěchem i lidský dohled a disciplína ve vývoji. AI totiž skvěle poznává vzory, navrhuje mapování schémat a pomáhá s rozborem nestrukturovaných dat, ale klíčové je mít pod kontrolou orchestraci, kvalitní konektory a obchodní logiku, což bez lidského zásahu nelze zvládnout.
Dalším zásadním faktorem je kultura a řízení změny, která podle lídrů v oblasti dat a AI představují často hlavní bariéru k úspěchu. Technologii bez správného řízení a lidí nelze plně využít.
Hybridní přístup k řešení datové různorodosti
Správnou cestou není ani čisté AI, ani výhradně softwarové inženýrství — jde o jejich kombinaci. Moderní systémy využívají AI, aby pomohla systémům přizpůsobit se různorodosti dat místo toho, aby proti ní bojovaly.
Klíčovým prvkem jsou tzv. virtuální datové produkty, které vytváří pevné rozhraní mezi zdroji a konzumenty dat. Tento přístup umožňuje oddělit fyzickou podobu dat od jejich využití, což zjednodušuje spolupráci i práci s různorodými formáty bez potřeby složitého kódování.
Současné platformy zvládají zároveň zpracovávat data různou rychlostí, takže lze spustit dávkové, realtime i streamové procesy v jednom rámci. Lidé pak dohlíží na kritická rozhodnutí týkající se mapování dat a obchodních pravidel, čímž se zajišťuje vysoká kvalita výsledků a spolehlivost.
Výhody zvládnutí datové různorodosti
Firmy, které zvládnou integrovat různorodá data, získávají výrazné konkurenční výhody. Čas potřebný k dokončení AI projektů se zkracuje z měsíců na týdny, protože méně času se tráví přípravou dat.
Nižší jsou také náklady na integraci díky opakovanému používání datových produktů, které eliminují nadbytečnou práci s konektory. Kvalita dat vstupujících do modelů roste, což vede ke zlepšení výkonu AI a umožňuje týmům soustředit se na inovace místo na „datové“ trable.
Přestože modely AI se postupně stávají standardizovanými, skutečným faktorem, který firmy odliší, bude kvalita a připravenost jejich datových systémů.
