Správná architektura je klíč ke škálování AI
Schopnost efektivně „naškálovat“ infrastrukturu pro AI závisí především na důkladném plánování a správném rozdělení výkonu. Mnoho firem dělá chybu, když se soustředí čistě na maximální výpočetní sílu, aniž by zohlednily skutečné potřeby svých AI aplikací. Přitom právě promyšlený výběr technologií a rozložení zátěže mezi trénování modelů a jejich nasazení do provozu tvoří základ úspěšného rozvoje firemní AI.
Nejde tedy jen o to mít co nejsilnější hardware, ale mít správnou kapacitu na správném místě a ve správný čas. Z práce odborníků totiž plyne, že špičkový výkon je potřeba pouze v části provozu – například při trénování komplexního modelu. Jiný typ úloh, zejména běžný provoz AI (inference), naopak zvládne i menší server v on-premise prostředí.
Optimalizace podle typu úloh a velikosti firmy
V menších firmách, kde AI slouží například stovkám uživatelů, si bohatě vystačíte s jedním lokálním serverem. Ve větších organizacích už ale roste potřeba škálovat infrastrukturu chytře – s využitím cloudu, rozdělením do jednotlivých regionů a dynamickou alokací výkonu podle aktuálního zatížení systému.
Chytré škálování neznamená jen zvyšování výkonu, ale také účelné rozdělení úloh (například samostatný server pro trénování a další pro běžné odpovídání uživatelům). Zde se osvědčuje automatické orchestrace a nastavení politik, které zabrání duplicitám a přetížení. S tím souvisí i lepší dohledatelnost, transparentnost provozu a schopnost rychle reagovat na růst nebo pokles poptávky.
Nejde o sílu, ale o rovnováhu a správné rozložení
Zásadní omyl je představa, že čím více výkonu, tím lepší AI. Skutečně úspěšné firmy proto investují spíš do důkladného plánování, mapování reálných potřeb a promyšlené distribuce výpočetních prostředků. U složitějších systémů, které mají tisíce či desetitisíce uživatelů po celém světě, je vhodné spojit různé formy infrastruktury – například lokální servery s cloudovými službami, které zajistí jak robustnost, tak flexibilitu.
Při rozšiřování AI je nutné počítat s tím, že různé projekty mají různé nároky na výkon, bezpečnost nebo failover. Zodpovědné škálování se proto řídí principem „right-size for right-executing“, tedy volbou takové infrastruktury a rozložení kapacit, která odpovídají aktuální potřebě i plánovanému rozvoji firmy. Přílišná jednoduchost v rozhodování tu bývá spíš na škodu.
Zdroj: VentureBeat
