U tehnološkoj industriji teško da možete voditi razgovor a da netko ne spomene zaključivanje, umjetnu inteligenciju (AI) i strojno učenje (ML). Međutim, važno je napomenuti da iako su svi ti pojmovi međusobno povezani, oni se također značajno razlikuju.
U ovom ćemo članku objasniti temeljne razlike i istaknuti važnost upotrebe rubne AI tehnologije-temeljene na obradi tenzora, posebno u rubnim i ugrađenim sustavima. U usporedbi s rješenjima koja se temelje na grafičkim procesorskim jedinicama (GPU), tenzorske procesorske jedinice (TPU) nude učinkovitiju i -isplativiju izvedbu. Također ćemo pružiti neke primjere slučajeva upotrebe koji pokazuju gdje biste u budućnosti mogli naići na rubna AI rješenja.
Osnove ML-a i zaključivanja
ML se odnosi na metodologiju modela obuke pomoću reprezentativnih podataka kako bi se strojevima omogućilo da nauče kako izvršavati zadatke. Ovaj proces može biti visoko računalno intenzivan, generirajući trilijune operacija po novoj podatkovnoj točki obuke. Iterativna priroda procesa obuke, u kombinaciji s golemim skupovima podataka za obuku potrebnim za postizanje visoke točnosti, pokreće potražnju za obradom s pomičnim-zarezom iznimno visokih-izvedba. ML obuku najbolje je implementirati kao infrastrukturu podatkovnog centra, gdje se visoki kapitalni i operativni troškovi mogu opravdati njihovom amortizacijom među brojnim klijentima.
Zaključivanje uključuje korištenje uvježbanih modela za generiranje potencijalnih podudaranja za nove podatke relevantne za reprezentativne podatke na kojima je model uvježban. Zaključivanje ima za cilj dati brze odgovore unutar milisekundi. Primjeri zaključivanja uključuju prepoznavanje govora,-jezični prijevod u stvarnom vremenu, strojni vid i odluke o optimizaciji umetanja oglasa. Dok zaključivanje zahtijeva samo djelić procesorske snage potrebne za obuku, ono još uvijek daleko premašuje ono što tradicionalni sustavi temeljeni na središnjoj procesorskoj jedinici (CPU)-mogu isporučiti, posebno za aplikacije računalnog vida. To je razlog zašto se toliko mnogo tvrtki okreće rješenjima za akceleraciju-zasnovana na tenzorima-bilo kao IP na SoC-ovima ili kao -sistemski akceleratori-kako bi se postiglo vrijeme odziva ispod-sekunde potrebno na rubu. Realnost je da potrošiti čak i minutu ili nekoliko sekundi na obradu slika u sustavu vida nije baš korisno. Sustavi industrijskog vida traže brzine obrade-na razini milisekundi.
Razdvajanje obuke i zaključivanja
Uvođenje istog hardvera koji se koristi za obuku za rukovanje radnim opterećenjima zaključivanja može rezultirati prekomjernim-opremanjem strojeva za zaključivanje s akceleratorima i CPU hardverom. GPU rješenja razvijena za ML tijekom proteklog desetljeća nisu nužno optimalan izbor za -uvođenje ML tehnologija zaključivanja u velikim razmjerima. Donji dijagram savršeno ilustrira usporedbu TPU akceleratora i GPU akceleratora. Jasno pokazuje da TPU akceleratori isporučuju manju potrošnju energije, smanjene troškove i veću učinkovitost u usporedbi s AGX rješenjima koja se temelje na GPU-temeljenju, dok još uvijek pružaju uvjerljive razine performansi za aplikacije zaključivanja.

Drugo kritično razmatranje kada se pristupa ML obuci i rješenjima za zaključivanje je softversko okruženje. Danas se koriste brojne popularne biblioteke, kao što je CUDA za NVIDIA GPU, ML okviri kao što su TensorFlow i PyTorch, optimizirane među-platformske biblioteke modela kao što je Keras i još mnogo toga. Ovi skupovi alata neophodni su za razvoj i obuku ML modela, ali aplikacije za zaključivanje zahtijevaju drugačiji, manji skup softverskih alata.
Alati za zaključivanje usredotočeni su na pokretanje modela na ciljanim platformama. Oni podržavaju prijenos uvježbanih modela na platforme, što može uključivati neke transformacije operatora, kvantizaciju i usluge integracije hosta. Međutim, ovo predstavlja relativno jednostavan skup funkcionalnosti u usporedbi s onima koje su potrebne za razvoj modela i obuku.
Alati za zaključivanje imaju koristi od započinjanja sa standardiziranim prikazom modela. Open Neural Network Exchange (ONNX) standardni je format za predstavljanje ML modela. Kao što naziv implicira, to je otvoreni standard kojim se upravlja kao projektom Linux Foundationa. Tehnologije kao što je ONNX omogućuju odvajanje sustava za obuku i zaključivanje, dajući programerima slobodu odabira različitih optimiziranih platformi za svaku od njih.
Primjeri vizualnih aplikacija
Kako ML i tehnologije procesora za zaključivanje nastavljaju napredovati i razvijati se, aplikacije se šire. Ispod je samo nekoliko mjesta na kojima biste mogli naići na ovu tehnologiju u budućnosti.
Rubni poslužitelji u poduzećima kao što su tvornice, bolnice, maloprodajne trgovine i financijske institucije. Na primjer, u industrijskim postavkama AI može pomoći u upravljanju zalihama, otkrivanju nedostataka, pa čak i prediktivnom održavanju prije nego što se pojave problemi. U maloprodaji omogućuje značajke kao što je procjena položaja, korištenje računalnog vida za otkrivanje i analizu ljudskog držanja. Podaci iz ove analize pomažu-i-prodavačima na malo da bolje razumiju ljudsko ponašanje i promet unutar svojih trgovina, omogućujući im da optimiziraju raspored trgovina za maksimalnu prodaju i zadovoljstvo kupaca.
Visoko{0}}precizno/visoko{1}}kvalitetno snimanje za aplikacije uključujući robotiku, industrijsku automatizaciju/inspekciju, medicinsko snimanje, znanstveno snimanje, kamere za nadzor i prepoznavanje objekata i fotoniku. Na primjer, metode strojnog učenja pokazale su sposobnost otkrivanja raka obradom digitalnih X-zraka. Ovaj proces uključuje razvoj ML modela dizajniranog za obradu rendgenskih slika, obično korištenjem uvježbanih algoritama semantičke segmentacije za prepoznavanje kancerogenih lezija. Tijekom obuke, slike raka koje su identificirali radiolozi koriste se za podučavanje mreže što nije rak, što je rak i kako se pojavljuju različite vrste raka. Što je ML model više uvježban, to postaje bolji u maksimiziranju točnih dijagnoza i smanjenju pogrešnih dijagnoza. To znači da se strojno učenje oslanja ne samo na inteligentni dizajn modela, već i na ogromne količine (desetke tisuća do milijune) pažljivo odabranih primjera podataka u kojima je rak stručno identificiran.
Pametna kolica za kupnju-Nekoliko tvrtki razvija i uvodi inteligentne sustave za kupnju koji prepoznaju proizvode ne po njihovim UPC bar kodovima, već po vizualnom izgledu samog pakiranja. Ova značajka omogućuje kupcima jednostavno stavljanje artikala u košaricu ili na sustav za naplatu bez potrebe za lociranjem UPC koda i skeniranjem UPC laserskim skenerom. Ova tehnologija čini proces kupovine preciznijim, bržim i praktičnijim.
Donošenje ispravne odluke
Tvrtke moraju procijeniti sva dostupna rješenja danas i odabrati optimalno na temelju svog specifičnog slučaja uporabe. Također ne mogu jednostavno pretpostaviti da su sva rješenja umjetne inteligencije najbolje implementirana na GPU uređajima, jer rješenja temeljena na TPU-nude veću učinkovitost obrade i manju upotrebu silicija, čime se smanjuju potrošnja energije i troškovi.




