Iako mnogi Apple telefoni zaostaju kada je u pitanju RAM, novi Apple istraživački rad opisuje kako bi stariji iPhone uređaji nezavisno od toga mogli da imaju AI
Velika očekivanja prate Android flegšip telefone planirane za 2024. godinu kada je u pitanju generativna veštačka inteligencija (AI) na uređaju, ali Apple je u tom pogledu do sada bio prilično tih. Međutim, novi Apple istraživački rad ukazuje da bi AI mogla da bude dostupna lokalno čak i kada su u pitanju stariji iPhone uređaji, nezavisno od toga što ih karakteriše ograničeni RAM.
Portal Financial Times primetio je Apple istraživanje koje detaljno opisuje rešenje za pokretanje velikih jezičkih modela (LLM) na uređajima sa ograničenom radnom memorijom. Apple istraživački rad otkriva kako kompanija može da drži „parametre modela“ u skladištu telefona i potom samo prenosi njegove delove u RAM uređaja po potrebi, za razliku od implementiranja celog AI modela u RAM.
„Ovaj metod omogućio bi pokretanje modela uz četiri do pet i 20-25 puta veću brzinu zaključivanja modela u odnosu na pristupe učitavanja kroz CPU i GPU“, piše u odlomku rada.
Generativna veštačka inteligencija na uređaju ima koristi od velike količine RAM-a, jer obezbeđuje veće brzine čitanja/pisanja nego što je to slučaj sa prostorom za skladištenje koji se koristi u premijum telefonima. Velike brzine su ključne za AI na uređaju, omogućavajući mnogo brže vreme zaključivanja modela, jer korisnici ne moraju nužno da čekaju desetine sekundi (ili više) kako bi dobili odgovor.
Sve to znači AI pomoćnika na uređaju koji bi potencijalno mogao da radi brzinom razgovora, brže generisao slike/tekst, brže sažimao članke i još mnogo toga. Dakle, Apple rešenje znači da vam nije nužno potrebno mnogo RAM-a za AI na uređaju koji dovoljno dobro radi.
Apple istraživački rad mogao bi na taj način da omogući što novim, što starijim iPhone telefonima da dobiju AI mogućnosti na uređaju – s obzirom na to da oni generalno nude manji RAM nego mnogi premijum Android telefoni. Na primer, iPhone 11 serija ima samo 4 GB RAM-a, dok čak i osnovni, najnoviji iPhone 15 model ima RAM od samo 6 GB.
Ukoliko bi ovo rešenje bilo izvodljivo, to bi promenilo situaciju sa ćutanjem kupertinske kompanije u vezi sa veštačkom inteligencijom. No, Apple nije jedini mobilni igrač koji radi na optimizaciji LLM-ova na uređaju.
Qualcomm i MediaTek nedavno objavljeni čipsetovi podržavaju tzv. INT 4 preciznost za optimizaciju veštačke inteligencije i velikih jezičkih modela. U svakom slučaju, industrija će definitivno nastaviti da pronalazi nove načine za smanjivanje sistemskih zahteva za AI na uređaju, potencijalno omogućavajući čak i niskobudžetnim telefonima da pruže ove mogućnosti.
Benchmark.rs
