AR Emoji, vgrajen v aplikacijo za kamero Samsung Galaxy S9, omogoča uporabo sprednje kamere za ustvarjanje in pošiljanje avatarjev digitalnih risank. Podobno kot Applov Animojis v konceptu, tudi AR Emoji zajema vaše obrazne gibe in jih zrcali v obliki lika ali živali. Toda s funkcijo »Ustvari moj emoji« lahko ustvarite tudi enega od sebe, tako da preprosto naredite selfi - tako lahko izberete ton kože, obleko, pričesko, barvo las in očala.
Samsung se je z AR Emoji rešil problema, ki se mu zdi težaven - najti način, kako obstoječe emojije nadomestiti z interaktivnimi. Podjetje je to želelo narediti na preprost način, tako da je uporabnikom zagotovil prava orodja za zajemanje čustev, vendar jim je vseeno omogočilo, da so rezultat zlahka delili na različnih platformah za sporočanje.
Torej, kako je Samsung ustvaril svoje AR Emojis? Za začetek je šel naravnost k strokovnjakom za 3D animacijo, ki so oživili nekatere najbolj priljubljene hollywoodske like.
Od velikega zaslona do kamere pametnega telefona
Za pogon nove funkcije je Samsung sodeloval z Loom.ai - zagonskim podjetjem s sedežem v San Franciscu, specializiranim za 3D animacijo. Programska oprema podjetja omogoča uporabnikom, da ustvarijo popolnoma personalizirane in prilagodljive 3D-avatarje iz ene fotografije brez prilagojene strojne opreme ali senzorjev globine. Samsung je prek partnerstva in kompleta za razvoj programske opreme (SDK) združil tehnologijo Loom.ai s tehnologijo kamere S9 (razširjena resničnost in prepoznavanje obraza), da omogočite AR Emoji po meri.
Samsung želi najti način, kako obstoječe emojije nadomestiti z interaktivnimi.
Vizija Loom.ai se je začela pri filmih - natančneje risankah in superjunakih. Ustanovitelji Loom.ai - Mahesh Ramasubramanian in Kiran Bhat - so že pred tem delali v priljubljenih podjetjih za vizualne učinke, kot sta DreamWorks in Lucasfilm, pomagali pripeljati znane like, kot sta Shrek in Hulk, na velika platna.
Za vbrizgavanje osebnosti v te like so s tehnologijo zajemanja predstave vključili igralce, ki so jih igrali - snemali so gibe igralca, ne pa njihovega vizualnega videza. Toda, ko sta videla, kako se občinstvo filma odziva na njihove 3D-stvaritve, sta se Ramasubramanian in Bhat odločila, da to tehnologijo nadaljujeta - onkraj Hollywooda - z ustanovitvijo Loom.ai, ki se osredotoča na pametne telefone.
"Ljudje takoj reagirajo na to, da ti liki zaživijo, ko jih poganjajo človeški igralci," je za Digital Trends dejal Ramasubramanian, ki je izvršni direktor in soustanovitelj. "Loom.ai smo začeli s ciljem, da moramo najti enostaven način, da se lahko vsak posameznik vidi v 3D, za to pa smo morali zgraditi novo tehnologijo."
Brenda Stolyar / Digitalni trendi Za celovečerne filme ustvarjanje 3D avatarja zahteva na tone opreme - drago strojno in programsko opremo, ličila in studijsko nastavitev. Toda Loom.ai je našel način, kako poenostaviti postopek zajemanja lastnosti osebe brez običajnih orodij; namesto tega patentirana tehnologija uporablja eno fotografijo in globoko učenje za analizo slike. Če na fotografiji ni nobenih obraznih izrazov, algoritem globokega učenja pogleda piksle in samodejno ustvari obraz, ki zajema pravilno gibanje mišic.
"Ko se je partnerstvo Samsunga razvilo, smo imeli priložnost uvesti tisto prefinjeno tehnologijo na napravi, za katero menimo, da je že sama po sebi precej prepričljiva inženirska naloga," je za Digital Trends povedal Bhat, tehnični direktor in soustanovitelj podjetja Loom.ai. "To je velik tehnološki preskok, ko lahko nekatere od teh idej in prizadevanj prenesemo z velikega zaslona in jih prenesemo na mobilne naprave."
Za napajanje AR Emoji je Samsung zaprosil za pomoč Loom.ai - zagon s sedežem v San Franciscu, specializiran za 3D animacijo.
Vključitev te tehnologije v strojno opremo Galaxy S9 je zahtevala, da Loom.ai prestrukturira svoje algoritme, da bo lahko deloval na napravi. Toda Loom.ai ni ustvaril AR Emoji sam: tako Ramasubramanian kot Bhat pripisujeta Samsungu ogromen trud za optimizacijo programske opreme. Z zagotavljanjem SDK za integracijo v pametne telefone ustanovitelji Loom.ai menijo, da lahko Samsung ogrodje znatno obogati, tako da v prihodnosti doda več vsebine in možnosti prilagodljivosti.
Kako Galaxy S9 ustvari digitalni avatar
Torej, kako točno S9 (in S9 Plus) ustvarja AR Emojis? Čeprav Samsung ni razkril svoje skrivne omake, je Digital Trends pogledal pod pokrovom.
Fotoaparat telefona obdeluje tehnologijo Loom.ai in zajema in obdeluje 2D sliko v 3D. Da bi to še izboljšal, S9 uporablja dodatno programsko opremo - sledenje obraza in Samsungovo tehnologijo Blend Shape - za zagotavljanje obraznih izrazov za AR Emoji.
Nato vam ostane različica, podobna risanki, ki lahko zbudi 18 različnih izrazov - ki jih Samsung načrtuje počasi razširiti na 54 - od veselja in užitka do žalosti in jeze. Vsi podatki so tudi lokalni za napravo in se ne shranijo nikjer drugje.
Tehnologija za sledenje obraza, ki delujeta skupaj, v realnem času spremlja več kot 100 obraznih potez (na primer mežikanje ali nasmeh), da zajame posamezna čustva, medtem ko Blend Shape pomaga pri zagotavljanju večjega števila njih - kar združuje izraze na podlagi 75 osnovnih človeških obraznih lastnosti . Samsung pravi, da je za Blend Shape tedensko v svojih laboratorijih opravil vsaj 100 testov, da bi zagotovil dovolj podatkov, ki bi privabili njegove uporabnike. (Blend Shape se uporablja tudi za ustvarjanje Disney AR Emojis, kot sta Mickey in Minnie Mouse.)
V našem lastnem testu AR Emoji se nam je večina zdela zelo nenatančna. Eden od pisateljev je menil, da ni na voljo možnosti za odtenek kože in ni na voljo temnopoltih tonov. Drugi so menili, da njihovi AR Emoji niso podobni njim, zato je bilo urejanje avatarja videti bolj kot opravilo kot prijetna naloga.
Po navedbah Loom.ai je ustvarjanje natančnega AR Emoji v veliki meri odvisno od načina snemanja samoportreta. Uporabniki bi morali fotografirati na enak način, kot bi fotografirali potni list. "Želite enakomerno osvetlitev, ničesar ne bi pokrivalo obraza in nevtralen izraz, da bomo izraze lahko dodali pozneje," je pojasnil Ramasubramanian. "Gre za to, da se ljudje nekoliko navadijo in nato vidijo možnosti, kako ga animirati in uporabiti."
Ramasubramanian je tudi dejal, da bi morali uporabniki z njim ravnati tako, kot bi se ob snemanju katerega koli selfija - kar pomeni, da lahko posnamete tone fotografij, dokler s fotografijo niste zadovoljni. Ker vam AR Emoji omogoča ustvarjanje več avatarjev, jih lahko primerjate in poiščete tistega, ki vam je najbolj všeč. Vsak, ki ga ustvarite, se shrani tudi v telefon, tako da lahko različico, ki jo uporabljate, spremenite glede na vaše razpoloženje.
Najnovejša posodobitev AR Emoji vključuje dodatne pričeske, pokrivala, kot je hidžab, in druge možnosti. Posodobitev je trenutno na voljo za odklenjene različice Samsung Galaxy S9 in S9 Plus v Koreji, na Kitajskem in v Evropi. Naprave evropskih prevoznikov in odklenjene naprave v ZDA bi morale imeti posodobitev na voljo za prenos v tem tednu. Posodobitve za ameriške prevozniške naprave bodo na voljo v prihodnjih tednih. Samsung pravi, da se bo AR Emoji še naprej razvijal, vendar za zdaj ostaja natančen pri natančnih podrobnostih.
