Conţinut

• Buget limitat de energie electrică
• Lățimea de bandă și rezoluții mari
• Panouri de afișare și latență scăzută
• Audio și senzori
• Dezvoltatori și software
• Învelire

În sfârșit, ne adâncim în revoluție, așa cum ar putea spune unii, cu produse hardware și software aplicate pe piață și resurse care să contribuie la stimularea inovațiilor. Cu toate acestea, avem mai mult de un an de la lansarea de produse majore în acest spațiu și încă așteptăm ca acea aplicație ucigașă să facă realitatea virtuală un succes principal. În timp ce așteptăm, noile dezvoltări continuă să facă din realitatea virtuală o opțiune comercială mai viabilă, dar există încă o serie de obstacole tehnice de depășit, în special în spațiul VR mobil.

Buget limitat de energie electrică

Cea mai evidentă și mai bine discutată provocare cu care se confruntă aplicațiile de realitate virtuală mobilă este bugetul de putere și limitările termice mult mai limitate în comparație cu echivalentul său pentru computer desktop. Rularea aplicațiilor grafice intensive de la o baterie înseamnă că pentru a menține durata de viață a bateriei este nevoie de componente de putere mai reduse și de utilizare eficientă a energiei. În plus, apropierea de procesare a hardware-ului cu cel care îl poartă înseamnă că nici bugetul termic nu poate fi împins cu niciun nivel mai mare. Pentru comparație, telefonul mobil funcționează de obicei într-o limită sub-4 watt, în timp ce un GPU VR desktop poate consuma cu ușurință 150 watt sau mai mult.

S-a recunoscut pe scară largă că VR-ul mobil nu se va potrivi cu hardware-ul desktop pentru energie brută, dar asta nu înseamnă că consumatorii nu solicită experiențe 3D imersive la o rezoluție clară și cu rate de cadru ridicate.

Este recunoscut pe scară largă că VR-ul mobil nu se va potrivi cu hardware-ul desktop pentru puterea brută, dar asta nu înseamnă că consumatorii nu vor cere experiențe 3D imersive la o rezoluție clară și cu rate de cadru mari, în ciuda puterii mai limitate buget. Între vizionarea videoclipurilor 3D, explorarea locațiilor recreate la 360 de grade și chiar jocurile, există încă o mulțime de cazuri de utilizare potrivite pentru VR mobil.

Dacă ne uităm înapoi la SoC-ul dvs. mobil tipic, acest lucru creează probleme suplimentare care sunt mai puțin apreciate. Deși SoC-urile mobile se pot împacheta într-un aranjament decent al procesorului octa-core și o anumită putere GPU notabilă, nu este posibil să rulați aceste cipuri înclinate, atât datorită consumului de energie, cât și a constrângerilor termice menționate anterior. În realitate, procesorul într-o instanță VR mobilă dorește să funcționeze cât mai puțin timp, eliberând GPU pentru a consuma cea mai mare parte a bugetului limitat de putere. Acest lucru nu numai că limitează resursele disponibile pentru logica jocului, calculele fizicii și chiar procesele mobile de fundal, dar pune și o sarcină asupra sarcinilor VR esențiale, cum ar fi atragerea apelurilor pentru redarea stereoscopică.

Industria lucrează deja la soluții pentru acest lucru, care nu se aplică doar mobilului. Redarea Multiview este acceptată în OpenGL 3.0 și ES 3.0 și a fost dezvoltată de colaboratori de la Oculus, Qualcomm, Nvidia, Google, Epic, ARM și Sony. Multiview permite redarea stereoscopică cu un singur apel de tragere, mai degrabă cu unul pentru fiecare punct de vedere, reducând cerințele procesorului și micșorând și jobul vertexului GPU. Această tehnologie poate îmbunătăți performanța cu 40 până la 50 la sută. În spațiul mobil, Multiview este deja susținut de o serie de dispozitive ARM Mali și Qualcomm Adreno.

O altă inovație care se așteaptă să apară în viitoarele produse mobile VR este reprezentarea redusă. Utilizată în combinație cu tehnologia de urmărire a ochilor, redarea foveată ușurează încărcarea pe un GPU, oferind doar punctul focal exact al utilizatorului la rezoluție completă și reducând rezoluția obiectelor din viziunea periferică. Complementează frumos sistemul de viziune umană și poate reduce semnificativ încărcarea GPU, economisind astfel energie și / sau eliberând mai multă putere pentru alte sarcini de procesor sau GPU.

Lățimea de bandă și rezoluții mari

Deși puterea de procesare este limitată în situații VR mobile, platforma este în continuare respectată pentru aceleași cerințe ca și alte platforme de realitate virtuală, inclusiv cererile de panouri de afișare de înaltă rezoluție. Chiar și cei care au vizualizat afișaje VR, care au o rezoluție QHD (2560 x 1440) sau rezoluția 1080 × 1200 a setului cu cască Rift, vor fi probabil puțin subestimate de claritatea imaginii. Aliasing-ul este deosebit de problematic, dat fiind faptul că ochii noștri sunt atât de aproape de ecran, cu margini care par deosebit de ascuțite sau zimțate în timpul mișcării.

Deși puterea de procesare este limitată în situații VR mobile, platforma este în continuare respectată pentru aceleași cerințe ca și alte platforme de realitate virtuală, inclusiv cererile de panouri de afișare de înaltă rezoluție.

Soluția de forță brută este să crească rezoluția afișajului, 4K urmând a fi următoarea progresie logică. Cu toate acestea, dispozitivele trebuie să mențină o rată de actualizare ridicată indiferent de rezoluție, 60Hz fiind considerată minimă, dar chiar 90 sau chiar 120Hz fiind mult mai preferabilă. Aceasta aduce o povară mare asupra memoriei sistemului, cu oriunde de la două până la opt ori mai mult decât dispozitivele de astăzi. Lățimea de bandă a memoriei este deja mai limitată în VR mobil decât în ​​produsele desktop, care utilizează o memorie grafică dedicată mai rapid decât un pool comun.

Printre soluțiile posibile de economisit pe lățimea de bandă grafică se numără utilizarea tehnologiilor de compresie, precum standardul ARM și AMD Adaptive Scalable Texture Compression (ASTC) sau formatul fără pierdere Ericsson Texture Compression, ambele fiind extensii oficiale ale OpenGL și OpenGL ES. ASTC este, de asemenea, compatibil cu hardware-ul în ultimele GPU Mali ale ARM, Nvidia Kepler și Maxwell Tegra SoCs și cele mai recente GPU-uri integrate Intel, și poate economisi pe mai mult de 50 la sută lățime de bandă în unele scenarii versus utilizarea texturilor necomprimate.

Utilizarea compresiei texturii poate reduce foarte mult lățimea de bandă, latența și memoria cerute de aplicațiile 3D. Sursa - ARM.

De asemenea, pot fi implementate și alte tehnici.Utilizarea teselării poate crea o geometrie cu aspect mai detaliat de la obiecte mai simple, deși necesită alte resurse substanțiale ale GPU. Renderingul diferent și Kill Pixel Forward pot evita redarea pixelilor ocultați, în timp ce arhitecturile Binning / Tiling pot fi utilizate pentru a împărți imaginea în grile sau plăci mai mici, care sunt redate fiecare separat, toate putând economisi pe lățimea de bandă.

În mod alternativ, sau de preferință în plus, dezvoltatorii pot face sacrificii pentru calitatea imaginii pentru a reduce stresul pe lățimea de bandă a sistemului. Densitatea geometriei poate fi sacrificată sau folosirea mai agresivă pentru a reduce sarcina, iar rezoluția de date a vertexului poate fi redusă la 16 biți, în jos față de precizia utilizată în mod tradițional pe 32 de biți. Multe dintre aceste tehnici sunt deja utilizate în diferite pachete mobile și împreună pot ajuta la reducerea încordării pe lățimea de bandă.

Nu numai că memoria este o constrângere majoră în spațiul VR mobil, dar este și un consumator destul de mare de energie, adesea egal cu consumul procesorului sau al GPU. Prin economisirea lățimii de bandă și a utilizării memoriei, soluțiile portabile de realitate virtuală ar trebui să vadă o durată mai mare de baterie.

Panouri de afișare și latență scăzută

Vorbind despre problemele de latență, până acum am văzut doar căști VR care prezintă panouri de afișare OLED și acest lucru se datorează mai ales timpilor de comutare rapidă a pixelilor sub o milisecundă. Istoric, LCD-ul a fost asociat cu probleme fantome pentru rate de actualizare foarte rapide, ceea ce le face mai degrabă improprii pentru VR. Cu toate acestea, panourile LCD de înaltă rezoluție sunt încă mai ieftine pentru a produce decât echivalentele OLED, astfel încât trecerea la această tehnologie ar putea contribui la reducerea prețului căștilor VR la niveluri mai accesibile.

Mișcarea la latența fotonului trebuie să fie sub 20ms. Aceasta include înregistrarea și procesarea mișcării, procesarea graficelor și a audio și actualizarea afișajului.

Afișele sunt o parte deosebit de importantă în latența generală a unui sistem de realitate virtuală, adesea făcând diferența între o experiență aparentă și una secundară. Într-un sistem ideal, latența mișcare la foton - timpul necesar între mișcarea capului și afișajul care răspunde - ar trebui să fie mai mic de 20 de milisecunde. În mod clar, un ecran de 50ms nu este bun aici. În mod ideal, panourile trebuie să fie sub-5ms pentru a se potrivi și cu senzorul și latența de procesare.

În prezent, există o compensare a performanței în materie de costuri care favorizează OLED, dar aceasta se poate schimba curând. Panourile LCD cu suport pentru rate de actualizare mai mari și timpi de răspuns mici de la alb-negru, care folosesc tehnici de vârf, cum ar fi luminile intermitente, ar putea încadra bine factura. Japan Display a prezentat doar un astfel de panou anul trecut, și este posibil să vedem și alți producători anunță tehnologii similare.

Audio și senzori

În timp ce o mare parte din subiectele obișnuite de realitate virtuală se învârt în jurul calității imaginii, VR imersiv necesită, de asemenea, o rezoluție înaltă, o precizie spațială 3D și senzori cu latență joasă. În domeniul mobil, toate acestea trebuie realizate în cadrul aceluiași buget de putere restricționat care afectează procesorul, GPU și memoria, care prezintă provocări suplimentare.

Am mai atins problemele de latență ale senzorului anterior, în care o mișcare trebuie înregistrată și procesată ca parte a limitei de latență a mișcării în foton sub 20ms. Când considerăm că setul cu cască VR folosește 6 grade de mișcare - rotație și turtă în fiecare dintre axa X, Y și Z - plus noi tehnologii, cum ar fi urmărirea ochilor, există o cantitate considerabilă de date constante de colectat și procesat, toate cu minimum latență.

Soluțiile pentru a menține această latență cât mai scăzută necesită destul de mult o abordare de la capăt la capăt, hardware și software capabil să îndeplinească aceste sarcini în paralel. Din fericire pentru dispozitivele mobile, utilizarea unor procesoare dedicate de senzori de putere mică și tehnologie permanentă este foarte frecventă, iar acestea funcționează la o putere destul de mică.

Pentru audio, poziția 3D este o tehnică folosită de multă vreme pentru jocuri și altele, dar utilizarea unei funcții de transfer legate de cap (HRTF) și procesarea reverbului convoluției, care sunt necesare pentru poziționarea realistă a sursei de sunet, sunt sarcini destul de mari de procesor. Deși acestea pot fi efectuate pe procesor, un procesor de semnal digital dedicat (DSD) poate efectua aceste tipuri de procese mult mai eficient, atât din punct de vedere al timpului de procesare, cât și al puterii.

Combinând aceste caracteristici cu cerințele grafice și afișate pe care le-am menționat deja, este clar că utilizarea mai multor procesoare specializate este cea mai eficientă cale de a răspunde acestor nevoi. Am văzut că Qualcomm face o mare parte din capacitatea de calcul eterogenă a platformei sale de pilot și a celor mai recente platforme mobile Snapdragon, care combină o varietate de unități de procesare într-un singur pachet cu capabilități care pot oferi o satisfacție bună pentru a satisface multe dintre aceste nevoi mobile VR. Probabil vom vedea tipul de pachete alimentate într-un număr de produse mobile VR, inclusiv hardware portabil autonom.

Dezvoltatori și software

În cele din urmă, niciunul dintre aceste avansuri hardware nu este foarte bun fără apartamente software, motoare de jocuri și SDK-uri pentru a sprijini dezvoltatorii. Până la urmă, nu putem avea fiecare dezvoltator care să reinventeze roata pentru fiecare aplicație. Menținerea costurilor de dezvoltare mici și viteze cât mai rapid este esențial dacă vom vedea o gamă largă de aplicații.

SDK-urile sunt îndeosebi esențiale pentru implementarea sarcinilor cheie de procesare a VR, cum ar fi Asincronă Timewarp, corectarea distorsiunii lentilei și redarea stereoscopică. Nu mai vorbim de gestionarea energiei termice și a procesării în setări hardware eterogene.

Din fericire, toți marii producători de platforme hardware oferă SDK-uri dezvoltatorilor, deși piața este destul de fragmentată, ceea ce duce la o lipsă de suport trans-platform. De exemplu, Google are SDK VR pentru Android și un SDK dedicat pentru popularul motor Unity, în timp ce Oculus are SDK-ul său mobil construit în combinație cu Samsung pentru Gear VR. Important, grupul Khronos și-a prezentat recent inițiativa OpenXR, care își propune să ofere o API care să acopere toate platformele majore atât la nivel de dispozitiv cât și la nivel de aplicație, pentru a facilita dezvoltarea mai ușoară a platformelor. OpenXR ar putea vedea suportul în primul său dispozitiv de realitate virtuală cu ceva timp înainte de 2018.

Învelire

În ciuda unor probleme, tehnologia este în curs de dezvoltare și, într-o oarecare măsură, este deja aici, ceea ce face realitatea virtuală mobilă funcțională pentru o serie de aplicații. Mobile VR are, de asemenea, o serie de beneficii care nu se aplică pur și simplu echivalentelor desktop, ceea ce va continua să o facă o platformă demnă de investiții și intrigă. Factorul de portabilitate face din VR mobil o platformă convingătoare pentru experiențe multimedia și chiar jocuri ușoare, fără a fi nevoie de cabluri conectate la un PC mai puternic.

În plus, numărul mare de dispozitive mobile pe piață, care sunt din ce în ce mai echipate cu capabilități de realitate virtuală, face din aceasta platforma de alegere pentru a ajunge la cel mai mare public țintă. Dacă realitatea virtuală trebuie să devină o platformă mainstream, are nevoie de utilizatori, iar mobilul este cea mai mare bază de utilizatori din jur pentru a atinge.