Conţinut

• Cum funcționează rețelele neuronale
• Rețele neuronale din interiorul smartphone-ului
• AI ar putea modela viitorul fotografiei

Pe lângă fotografia de calcul, hardware-ul camerei de înaltă calitate și procesoarele de semnal de imagine, fotografia mobilă de vârf este alimentată din ce în ce mai mult de algoritmi de învățare a mașinilor - cunoscută și sub numele de inteligență artificială (AI). Această tehnică de fotografie promite să îmbunătățească calitatea prin împingerea către o calitate asemănătoare DSLR, oferind totodată noi moduri creative de a filma și edita imagini și videoclipuri.

Cheia învățării automate este utilizarea rețelelor neuronale. Acesta este un tip de algoritm care este asociat adesea cu creierul uman. Această comparație se bazează pe abilitatea unei rețele neuronale de a fi instruit, prin utilizarea datelor, pentru a recunoaște tiparele, permițându-i să facă clasificări extrem de precise pentru tipuri de date complexe precum audio și imagini.

Când vine vorba de fotografie, capacitatea de a observa, învăța, genera și clasifica are o gamă largă de aplicații. Aceste aplicații pot include caracteristici, cum ar fi construirea pe tehnici de fotografie de calcul pentru îmbunătățirea algoritmilor de post-procesare, software-ul în timp real cu bokeh video cu 4K sau chiar schimbarea completă a culorilor hainelor pe care le purtați.

Cum funcționează rețelele neuronale

Rețelele neuronale sunt un subiect extrem de complex, așa că vom acoperi doar elementele de bază aici. Pentru o lectură mai avansată, consultați ghidurile aici și aici.

Rețelele neuronale sunt formate din noduri, ceea ce este semnificativ pentru unde se face o anumită calculare. Fiecare nod combină o intrare cu o greutate care amplifică sau atenuează semnificația acelui nod particular. Mai multe noduri funcționează deseori în paralel, creând un strat de noduri care îndeplinește o sarcină mai mare. Aceasta ar putea fi detectarea caracteristicilor în cadrul unei imagini, de exemplu. Mai multe noduri și straturi pot fi însumate și transmise la alte noduri și straturi, formând o rețea mai profundă cu capacități mai puternice.

Ieșirea de la fiecare nod și strat este scalată ca funcție de probabilitate. Analizând o mulțime de caracteristici și atribute diferite, o rețea neuronală poate evalua intrarea ca o potrivire a probabilității cu toate rezultatele potențiale preconizate. Acesta este modul în care algoritmii de detectare a imaginii decid dacă o imagine arată mai mult ca o pisică sau o portocalie, dar trebuie să-i spui ce trebuie să cauți mai întâi.

Rețelele neuronale nu sunt programate ca niște algoritmi tradiționali de computer. În schimb, sunt instruiți pe seturi de date, cum ar fi imagini, fișiere de sunet, etc. Greutățile fiecărui nod sunt ajustate treptat în timp, printr-o buclă de feedback, pe baza cât de bine a reușit rețeaua la potrivirea intrărilor la ieșirile corecte. Această „învățare” treptată a regulilor necesită o pregătire considerabilă, timp și putere de calcul, dar produce rezultate extrem de precise.

Rețele neuronale din interiorul smartphone-ului

Rețelele neuronale pot rula pe o varietate de componente hardware, inclusiv părțile CPU și GPU comune într-o gamă de dispozitive de calcul, inclusiv smartphone-ul. Cu toate acestea, unele rețele neuronale pot necesita mai multă putere de procesare decât pot oferi aceste componente hardware, iar hardware-ul dedicat poate oferi procesarea optimă necesară.

În interiorul platformei mobile Qualcomm® Snapdragon ™ 855, de exemplu, veți găsi cel mai recent procesor de semnal digital Qualcomm® Hexagon ™ 690 (DSP), cu unități îmbunătățite de procesare vectorială și un nou accelerator de tensiune special pentru activitățile de învățare a mașinilor. Alte platforme mobile Snapdragon oferă și componenta DSP Hexagon, cu diferite funcții. Acestea fiind spuse, rețelele neuronale nu se limitează doar la rularea pe DSP pe Snapdragon și pe alte platforme mobile. Tipul de procesor utilizat depinde de volumul de muncă.

Îmbunătățirile de învățare automată Qualcomm Snapdragon 855 în comparație cu generația anterioară

Qualcomm Technologies își deschide DSP și capabilitățile de învățare automată dezvoltatorilor terți prin intermediul SDK-ului său de procesare neuronală Qualcomm®. Aceasta permite aplicațiilor să ruleze plase neuronale pe oricare dintre nucleele hardware din cadrul unei platforme mobile Snapdragon. De exemplu, smartphone-urile Google Pixel se conectează la Hexagon DSP și propriul Visual Core pentru a accelera funcția impresionantă de fotografie HDR +. Qualcomm Technologies lucrează cu furnizori de software cum ar fi Arcsoft, Elevoc, Polar, Loom, Mobius, Morpho și multe altele, sprijinind funcții de la video bokeh la crearea avatarului, folosind învățarea mașină care rulează pe DSP.

AI ar putea modela viitorul fotografiei

Acum știm cum funcționează rețelele neuronale, întrebarea importantă este ce ar putea face pentru noi și fotografiile noastre?

Rețelele neuronale sunt utilizate pentru a îmbunătăți o serie de algoritmi de fotografie obișnuiți. De-zgomotul, de exemplu, ar putea fi îmbunătățit odată cu pregătirea pentru a oferi o curățare superioară a imaginii adaptată camerei sau tipului de filmare specific. De asemenea, pentru lumină scăzută, o plasă neurală poate detecta părți luminoase și întunecate ale imaginii, permițând îmbunătățiri de lumină și culoare în anumite părți ale scenei.

Cazurile de utilizare mai avansate sunt din ce în ce mai frecvente în fotografia de smartphone-uri. Zoom-urile super-rezoluție folosesc plase neuronale pentru a combina mai multe imagini într-o singură fotografie de înaltă rezoluție pentru un zoom digital cu aspect superior. Plasele neuronale ar putea fi, de asemenea, instruite pentru a coase cu precizie mai multe expuneri foto împreună pentru HDR îmbunătățit și fotografii de noapte.

Fotografia AI ar putea include zoom super-rezoluție, bokeh în timp real și o calitate a imaginii îmbunătățită.

Videoclipul ar putea beneficia și de adoptarea acestei tehnologii. Detectarea obiectelor în timp real este proiectată pentru a permite aplicațiilor să introducă efecte de bokeh software direct în videoclip în timp ce înregistrați. Tehnici similare acceptă, de asemenea, schimbarea și eliminarea obiectelor în timp real. Aceasta include schimbarea fundalului într-un videoclip, schimbarea sau eliminarea culorilor și chiar înlocuirea articolelor de îmbrăcăminte sau suprapunerea avatarului digital direct în videoclipul tău.

Puterea rețelelor neuronale și a fotografiei AI variază de la îmbunătățiri de calitate pentru a ajuta la închiderea decalajului DSLR la instrumente puternice de creativitate care ajută la producerea de conținut unic. În orice caz, este o tehnologie puternică, care este fundamentală pentru îmbunătățirile viitoare îndreptate către fotografia mobilă.

Următor →: Cadou internațional Google Pixel 3 XL!

Conținut sponsorizat de Qualcomm Technologies, Inc.

Qualcomm Snapdragon, Qualcomm Hexagon, Qualcomm Adreno, Qualcomm Spectra, Qualcomm AI Engine și Qualcomm Kryo sunt produse ale Qualcomm Technologies, Inc. și / sau ale filialelor sale.