Conţinut
Subtitrare Live este una dintre cele mai tari caracteristici Android, folosind învățarea automată pe dispozitiv pentru a genera subtitrări pentru videoclipuri și clipuri web locale.
Google a publicat o postare pe blog în care se precizează exact cum funcționează această caracteristică minunată și constă de fapt din trei modele de învățare a mașinilor pe dispozitiv, pentru început.
Există un model de traducere recurentă a secvenței neuronale recurente (RNN-T) pentru recunoașterea vorbirii în sine, dar Google folosește și o rețea neurală recurentă pentru a prezice punctuația.
Al treilea model de învățare a mașinii pe dispozitiv este o rețea neuronală convoluțională (CNN) pentru evenimente sonore, cum ar fi ciripitul păsărilor, aplaudarea oamenilor și muzică. Google spune că acest al treilea model de învățare automată este derivat din lucrările sale în aplicația de accesibilitate Transcrierea live, care este capabilă să transcrie evenimente de vorbire și sunet.
Reducerea impactului legendei live
Compania spune că a luat o serie de măsuri pentru a reduce consumul de baterii Live și cerințele de performanță.Pentru unul, motorul complet de recunoaștere automată a vorbirii (ASR) rulează numai atunci când vorbirea este de fapt detectată, spre deosebire de rularea constantă pe fundal.
„De exemplu, când muzica este detectată și vorbirea nu este prezentă în fluxul audio, eticheta va apărea pe ecran, iar modelul ASR va fi descărcat. Modelul ASR este reîncărcat în memorie doar când vorbirea este prezentă din nou în fluxul audio ”, explică Google în postarea sa pe blog.
De asemenea, Google a folosit tehnici precum tăierea conexiunilor neuronale (reducerea dimensiunii modelului de vorbire), reducând consumul de energie cu 50% și permițând funcționarea Live Caption.
Google explică că rezultatele recunoașterii vorbirii sunt actualizate de câteva ori pe secundă odată cu formarea legendei, dar predicția de punctuație este diferită. Gigantul de căutare spune că oferă predicție de punctuație „pe coada textului din fraza cea mai recent recunoscută” pentru a reduce cerințele de resurse.
Legenda Live este acum disponibilă în seria Google Pixel 4 și Google spune că va fi disponibilă „în curând” pentru seria Pixel 3 și alte dispozitive. Compania spune că lucrează, de asemenea, la asistență pentru alte limbi și la o mai bună asistență pentru conținut multi-vorbitori.
