Vasile Bogdan<[email protected]>
Vasile Bogdan<[email protected]>
UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCE
UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCE
Transmisia datelor multimedia in retele de Transmisia datelor multimedia in retele de calculatoarecalculatoare
Content Based Architecture For Video transcodingContent Based Architecture For Video transcoding
2
CuprinsIntroducereTranscodingMPEG-1Tipuri de transcodereAbordarea propusăConcluziiÎntrebăriReferinţe
3
IntroducereOdată cu dezvoltarea terminalelor mobile
si a retelelor de comunicatie cantitatea de date multimedia destinate acestora a crescut considerabil
O foarte mare parte din datele care circula intre si catre dispozitivele mobile sunt stream-uri video
Necesare prelucrări ale sursei pentru a obtine compatibilitate cu dispozitivul destinaţie.
4
Introducere(2)Ecranele dispozitivelor mobile sunt de obicei
mici ca rezoluţie şi de calitate slabă comparativ cu ecranele mari.
Puterea de calcul de care dispun terminalele este redusă, ceea ce înseamnă ca prelucrările asupra fluxului de date nu pot fi făcute offline, pe dispozitivul client
Lăţimea de bandă nu este nici ea foarte mare, ceea ce poate crea probleme în ceea ce priveşte cursivitatea redării.
5
TranscodingPentru a adapta datele video condiţiilor impuse
de terminale si de reţelele de comunicaţie care le deservesc, formatul video trebuie modificat dinamic, online, astfel incât să ajungă gata de redare la client.
Această procedură poartă numele de transcoding şi presupune transformarea formatului folosit pentru date vizând unul din aspectele:Conversie de bitrateConversie de rezoluţieConversie sintactică
6
Conversie de bitrateFormatul sursă presupune un video la o
calitate bună sau foarte bună, dar transferul său consumă foarte multă bandă.
Terminalele în general nu pot beneficia de suplimentul de calitate.
Clipul este transformat in unul cu bitrate mai mic, ceea ce duce la o incărcare mai mică a retelei şi la o redare mai fluentă.
7
Conversie de rezoluţieÎn cele mai multe cazuri, rezoluţia ecranelor
terminalelor este mică în comparaţie cu rezoluţia sursei
Se face conversia la o rezoluţie mai mică, compatibilă cu terminalul
Rezolvă şi probleme privitoare la lăţimea de bandă
8
Conversia sintacticăPresupune transformarea formatului datelor
în un format suportat de dispozitivul mobilPoate fi făcută atât online, cât şi offline în
cazul în care dispozitivele suportă instalarea de codecuri.
De cele mai multe ori, sunt folosite combinaţii ale celor trei metode, alaturi de algoritmi de compresie a datelor.
9
MPEGProtocol care permite comprimarea unui stream
video şi a unuia audio, într-un format lossy Profită de imposibilitatea ochiului uman de a
distinge între schimbările subtile în cromatică (spre deosebire de strălucire)
Constituit din diverse tipuri de frame-uri:I-frame : Frame-uri care conţin informaţii ce
permit căutarea în fişier şi prelucrarea acestuiaP-Frame(Predicted Frame): Conţin variaţiile faţă
de frame-urile de bază, folosite pentru a reconstitui frame-uri complete.
10
MPEG(1)B-Frames(Bidirectional Frames): Folosite pentru
reconstituirea unei scene pe baza unor frame-uri precedente, precum şi a unora viitoare
D-Frames: Conţin numai coeficienţii DC ai transformarii cosinus discrete
Macroblocks: Blocuri de 16x16 pixeli. Desi MPEG este definit pentru blocuri de 8x8, datorita rescalarii in domeniul cromatic sunt necesare aceste blocuri mai mari
Vectori de Miscare: La nivel de macroblock, memorează variaţiile din scene consecutive
11
Transcoder in cascadă
Cel mai simplu transcoder este cel în cascadăFluxul de date este decodat comform protoculului
folosit iniţial şi apoi este recodat în formatul necesarConsumă multe resurse computaţionale
12
Transcoder pentru scăderea de bitratePentru reducerea de bitrate este preferabilă în
schimb utilizarea unui transcoder care să aibă la intrare formatul sursă şi la iesire formatul destinaţie, cu toate transformările necesare deja efectuate.
Bitrate-ul redus este obţinut prin folosirea transformării cosinus discrete(coeficienţii transformării sunt scalaţi sau ignoraţi optimal)[1]
Erorile de reconstituire sunt cumulative.Vectorii de mişcare din sursă nu pot fi folosiţi ca
atare în noul format, din cauza variaţiei mari de bitrate.
13
Transcoder pentru scăderea de bitrate(1)
Scalarea vectorilor de mişcare ar asigura o calitate bună dar consumă multe resurse computaţionale
Se foloseşte o scalare parţială a vectorilor de miscare, luându-se drept sursă doar o parte a imaginii.
14
O abordare mai eficientă
15
Extragerea de caracteristiciFiecare vector de mişcare corespunde unui bloc
de 16x16 pixeliSunt necesare informaţiile folosite pentru TCDVectorii de mişcare sunt grupaţi in funţie de
magnitudine şi de direcţie şi mulţimea obţinută este considerată ca fiind un potenţial obiect
Analiză de texturi şi marginiPe baza coeficienţilor TCD, se calculează
energia texturii, ca un mod de a obţine caracteristici diferite pentru obiectele în sine şi fundal
16
Calculul energiei – model propus
17
• Folosind coeficienţii TCD se pot deduce caracteristicile diagonale, orizontale şi verticale ale blocurilor, ceea ce va permite diferenţierea lor in blocuri textură şi blocuri de graniţă
18
Control temporalFolosind vectorii de mişcare se merge pe ideea că
o mişcare lină corespunde unor vectori de mişcare care nu reflectă schibări bruşte.
În acest fel se poate stabili gradul de corelaţie între diferite frame-uri şi astfel se poate decide ponderea unui frame în determinarea altor frame-uri apropiate
19
TranscodareaTranscodarea va fi controlată de un modul
special, pentru a asigura scalabilitatea soluţiei
După toate etapele prezentate, transcodarea în sine se va realiza tot prin scalarea coeficienţilor TCD în cazul modificarii de bitrate, la care se adaugă operaţiile necesare reducerii rezoluţiei în cazul în care aceasta este necesară.
20
ConcluziiAvând în vedere trecerea tot mai accentuată în
domeniul live-streaming, metote tot mai eficiente de transcodare trebuiesc găsite.
Deşi terminalele devin tot mai puternice, la fel se întâmplă şi cu setea de HD a utilizatorilor (dar şi a marketerilor)
Pe viitor necesitatea de a obţine algoritmi care să ofere o calitate tot mai bună a imaginii va fi tot mai mare, dispariţia nevoii de a rescala filmele nu va insemna dispariţia nevoii de transcodare.
21
Întrebări?
22
ReferinţeCONTENT BASED ARCHITECTURE FOR VIDEO
TRANSCODING – Ashraf M.A. Ahmad1, Bashar Mammon Ahmad
MPEG-1 format : http://en.wikipedia.org/wiki/MPEG-1#Part_1:_Systems
Image Compresion: http://www.acm.org/crossroads/xrds6-3/sahaimgcoding.html
Texas Instruments DaVinci hardware Transcoder
http://www.ti.com/corp/docs/landing/transcoding/index.htm
23