Slide 1

Transmisia datelor multimedia in retele de calculatoareCompresia imaginilor. GeneralitatiConf. Dr. Ing. Costin-Anton Boiangiu

UNIVERSITY POLITEHNICA of BUCHARESTDEPARTMENT OF COMPUTER SCIENCECuprinsIntroducere. Reprezentarea imaginilorAspecte ale perceptiei vizualeNecesitatea compresiei imaginilorTehnici de baza in compresia imaginilor (imagini statice)Standarde in compresia imaginilor. Exemple

Reprezentarea imaginilorImaginile discretizate sunt reprezentate prin tablouri bidimensionale de forma de mai josPentru cazul simplu al unei imagini cu niveluri de gri, imaginea discretizata este reprezentata printr-o matrice

Reprezentarea imaginilorIntensitatile imaginilor pot fi reprezentate ca numere fara semn, pe un numar de n simboluri binare:

sau intr-un format cu semn, de forma:

Cel mai des n=8, insa pot fi si valori mai mariDe exemplu n=12 pentru aplicatii medicale sau n=16 pentru aplicatii militareImaginile color sunt reprezentate tipic prin trei valori: rosuverdealbastru (RGB= Red, Green, Blue), de forma

Tipuri de imaginiExista 3 categorii de imagini discretizate, fiecare cu anumite particularitati: imagini naturaleimagini textimagini graficefiecare dintre acestea avand trasaturi specifice de corelatie

Semnalele video uzualeCaptarea imaginilor din exterior si convertirea lor in semnale electrice analogice - operatie efectuata de camerele video - defineste procesul de intrare video, sau filmareSemnalele video obtinute pot fi apoi stocate pe suport magnetic (videobenzi si videocasete) sau transmise sub forma de semnal TVSemnalul electric ce provine de la camerele video are in mod obisnuit trei componente, ce corespund celor trei culori esentiale, de compozitie video: rosu, verde si albastru (RGB - Red, Green, Blue)Componenetele RGB sunt puternic corelate si ca urmare nu se pot obtine rapoarte de compresie deosebitePentru difuzare, se construieste din cele trei componente de baza un singur semnal, denumit "semnal compozit", care codifica dupa anumite expresii informatia video de transmisSemnalele video uzualeSemnalul YUV (caracteristic pentru sistemul PAL): expolateaza proprietatea ochiului uman de a fi mai sensibil la intensitatea luminoasa (luminanta) decat la informatia de culoare (crominanta)Rezulta ca in loc de a separa culorile in componentele esentiale, se poate separa informatia de luminanta (Y) de informatia de culoare (doua canale de crominanta: U si V)Relatiile dintre componentele Y,U,V si R,G,B sunt exprimate in formulele:Y = 0.30R + 0.59G + 0.11BU = 0.493(B-Y)V = 0.877(R-Y)Compunerea lor se face dupa relatia:

Semnalele video uzualeComponenta de luminanta (Y) trebuie transmisa intotdeauna din motive de compatibilitate; receptoarele alb-negru utilizand-o in mod obligatoriu, celelalte doua fiind utilizate in plus, de receptoarele colorOrice potentiala eroare in componenta de luminanta (Y) este mai importanta decat in valorile de crominanta (U, V)De aceea pentru luminanta se aloca o latime de banda de transmisie mai mare ca pentru crominantaSemnalul YIQ: este asemanator cu codificarea YUV si sta la baza standardului TV NTSC:

Compunerea lor se face dupa relatia

Aspecte ale perceptiei vizualeSensibilitatea la contrast variaza functie de frecventa spatialaCel mai sensibil este la frecvente joase:

Aspecte ale perceptiei vizualeOamenii sunt mai sensibili la stralucire decat la culoareModelul vederii colorate are la baza vederea tri-cromatica: ochiul poseda 3 tipuri de senzori, fiecare sensibil inrtr-o anumita gama de lungime de undaDaca :

reprezinta functiile de absorbtie ale pigmentilor din retina, atunci receptorii produc un semnal de forma:

unde reprezinta distributia spectrala de energie a sursei de lumina incidente

Aspecte ale perceptiei vizualePerceptia miscarii este realizata daca miscarilor sunt cu o frecventa mai mare de 24 imagini (cadre) / secOchiul este sensibil la schimbarile in luminanta si pe axa albastru-galbenVederea presupune detectia marginilor (muchiilor)Este posibila mascarea vizuala prin schimbari mari ale luminanteiNecesitatea compresiei imaginilorTransmisia si memorarea imaginilor necesita capacitati de memorie foarte mariIn figura de mai jos se prezinta necesarul de memorie pentru diferite formate de imagineDe exemplu, numai pentru nivele de gri cu 256 de valori pentru un pixel, un cadru de imagine in format SVGA necesita 800*600*8biti / (8 biti /Octet) = 500 KB iar pentru HDTV este nevoie de 2MB

Necesitatea compresiei imaginilorComplexitatea problemei creste daca se considera imaginile color unde fiecare pixel are nevoie de inca 3 octeti pentru informatiile de culoare RGBDaca se doreste transmisia unei astfel de imagini pe un canal telefonic cu viteza de 10 Kb/s este nevoie de o durataT = (800 pixeli * 600 pixeli * 8 biti * 3 culori ) / ( 10 Kb / s) / 60 s / min)= 19.2 minIn cazul imaginilor dinamice, cum este cazul televiziunii, debitul de informatie poate ajunge la 10 MB/s cee ce necesita canale speciale de transmisiune si capacitati foarte mari de memorareDe exemplu, un cadru de 512 x 512 pixeli, cu 8 biti pe culoare si 30 de cadre pe secunda, o imagine digitala are un debit de informatie de:512 * 512 * 8 *3 * 30 = 188 Mb /s = 23 MB /s.

Necesitatea compresiei imaginilorObiectivul compresiei imaginilor este de a reduce numarul de biti pentru a memora sau a transmite imaginile fara pierdere semnificativa de informatieAlgoritmii de compresie a imaginilor se bazeaza pe proprietatile statistice ale imaginilor, si anume pe corelatiile parametrilor unui set succesiv de pixeliAstfel, daca parametrii unui doemniu spatial de pixeli sunt similari, atunci parametrii unui pixel din acel domeniu poate fi exprimat in functie de parametrii celorlalti pixeli, deja codatiO valoare mare a corelarii implica o distributie spectrala de tip trece jos si, deci, necesitatea folosirii unei capacitati reduse pentru transmisieRezulta ca gradul de compresie al unei imagini depinde crucial de proprietatile statistice ale elementelor imaginiiNecesitatea compresiei imaginilorAplicatiile tipice pentru transmisia imaginilor sunt: televiziuneacomunicatii pentru telemasurateleconferintetransmisii fax

Stocarea imaginilor este necesara in: aplicatiile medicale aplicatiile de instruireNecesitatea compresiei imaginilorRedundanta unei imagini depinde de o serie de parametri tehnologici (adica de sistemul ce utilizeaza imagini) si se refera la: frecventa de esantionarenumarul de niveluri de cuantizareprezenta si tipul de de zgomotRaportul de compresie arata raportul dintre numarul de biti pentru reprezentarea imaginii originale si numarul de biti necesar pentru reprezentarea imaginii comprimatePrezenta unui zgomot in imaginea originala va reduce corelatia dintre pixeli si determina scadarea raportului de compresie posibil a fi obtinutAcelasi lucru se intampla si in cazul cresterii numarului de nivele de cuantizare, cand iarasi se reduce corelatia dintre pixeli si, deci, raportul de compresie poate sa fie mai mic

Tehnici de compresie a imaginilorMetodele de compresie pot fi clasificate in urmatoarele categorii:metode care elimina redundanta informationala a imaginii de bazametode care elimina irelevanta informationala bazandu-se pe modelul perceptiei vizuale a omului, deci a portiunilor sau parametrilor imaginii care nu sunt percepute de ommetode care trunchiaza imaginea originala, astfel incat imaginea refacuta dupa compresie este o aproximatie a imaginii originaleAlgoritmii de compresie folosesc una sau mai multe tehnici din categoriile de mai susTehnici de compresie a imaginilorDin punctul de vedere al pierderii de informatie, metodele de compresie pot fi:fara pierdere de informatiecu pierdere de informatie

Metoda cu pierdere de informatie, cunoscuta si sub numele de compresie ireversibila: Imaginea reconstruita nu este identica cu imaginea originalaSe pot obtine rapoarte de compresie mariRaportul de compresie este cu atat mai mare cu cat gradul de distorsiune acceptat este mai mareTehnici de compresie a imaginilorMetode de compresie fara pierdere de informatie:Se mai numesc metode de compresie reversibile sau cu pastrarea bitilor (bit-preserving)Aceste metode se pot folosi in cazul imaginilor din aplicatiile medicale, cand nu este permisa o degradare a informatiei bilologice reprezentate de pixeli, intrucat altfel pot afecta diagnosticulRapoartele de compresie sunt foarte mici si nesemnificativeExista 3 strategii de baza: codarea plana a bitilorcodare predictiva fara pierdere de informatie codarea fara erori a diferentelorTehnici de compresie a imaginilorMetode de compresie fara pierdere de informatie (cont):Compresia fara pierdere de informatie pleaca de la reprezentarea binara a imaginilor si se aplica unul din algoritmii de codare entropica: HuffmanLempel-ZivNu se admite pierdere de informatieRata de compresie depinde de algoritmul entropic folosit si nu este foarte mareAplicatiile importante ale acestui tip de compresie se refara la imaginile binare (Fax) si imagini medicaleTehnici de compresie a imaginilorOrice componenta a unei metode de compresie cu pierdere de informatie poate fi implementata intr-o maniera adaptiva sau ne-adaptivaO schema de compresie este adaptiva daca structura (numarul si/sau valorile parametrilor) se schimba local in cadrul imaginii pentru a folosi anumite particularitati ale statisticii localeMetodele adaptive ofera performante mai bune, dar implica cresterea complexitatiiImaginile de intrare pot fi:imagini binare (cum sunt cele de tip text)continue (8 biti video, 12-biti medicale)

Clasificarea tehncilor de compresie a imaginilor

Masuri de apreciere cantitativaMasurile de apreciere cantitativa nu sunt cei mai importanti in evaluarea calitatii unei imagini reconstruite dupa compresieSe folosesc numai pentru evaluarea eficientii codarii a diferitilor algoritmiiMasurile de baza se bazeaza pe:raportele semnal-zgomot eroarea medie patraticaFie o imagine de dimensiune NxM; fie s(i,j) intensitatea imaginii in punctul aflat la intersectia liniei i cu coloamna j si s(i,j) intensitatea imaginii refacute in acelasi punct

MarimiEroarea medie patratica (MSE = Mean Square Error) Eroarea medie patratica normalizata (NMSE = Normalized Mean Square Error) se obtine prin raportare la energia semnalului de la intrare:

sau prin raportare la intensitatea imaginii:

MarimiPentru o imagine cu rezolutie de 8 bit PCM, xpp este 255Daca se considera si momentele de timp prin indicele k, se poate calcula eroarea medie patratica pe un domeniu de timp caracterizat de P momente cu relatia:

MarimiEroarea medie absoluta (MAE = Mean Absolute Error) Eroarea medie absoluta normalizata (NMAE = Normalized Mean Absolute Error)

MarimiCoeficientul de corelatie normalizat (NCC = Normalized Correlation Coefficient)

trebuie sa fie 1 pentru o reconstructie ideala

Masuri de apreciere subiectivePentru evaluari subiective, se considera un grup de observatori, considerand ca sunt experti in codarea imaginilor, care analizeaza imaginile originale si cele procesate in conditii de iluminare si de distanta adecvateSe calculeaza, ca si in cazul audio, un scor mediu al opiniilor (MOS) pe baza unei scari de apreciereExemplu:Nr.OpiniaScor1Imperceptibila72Abia perceptibila63Perceptibila dar nu afecteaza imaginea54Afecteaza imaginea dar nu este deranjanta45Un pic deranjanta36Deranjanta27Intolerabila1ExempluFigura alaturata prezinta 4 imagini in format jpg in format gray (8 biti), deci de la 0 la 255Dimensiunile matricilor ce reprezinta imaginile sunt de 200 x 200Imaginile au indiciii de calitate, dupa formatul jpg, de 90%, 40, 10% si 1%

Exemplu

Compresia prin re-cuantizare

Compresia prin re-cuantizareScopul este reducerea numarului posibil de valori pentru codareFigura de mai jos arata mecanismul recuantizarii cu 4 domenii:Se obtine un raport de compresie dat de raportul dintre numarul initial de niveluri si numarul nou de niveluri 4Fiecare valoare din fiecare intervalul va fi cuantizat cu un numar, iar la decuantizare se inmulteste numarul memorat cu latimea intervalului de recuantizare

Compresia prin re-cuantizareRaportul de compresie este

ExempluSa se faca compresia imaginii de mai jos prin metoda recuantizarii de la 8 la 2 biti pe esantionDimensiunea imaginii este de 4x4 pixeli

ExempluPlaja nivelelor de cuantizare, de la 0 la 255, este impartita in 4 domenii de cuantizare, numerotate de la I0 la I3Fiecare interval este reprezentat prin numerele ce arata jumatatea intervaluluiCeea ce trebuie memorat se refera la numarul intervalului, atat timp cat se cunoaste latimea fiecarui interval

Exemplu

Standardului CCITTStandardele CCITT T.4 si T.6 sunt elaborate pentru compresia imaginilor alb-negru (transmisiii facsimile), incluzand: rezolutii pentru scanare si tiparirerestrictii de timptolerante dimensionale, etc.Principiul de baza este codarea imaginii sursa in modul linie dupa linie, corespunzator modului in care liniile sunt tiparite si scanate intr-o masina de tip faxStandardului CCITTDiferenta dintre cele doua standarde (T.4. si T.6.)consta in modul in care sunt tratate liniiile succesiveIn primul standard liniile sunt codate independent, si, in al doilea standard, liniile sunt codate cu referinta la liniile anterioare, ceea ce duce la o compresie mai mareIn primul standard o linie scanata este codata printr-o secventa de numere de pixeli albi si negri, cu alternanta celor albi si negriFiecare secventa de pixeli este codata cu un numar variabil de bitiRapoartele de compresie sunt in general de ordinul 10:1 pentru pagini de tipul textului scrisStandardului CCITTCCITT T.6 este mai complex, in sensul ca fiecare linie este comparata cu linia anterioara, astfel incat ca efect se considera si trasaturile verticale din imaginea sursa

In loc sa se considere pixeli albi-negri alternanti, se considera pozitiile pixelilor in care se schimba informatia, deci se codifica pozitia fiecarui pixel inceput de trasatura cu referire la linia precedentaExemplu