+ All Categories
Home > Documents > Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Date post: 31-Jan-2017
Category:
Upload: doanminh
View: 230 times
Download: 1 times
Share this document with a friend
131
UNIVERSITATEA POLITEHNIC ˘ A BUCURES ¸TI FACULTATEA DE ELECTRONIC ˘ A TELECOMUNICAT ¸II S ¸I TEHNOLOGIA INFORMAT ¸ IEI Reprezent˘ ari neliniare ¸ si operat ¸ii punctuale pentru ˆ ımbun˘ at˘ at ¸irea imaginilor achizit ¸ionate cu camere fotografice digitale Corneliu FLOREA Conduc˘ator¸ stiint ¸iific: prof. dr. ing. Vasile BUZULOIU
Transcript
Page 1: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

UNIVERSITATEA POLITEHNICA BUCURESTIFACULTATEA DE ELECTRONICA TELECOMUNICATII

SI TEHNOLOGIA INFORMATIEI

Reprezentari neliniare si operatiipunctuale pentru ımbunatatirea

imaginilor achizitionate cu camerefotografice digitale

Corneliu FLOREA

Conducator stiintiific: prof. dr. ing. Vasile BUZULOIU

1

Page 2: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Reprezentari neliniare si operatii punctuale pentruımbunatatirea imaginilor achizitionate cu camere fotografice

digitale

Abstract

Modelele logaritmice de prelucrare a imaginilor constituie o alternativa la solutia obisnuita,bazata pe operatii reale, de reprezentare si procesare a imaginilor. Desi initial aceste modeleau fost dezvoltate pentru sisteme ın care fenomenele fizice de baza sunt multiplicative, ulte-rior, prin prisma proprietatilor matematice demonstrate, au putut fi utilizate ıntr-o multitudinede aplicatii noi. In aceasta lucrare, rezolvand un simplu exercitiu de algebra, vom deduce unset de conditii generale care sunt suficiente pentru elaborarea unor asemenea modele ce voravea o structura algebrica de spatiu conic/vectorial. Pe baza acestora conditii vom construimodele noi, mai simple ca implementare, sau vom extinde functionalitatea celor cunoscute prinparametrizare. Aplicatiile propuse sunt strans legate de camerele fotografice digitale. O carac-teristica a acestora este modul neliniar de reprezentare a reflectivitatii obiectelor din scena. Maiprecis, vom prezenta problematica amplificarii imaginilor subexpuse cu aplicatii ın atenuareaefectului de miscare al imaginii si, respectiv, la extinderea gamei dinamice a imaginilor digitalepentru recuperarea informatiei pierdute prin fotografiere. A doua aplicatie este un pas esentialıntr-un proces cu cost redus de digitizare a radiografiilor analogice.

Non-linear image representation and pixel-wise processing forenhancing images acquired with digital cameras

Abstract

The Logarithmic Image Processing (LIP) Models represent an alternative to classical oper-ators used in image processing with. Even though initially devised to deal with multiplicativephenomena, later on, thanks to their robust mathematical properties, they became suitable forvarious other image processing applications. In this paper, by using simple algebraical tools,we derive the set of sufficient conditions to elaborate a non-linear image processing model thatcomplies with the algebraic structure of a cone/vector space. Given this set of conditions, webuild new models, which either are simpler to implement or extend the capabilities of knownmodels by means of parametrization. The proposed applications are in the domain of digital stillcamera and exploit the well-known non-linearity between the real and the acquired reflectancesof objects in the scene. More precisely, we shall develop a method for amplifying underexposedimages, with direct applications in attenuating the motion blur, and an algorithm to enhancethe dynamic range of photographed images; the latter application is essential to the process ofdigitization of analog radiographs.

Page 3: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Cuprins

1 Introducere 11.1 Motivatie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 Premize si obiective . . . . . . . . . . . . . . . . . . . . . . . . . . 21.3 Structura tezei . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2 Modele neliniare de prelucrare a imaginilor 62.1 Introducere . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62.2 Fundamente matematice . . . . . . . . . . . . . . . . . . . . . . . . 8

2.2.1 Structura algebrica . . . . . . . . . . . . . . . . . . . . . . . 92.2.2 Functia generatoare – functie de compandare . . . . . . . . 142.2.3 Functia generatoare – functie compusa . . . . . . . . . . . . 152.2.4 Metrica spatiului . . . . . . . . . . . . . . . . . . . . . . . . 17

2.3 Modele existente . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.3.1 Modelul Jourlin – Pinoli . . . . . . . . . . . . . . . . . . . . 182.3.2 Modelul Patrascu . . . . . . . . . . . . . . . . . . . . . . . . 222.3.3 Modelul Vertan . . . . . . . . . . . . . . . . . . . . . . . . . 24

2.4 Modele neliniare noi de prelucrare a imaginilor . . . . . . . . . . . 272.4.1 Modelul trigonometric . . . . . . . . . . . . . . . . . . . . . 27

2.5 Modele liniare pe portiuni . . . . . . . . . . . . . . . . . . . . . . . 292.5.1 Determinarea parametrilor . . . . . . . . . . . . . . . . . . 32

2.6 Parametrizarea modelelor neliniare . . . . . . . . . . . . . . . . . . 36

3 Camere fotografice digitale 403.1 Modelul unei camere digitale . . . . . . . . . . . . . . . . . . . . . 41

3.1.1 Tipuri de camere digitale . . . . . . . . . . . . . . . . . . . 423.2 Sistemul optic de lentile . . . . . . . . . . . . . . . . . . . . . . . . 433.3 Expunerea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3.3.1 Valoarea de expunere . . . . . . . . . . . . . . . . . . . . . 483.3.2 Amplificarea . . . . . . . . . . . . . . . . . . . . . . . . . . 49

i

Page 4: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

CUPRINS

3.4 Senzorul de imagine. Rezolutia imaginii . . . . . . . . . . . . . . . 503.4.1 Setul de filtre color optice . . . . . . . . . . . . . . . . . . . 513.4.2 Celulele fotosensibile . . . . . . . . . . . . . . . . . . . . . . 52

3.5 Rezolutia pozei. Dimensiunea scenei . . . . . . . . . . . . . . . . . 553.6 Algoritmi de procesare a imaginilor . . . . . . . . . . . . . . . . . 56

3.6.1 Compensarea curentului de ıntuneric . . . . . . . . . . . . . 573.6.2 Reducerea zgomotului. Eliminarea pixelilor defecti . . . . . 583.6.3 Corectia nivelului de alb . . . . . . . . . . . . . . . . . . . . 583.6.4 Corectia neliniaritatii dispozitivului de afisare . . . . . . . . 613.6.5 Demozaicarea . . . . . . . . . . . . . . . . . . . . . . . . . . 62

3.7 Estimarea functiei de raspuns a camerei . . . . . . . . . . . . . . . 643.7.1 Aproximarea supraexpunerii prin multiplicare logaritmica . 68

4 Amplificarea imaginilor subexpuse 694.1 Premize . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 694.2 Amplificarea . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

4.2.1 Modelul de amplificare . . . . . . . . . . . . . . . . . . . . . 714.2.2 Imaginile de intrare . . . . . . . . . . . . . . . . . . . . . . 724.2.3 Algoritmul . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

4.3 Rezultate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

5 Extinderea gamei dinamice a imaginilor digitale fotografice 795.1 Punerea problemei . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

5.1.1 Gama dinamica . . . . . . . . . . . . . . . . . . . . . . . . . 805.1.2 Gama dinamica a unui combinatii de imagini . . . . . . . . 815.1.3 Ochiul uman, dispozitive de redare si camere digitale . . . . 82

5.2 Achizitia cadrelor cu expuneri variate . . . . . . . . . . . . . . . . 835.3 Tehnici de aliniere a cadrelor . . . . . . . . . . . . . . . . . . . . . 86

5.3.1 Metode de aliniere pe baza de divizare ın blocuri . . . . . . 865.3.2 Metode de potrivire globala . . . . . . . . . . . . . . . . . . 88

5.4 Combinarea cadrelor . . . . . . . . . . . . . . . . . . . . . . . . . . 905.4.1 Medierea simpla . . . . . . . . . . . . . . . . . . . . . . . . 905.4.2 Anularea pixelilor saturati . . . . . . . . . . . . . . . . . . . 905.4.3 Medierea ponderata . . . . . . . . . . . . . . . . . . . . . . 915.4.4 Fuziunea imaginilor cu ajutorul modelelor neliniare . . . . . 935.4.5 Supra–cuantizarea imaginilor fuzionate . . . . . . . . . . . . 945.4.6 Echilibrarea expunerilor . . . . . . . . . . . . . . . . . . . . 94

5.5 Fuziunea imaginilor: rezultate . . . . . . . . . . . . . . . . . . . . . 955.5.1 Imagini cu gama dinamica extinsa . . . . . . . . . . . . . . 95

ii

Page 5: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

CUPRINS

5.5.2 Evaluarea imaginilor . . . . . . . . . . . . . . . . . . . . . . 985.5.3 Analiza rezultatelor . . . . . . . . . . . . . . . . . . . . . . 105

5.6 Extinderea gamei dinamice a radiografiilor analogice . . . . . . . . 107

6 Concluzii 1106.1 Contributii personale . . . . . . . . . . . . . . . . . . . . . . . . . . 1116.2 Perspective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

7 Cuvant de multumire 115

Bibliografie 115

iii

Page 6: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 1

Introducere

Inceputul este ıntotdeauna o problema pentru ca primele cuvinte sunt cele mai im-portante. Exista o portita de scapare. Ansel Adams spunea ca ”atunci cand cuvin-tele devin confuze ne vom concentra pe fotografii. Cand imaginile devin inadecvatene vom acoperi de tacere”.

1.1 Motivatie

Dintre cele cinci simturi umane, perceptia vizuala este cea mai importanta. Studiipsihologice au aratat ca patru cincimi din informatia acumulata de un om esteobtinuta pe cale vizuala. Acest lucru este posibil pentru ca niste particule mici,denumite fotoni si al caror scop este sa raspandeasca informatie despre lumeaınconjuratoare sunt captate de catre ochiul uman, iar continutul lor informationaleste descrifrat si transmis mai departe pentru a fi memorat. Pornind de la o sursade lumina, ın drumul ei, proprietatile fizice ale undei fotonice sunt alterate decatre suprafetele obiectelor ıntalnite. Modificari ale intensitatii de-a lungul uneidirectii pot marca muchii ale obiectelor; modificari ale frecventei de oscilatie setransforma ın nuante diferite de culoare.

Deoarece sistemul vizual uman este un aparat extrem de puternic si important,ın dorinta noastra de a automatiza totul, am ajuns sa ne punem problema saconstruim masini care sa acumuleze informatie de aceeasi natura, adica imagini.In acest sens sistemele de achizitie, prelucrare si analiza de imagini au ajuns sajoace un rol deosebit de important ın viata noastra de zi cu zi.

Problema este ca nu orice sistem de achizitie, prelucrare si analiza de ima-gini este folositor. O conditie importanta ce trebuie impusa acestor sisteme estecompatibilitatea cu vazul uman. Tinand cont de faptul ca sistemul vizual umaneste, ın esenta, un dispozitiv neliniar, este necesar ca si masinile care vor sa i se

1

Page 7: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

1.2. Premize si obiective

substituie sa aiba caracteristici neliniare, ın special ın zona de achizitie si prelu-crare a imaginilor. Pe baza acestor considerente, importanta modelelor neliniarede reprezentare si prelucrare a imaginilor creste semnificativ.

Daca ne referim la partea de achizitie a imaginilor, de departe cel mai utilizatmijloc este camera fotografica digitala. Dintr-o serie de motive, printre care deneneglijat este si acela de compatibilitate cu sistemul vizual uman, camerele fo-tografice includ o serie de prelucrari neliniare ale imaginilor. Astfel, un sistem carefoloseste imaginile furnizate de o camera fotografica trebuie sa includa componenteneliniare.

O alta ıntrebare care ne-o putem pune este unde este nevoie de achizitie deimagini. Medicina este fara ındoiala unul dintre raspunsurile bune. Pe masura cetehnica de varf a migrat de la analogic la digital, a aparut si necesitatea de a migrabazele de date existente, de pe suport analogic pe suport digital. Un exemplu ınacest sens este digitizarea radiografiilor analogice. Solutia existenta este utilizareaunui scanner performant. Dar nu este prea scump, prea inaccesibil? O camerafotografica nu ar fi mai la ındemana? Raspunsul este evident, dar implementareaacestei solutii presupune depasirea unor limitari tehnologice introduse.

1.2 Premize si obiective

Un sistem de prelucrare neliniara a imaginilor poate fi implementat ın doua mo-duri. Unul este direct si implica definirea unor operatori neliniari1; ın celalalt, ınlantul de procesare se intercaleaza transformari neliniare ale imaginilor cu opera-tori liniari. In lucrarea de fata se va utiliza prima abordare pentru simplul motivca formalizarea unei asemenea metode este de multe ori mai intuitiva. Definitialocala, pentru o singura aplicatie a unui set de operatori neliniari este riscantadeoarece poate conduce la neconcordante si ın mod cert nu ofera generalitate; dinacest punct de vedere este mai util sa se construiasca modele unitare de prelucrareneliniara a imaginilor.

In momentul de fata, ın literatura, exista trei modele neliniare de prelucrarea imaginilor. Primul a fost propus de catre Jourlin si Pinoli ın anii 80, [60], ıntimp ce al doilea model a fost propus de catre Patrascu [83] la ınceputul nouluimileniu. Aceste doua modele sunt generate cu ajutorul unei functii logaritmice,motiv pentru care sunt cunoscute sub denumirea de Modele Logaritmice de Pre-

1In aceasta lucrare se vor utiliza modele neliniare de reprezentare a imaginilor; ele sunt

neliniare ın raport cu spatiul cel mai des utilizat, cu elemente de tip intensitate. In spatiul

de reprezentare neliniar derivat se vor construi operatori liniari ın raport cu el, dar neliniari ın

raport cu operatorii similari din spatiul clasic, bazat de intensitati. Pentru simplitatea formularii,

atat spatiul nou de reprezentare, cat si operatorii derivati pe baza lui vor fi denumiti ”neliniari”.

2

Page 8: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

1.2. Premize si obiective

lucrare a Imaginilor (LIP). Cel de al treilea model existent este unul recent (a fostpropus de catre Vertan [107]) si ımpartaseste doar acelasi comportament cu celedoua modele propuse anterior, dar nu si natura functiei generatoare, motiv pentrucare a fost denumit model pseudo-logaritmic.

Desi au deschis calea catre o multitudine de aplicatii noi, aceste modele suntstructuri fixe care nu permit o deosebita flexibilitate. Este relativ usor de identifi-cat o aplicatie care ar beneficia de un model cu o flexibilitate ridicata, fie printr-oimplementare mai eficienta, fie printr-o parametrizare, fie printr-un comportamentadaptiv ıntr-o anumita gama de valori. Modificarea brutala ın sensul dorit se poatetransforma ıntr-o lama cu doua taisuri, pentru ca pe langa efectul benefic poateavea anumite consecinte colaterale, cum ar fi distrugerea structurii algebrice, anu-larea anumitor proprietati sau, din punct de vedere practic, poate genera artefacteın imagine. Din aceasta perspectiva este extrem de util sa determinam anumitelimite care sa fie impuse unui mecanism de generare al unui model neliniar deprelucrare a imaginilor si care sa garanteze o functionalitate, atat matematica catsi practica, minima. De fapt acesta este primul obiectiv al lucrarii de fata: sadetermine conditiile suficiente ale unui mecanism de generare astfel ıncat sa seobtina modele neliniare functionale.

Odata ce aceste limite vor fi determinate, pasul urmator este sa se investighezeinovatiile implicit cuprinse ın limitele determinate. Pentru problema de fata, deinteres ar fi generarea unor noi modele de prelucrare a imaginilor cu anumiteparticularitati, cum ar fi modele liniare pe portiuni, care, ın mod evident, arfi mai simplu de implementat. Un alt exemplu ar fi parametrizarea modelelorexistente ın vederea cresterii flexibilitatii practice.

Scopul mentionat pana acum este unul teoretic: efectuarea unui calcul ale caruirezultate sa garanteze o baza pentru practica. Continuarea evidenta si imperativaeste una din domeniul practicii: cum putem folosi notiunile teoretice nou introdusepentru a rezolva probleme curente?

Dupa cum am mentionat si ın argumentatia necesitatii constructiei unor mo-dele neliniare de prelucrare a imaginilor, un punct ın care ısi vor fi gasit aplica-bilitatea practica sunt camerele fotografice digitale. Desi extrem de uzuale acesteaparate nu sunt perfecte, iar limitarile introduse sunt uneori deranjante.

O prima problema abordata este a ınlaturarii blurului cauzat de tremuratulinerent al mainilor umane din timpul achizitiei. In momentul de fata, aceastaeste cea mai spinoasa problema a calitatii imaginilor fotografice. O solutie, nuperfecta, dar extrem de comoda este reducerea timpului de expunere completata deo amplificare neliniara a imaginii subexpuse. Simplitatea solutiei este argumentulcel mai puternic pentru utilizarea ei pe scara larga. Astfel un al doilea obiectiv

3

Page 9: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

1.3. Structura tezei

clar al lucrarii de fata este sa prezinte o solutie viabila la problema amplificariiimaginilor subexpuse, si, ın consecinta, la cea a degradarii imaginilor captate deo camera fotografica digitala tinuta ın mana, degradare cauzata de tremuratulspecific uman.

O a doua limitare a camerelor fotografice digitale este producerea unei gamedinamice scazute. Gama dinamica sau, mai trivial spus, numarul de niveluri de cu-loare diferite produse, este considerabil mai mic decat al ochiului uman. Acest faptconduce la situatia ın care desi un observator uman distinge mai multe obiecte, culuminozitati diferite, imaginea fotografica asociata acelei scene este mult mai putininformativa. Problema este mult agravata ın cazul ın care camera fotografica esteutilizata mai departe de scopul initial (obiect de recreere), ıntr-un domeniu riguros,ın care greselile sunt extrem de scumpe, cum ar fi medicina. In cazul de fata s-apus problema utilizarii camerelor fotografice digitale pentru conversia ın formatdigital al radiografiilor analogice. Argumentatia acestei conversii este ıntarita decostul redus precum si de necesitatea pastrarii si analizei computationale a bazelorde date existente ın format analogic.

In cazul conversiei directe cei 10-12 biti de informatie existenti ın radiografiaanalogica sunt redusi la 8 ın imaginea digitala. Solutia clasica de extindere agamei dinamice (ce implica operatori liniari) pentru a compensa aceste diferente,ar necesita mult prea multe imagini. In aceste conditii, o a doua aplicatie prac-tica propusa ın lucrarea de fata este de extindere a gamei dinamice a camerelorfotografice digitale. Desi, dupa cum se va vedea, solutia este aplicabila la imagininaturale, totusi imagini ale radiografiilor analogice se vor constitui drept princi-pala tinta.

1.3 Structura tezei

Aceasta lucrare, dupa cum este mentionat si ın titlul ei si dupa cum am detaliatın sectiunea precedenta (de prezentare a obiectivelor), ısi propune sa trateze douasubiecte: descrierea modelelor neliniare de prelucrare a imaginilor respectiv un setde doua aplicatii ale acestor modele pentru imagini achizitionate cu camere digitalefotografice. Tinand cont de cele enuntate, restul lucrarii va avea o structuraoarecum clasica: se va ıncepe cu o parte teoretica pentru ca spre final sa se descriedoua aplicatii practice.

Capitolul urmator, 2, este un capitol cu un pronuntat accent teoretic si estededicat analizei din punct de vedere matematic al modelelor neliniare de prelu-crare a imaginilor. Pentru ınceput se va pune ın discutie structura algebrica aunui astfel de model; mai precis, se va identifica un set de conditii suficiente care

4

Page 10: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

1.3. Structura tezei

trebuie ındeplinite de o functie generatoare pentru ca aceasta sa conduca la unmodel neliniar de prelucrare a imaginiilor, cu o structura algebrica suficient dedezvoltata ıncat sa faca fata cu succces cerintelor unei aplicatii practice. Cu altecuvinte, rezolvand un exercitiu de algebra, de altfel nu foarte dificil, vom trasaun set de granite care delimiteaza o zona cu functionalitate garantata. Tot ca unexercitiu se vor prezenta modelele neliniare (logaritmice sau pseudo-logaritmice)existente deja ın literatura de specialitate si se va arata ca sunt continute de zonadelimitata. Mult mai interesante sunt sectiunile urmatoare, ın care se prezintaidei novatoare, cum ar fi constructia de modele neliniare noi de prelucrare a ima-ginilor sau ımbunatatirea functionalitatii modelelor existente prin parametrizare.In aceeasi ordine de idei, ın finalul acestui capitol, se va propune o simplificare amodelelor neliniare existente, prin constructia de modele liniare pe portiuni.

Cea de a doua parte a lucrarii este dedicata descrierii unor aplicatii practicenon-triviale. Aceste aplicatii presupun, ın mod obligatoriu, imagini achizitionatecu camere fotografice digitale. Fiindca descrirea functionala a celor doua aplicatiipresupune o serie de proprietati specifice achizitiei de imagini cu camere fotograficedigitale, capitolul 3 este dedicat unei prezentari sumare a acestora precum si atehnologiei pe care o ıncorporeaza.

Prima aplicatie prezentata este dedicata exclusiv camerelor fotografice digitale.Problema rezolvata este de compensare a subexpunerii unei poze, iar aplicabilita-tea acestei solutii include evitarea aparitiei degradarii pozelor din cauza miscariimainii. Descrierea acestei metode poate fi urmarita ın capitolul 4.

Cea de a doua si cea mai importanta aplicatie personala descrisa este cea aextinderii gamei dinamice a imaginilor provenind de la camere fotografice digitale.Acesta este scopul capitolului 5. Cuprinsul acestui capitol include o prezentare aproblemei; fiindca solutia este una punctuala urmeaza o scurta trecere ın revistaa metodelor de aliniere a imaginilor, o prezentare a metodelor de combinare acadrelor pentru a ıncheia cu prezentarea rezultatelor si a solutiilor de evaluare aacestora. In finalul acestui capitol se va pune ın discutie importanta practica aextinderii gamei dinamice a imaginilor provenind de la camere digitale fotograficeın special ın ideea elaborarii unui standard de digitizare a radiografiilor analogicecu cost redus.

Ultimul capitol al acestei lucrari este dedicat concluziilor. In acest capitolse vor prezenta rezultatele expuse pe cuprinsul lucrarii precum si contributiilepersonale.

5

Page 11: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 2

Modele neliniare de prelucrare

a imaginilor

2.1 Introducere

Desi tematica lucrarii de fata include modele neliniare de prelucrare a imaginilor,la ınceputurile acestora s-a vorbit despre modele logaritmice de prelucrare a imagi-nilor. Modelele logaritmice de procesare a imaginilor furnizeaza un cadru potrivitpentru vizualizarea si ımbunatatirea unei game variate de imagini digitale. Initial,necesitatea obtinerii modelelor logaritmice a fost impusa de abordarea unor sis-teme ın care fenomenele fizice erau multiplicative. Ulterior aceste modele au fostanalizate din punct de vedere matematic, li s-au determinat anumite proprietatisi au fost ıncadrate ıntr-o structura algebrica fixa, care de cele mai multe oricorespundea spatiului vectorial. Exploatandu-se aceste proprietati algebrice, pebaza modelelor logaritmice s-au putut dezvolta aplicatii ce nu implica neaparatfenomene multiplicative.

Totusi care este utilitatea acestor modele? Un exemplu simplu este usor de dat.In cele mai multe cazuri din toate circumstantele imaginabile, achizitia imaginilordigitale a implicat conversia ın spatiul digital al unui semnal analogic. Deoarececonversia implica o masina cu putere finita de calcul, atunci ınseamna ca exista sio intensitate maxima a imaginii rezultante; ın plus, lipsa de semnal este codificatacu intensitatea minima reprezentabila a imaginii. In aceste conditii, imaginiledigitale sunt definite pe un interval finit de valori. Algoritmii traditionali deprelucrare a imaginii se bazeaza pe operatii clasice, implementate peste multimeanumerelor reale. In anumite circumstante, o astfel de combinatie, denumita modelclasic linear de procesare a imaginii (Classical Linear Image Processing - CLIP)[65] ısi dovedeste limitele. De pilda, sa consideram amplificarea puternica unui

6

Page 12: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.1. Introducere

semnal de imagine cu o valoare scazuta a componentei medii. In cazul valorilormari vom obtine depasirea limitei superioare; solutia tipica a acestei probleme,trunchierea rezultatului, este de cele mai multe ori neadecvata. Pentru tratareaeleganta a unei probleme de tipul celei exemplificate apare necesitatea elaborariiunei structuri mai avansate care sa fie capabila sa abordeze ın mod potrivit acestesituatii.

Solutiile propuse au constat din constructia de modele logaritmice de prelu-crarea imaginilor (modele LIP). Punctul de plecare al acestor modele poate fi gasitın teoria homomorfica introdusa de catre Oppenheim [76]. Cheia este o functiehomomorfica, cu un comportament logaritmic, care transforma produsul ın suma.De asemenea, trebuie sa precizam clar ca functia este definita pe domeniul va-lorilor posibile ale imaginilor; ın mod tipic, aceste domenii sunt delimitate net:[0,M ]. Implementari practice ale acestor principii, din cate este cunoscut autoru-lui, la momentul actual au fost furnizate de catre Jourlin si Pinoli [61] (al carormodel va fi descris ın sectiunea 2.3.1) si, respectiv, de catre Patrascu [83] (modelcare va fi discutat ın sectiunea 2.3.2). Recent, schema unui nou model, unulpseudo-logaritmic, a fost propusa de catre Vertan & al [107], [42] (acest model vafi discutat ın sectiunea 2.3.3).

Aceste modele redefinesc operatiile de baza. In principiu, orice operatie deprelucrare a imaginilor poate fi rescrisa ınlocuind operatorii clasici, liniari, cuoperatori definiti de modelul neliniar. Totusi aceasta abordare poate fi prea en-tuziasta si nu are ıntotdeauna drept suport o necesitate de ordin practic. O listade aplicatii practice ale modelelor neliniare de prelucrare a imaginilor ar trebui saincluda:

1. corectia iluminarii [61], [51];

2. ımbunatatirea contrastului [29], [67], [77];

3. accentuarea conturilor [66],[78];

4. restaurarea si filtrarea imaginilor [16];

5. ımbunatatirea imaginilor color [84];

6. egalizarea histogramei [85], [86];

7. cresterea gamei dinamice [40], [42];

8. detectia de contururi [107].

Mai mult, pe langa prelucrarea imaginilor, s-a dorit extinderea aplicarii mode-lelor logaritmice si ın formarea operatorilor morfologici [112]. Odata ce constructia

7

Page 13: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

matematica a operatorilor morfologici pe baza modelelor neliniare este ındeplinita,este deschis un ıntreg nou orizont de aplicatii.

Prima derivare a unui astfel de model, anume cea propusa de catre Jourlin siPinoli, a fost dezvoltata special pentru cazul luminei transmise prin medii trans-parente. Constructia matematica a ınceput prin definirea adunarii a doua ele-mente, ın concordanta cu transmitanta mediului echivalent alcatuit dintr-o cas-cada de doua medii initiale transparente; multiplicarea este derivata prin inductiedin adunarea repetata; restul proprietatilor apar ın mod natural. Spre deosebirede predecesorii sai, Patrascu ısi deriveaza modelul din punct de vedere matematicprin impunerea unor proprietati definite functiei generatoare. Astfel, s-ar puteaconcluziona ca modelul propus de catre Jourlin si Pinoli are o interpretare fizicamai adecvata, ın timp ce modelul Patrascu este mai robust din punct de vederematematic.

Constructia matematica a unui astfel de model poate ıncepe prin definirealegilor operationale (care vor fi adunarea si multiplicarea cu un scalar exterior)sau, echivalent, prin determinarea unei functii care sa mapeze domeniul de definitiepe multimea numerelor reale. Avand ın vedere faptele prezentate, vom structurarestul capitolului dupa cum urmeaza: vom discuta despre matematica de fond aproblemei astfel ıncat sa se defineasca un set de reguli care sa garanteze structuraalgebrica de spatiu vectorial, vom reaminti cateva rezultate matematice care saajute ın generare, vom continua prin a prezenta modelele existente pe fundalulmatematic instituit pentru ca ulterior sa analizam cateva solutii noi cum ar fiparametrizarea sau constructia de modele liniare pe portiuni.

2.2 Fundamente matematice

In acest capitol vom investiga care sunt conditiile suficiente care trebuiesc impuseunei functii (ce va deveni functie generatoare a unui nou model) pentru a obtineo structura algebrica ce poate aspira cu succes la statutul de model neliniar deprelucrare a imaginilor [39], [43].

Dupa cum precizam si ın capitolul introductiv, definirea unui model presupuneın fapt stabilirea unei multimi de definitie si a unei functii generatoare pe bazacareia se determina cele doua operatii functionale ale modelului: adunarea siınmultirea cu un scalar. Structura algebrica cea mai des utilizata este cea despatiu vectorial. Definitia matematica a spatiului vectorial presupune respectareaunui set de axiome. In continuare, vom investiga conditiile suficiente care trebuiescrespectate de catre domeniu, codomeniu si respectiv de catre functia generatoareastfel ıncat sa obtinem un spatiu vectorial. Mai precis vom discuta aceste cerinte

8

Page 14: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

ın raport cu definitia stabilita, cu proprietatile de ınchidere si, ın final, ın raportcu axiomele definitiei spatiului vectorial. Trebuie precizat ca formularea algebricanu este o inovatie din punct de vedere matematic, fiind doar un caz particular alteoriei homomorfismelor [20]. Valoarea acestui exercitiu consta ın faptul ca fiindparticularizata la imagini, stabileste niste limite extrem de flexibile ın care se potdezvolta cu succes aplicatii practice, dincolo de granitele actuale.

2.2.1 Structura algebrica

Legile operationale ale modelului

Sa ıncepem prin a lua ın considerare o aplicatie, φ : E → F . In aceasta alegere,E este domeniul sau multimea de definitie, iar F este co-domeniul. De obicei, ıncazul ın care valorile de tip imagine au semnificatie de intensitate, cum este cazulspatiului de culoare RGB, multimea E este de forma [0,M ]; pe de alta parte, ıncazul spatiilor de culoare simetrice, cum ar fi planele U si V din spatiul YUV(sau Cb si Cr din YCbCr) pentru canalele asociate diferentelor de culoare, acestamultime este de forma simetrica, ca de exemplu

(−M2 ,

M2

). In ambele situatii

expuse multimea E este limitata inferior si superior:

∃mE = inf(E), ∃ME = sup(E) (2.1)

Functia φ defineste structura modelului pe care o proiecteaza pe un subsetal multimii numerelor reale, F ⊂ R. Mai departe, vom adauga doua operatii:adunarea, ⊕ a doua elemente din multimea E si multiplicarea, ⊗, cu un scalarexterior. Avand un scalar, α ∈ K ⊂ R, si doua elemente ale setului, u si v, putemdetermina exact formulele pentru operatiile mentionate, utilizand aplicatia φ:

φ(u⊕ v) = φ(u) + φ(v) (2.2)

φ(α⊗ u) = αφ(u) (2.3)

unde operatiile din membrii drepti sunt operatiile clasice definite pentru numerereale.

Trebuie observat ca ecuatiile (2.2) si (2.3) trebuie sa fie respectate de catreun homomorfism ıntre doua structuri algebrice similare [35]. In modul nostru deabordare, am presupus functia φ a fi cunoscuta si intentionam sa o folosim pentrua determina formulele legilor operationale. In asemenea conditii, solutia cea maisimpla este sa impunem constrangerea de bijectivitate functiei generatoare. Atuncilegile sunt unic determinate.

9

Page 15: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Conditia de bijectivitate implica propritatea de surjectivitate, care, formal, sescrie:

∀y ∈ F,∃x ∈ E ⇒ φ(x) = y , (2.4)

si respectiv conditia de injectivitate:

∀x1, x2 ∈ E , x1 = x2 ⇒ φ(x1) = φ(x2) . (2.5)

Datorita posibilei continuitati a multimii de intrare, functia generatoare, larandul ei, trebuie sa fie continua. In mod similar, prin natura problemei, functiageneratoare trebuie sa fie crescatoare.

Revenind la implicatiile conditiei de bijectivitate asupra determinarii legiloroperationale ale modelului, proprietatea de surjectivitate este necesara pentruexistenta solutiei: sa existe suma a oricaror doua elemente ale multimii de definitie,respectiv sa existe valoarea atenuata sau amplificata a intensitatii unui pixel. Pro-prietatea de injectivitate este necesara pentru unicitatea solutiei: adica sa existeo singura valoare care sa corespunda sumei a doua valori ale imaginii.

Acum, sa analizam ecuatia (2.3). In timp ce u poate fi orice element dinsetul de intrare E (care este un set finit), α este, de obicei, un scalar real pozitiv(K = R

+). In ipoteza asumata a bijectivitatii functiei φ putem spune ca:

∃um ∈ E , φ(um) = inf(F ) , (2.6)

respectiv∃uM ∈ E , φ(uM ) = sup(F ) , (2.7)

Vom considera un scalar nenul, dar subunitar, 0 < α1 < 1 si ıl vom folosi ınrelatia (2.3) pe care o vom scrie pentru um. In acest caz obtinem:

φ(α1 ⊗ um) = α1φ(um) ⇔φ(α1 ⊗ um) = α1inf(F )

Fiindca α1 este subunitar ınseamna ca α1inf(F ) ≤ inf(F ). Deci pe de o parteφ(α1 ⊗ um) ≤ inf(F ), cu egalitate cand unul dintre factori este nul.

Pe de alta parte, orice valoare a lui φ este marginita inferior de catre inf(F ).Acest lucru este valabil si pentru φ(α1 ⊗ um):

φ(α1 ⊗ um) ≥ inf(F ) ⇒α1inf(F ) ≤≥ inf(F )

Deoarece α1 = 0, ınseamna ca inf(F ) = 0.

10

Page 16: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

O analiza similara, ce utilizeaza un scalar supraunitar, α2 > 1, conduce la aarata ca sup(F ) = +∞:

φ(α2 ⊗ uM ) = α2φ(uM ) ⇔φ(α2 ⊗ uM ) = α2sup(F ) > sup(F )(pentru ca α2 > 1)

Dar valorile functiei φ sunt marginite superior de catre sup(F ):

φ(α2 ⊗ uM ) ≤ sup(F ) ⇒α2sup(F ) = sup(F ) ⇒sup(F ) = +∞

In concluzie, codomeniul functiei generatoare trebuie sa fie de forma:

F = [0,+∞) (2.8)

O implicatie a conditiei de bijectivitate este ca functia generatoare acceptainversa:

∃φ−1, φ−1 : F → E (2.9)

In conditiile existentei functiei inverse, care la randul ei este bijectiva, putemdetermina legile de adunare respectiv multiplicare cu un scalar exterior dupa cumurmeaza:

u⊕ v = φ−1 (φ(u) + φ(v)) (2.10)

α⊗ u = φ−1 (αφ(u)) (2.11)

Proprietatea de ınchidere

Proprietatea de ınchidere a adunarii fata de multimea E, cat si cea a scalarii cu unelement exterior sunt de o importanta vitala pentru aplicatiile practice. Acesteproprietati afirma ca suma a doua imagini este la randul ei o imagine valida(formata numai din elemente cu semnificatie ın spatiul imaginilor) si, respectiv,amplificarea sau atenuarea unei imagini produce la randul ei o imagine valida.Formal, se poate scrie:

∀u, v ∈ E z = u⊕ v ⇒ z ∈ E (2.12)

∀u ∈ E,∀α ∈ K z = α⊗ u⇒ z ∈ E (2.13)

Aceste proprietati sunt verificate daca se aplica functia generatoare ambilormembri si apoi se tine cont de ipoteza de surjectivitate asumata:

z = u⊕ v ⇒ φ(z) = φ(u⊕ v) ⇒ ∃z = φ−1 (φ(u⊕ v))

respectivz = α⊗ u⇒ φ(z) = φ(α⊗ u) ⇒ ∃z = φ−1 (φ(α⊗ u))

11

Page 17: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Structura de spatiu vectorial

Avand ın vedere cele doua legi operative (adunarea, ⊕, si ınmultirea cu un scalar,⊗), multimea de definitie, E, si spatiul de scalari exteriori, K, se poate da odefinitie formala a spatiului vectorial. Totusi, ın functie de autor, exista maimulte definitii formale ale acestei structuri. De exemplu, T. Stihi, [103], con-sidera suficient pentru a forma acesta structura existenta unei multimi nevide sirespectarea conditiilor de ınchidere; ulterior, din aceste conditii deriva un set deproprietati. Alti autori, cum ar fi Hefferon, [56], sau Chen, [23], includ ın definitiaformala a structurii de spatiu vectorial acest set de proprietati, ridicate la ran-gul de axiome ale spatiului vectorial. In orice caz, aceste propozitii matematicetrebuiesc respectate de o structura pentru a fi spatiu vectorial.

In continuare se vor enunta aceste proprietati si se vor discuta si conditiile cerezulta asupra functiei generatoare pentru a obtine demonstrarea formala. Maiprecis:

1. Adunarea vectoriala este asociativa:

(u⊕ v) ⊕ z = u⊕ (v ⊕ z),∀u, v, z ∈ E (2.14)

In conditiile bijectivitatii, aceasta proprietate este verificata:

(u⊕ v) ⊕ z = u⊕ (v ⊕ z) | φ(.) ⇔φ ((u⊕ v) ⊕ z) = φ (u⊕ (v ⊕ z)) ⇔(φ(u) + φ(v)) + φ(z) = φ(u) + (φ(v) + φ(z))

2. Adunarea vectoriala este comutativa:

u⊕ v = v ⊕ u, ∀u, v ∈ E (2.15)

In conditiile bijectivitatii, si aceasta proprietate este verificata:

u⊕ v = v ⊕ u|φ(.) | ⇔φ (u⊕ v) = φ (v ⊕ u) ⇔φ(u) + φ(v) = φ(v) + φ(u)

3. Adunarea vectoriala are element neutru:

∃u0,∀u ∈ E, u0 ⊕ u = u (2.16)

Pentru a se respecta aceasta proprietate (si ın ideea caracterului izomorf alfunctiei generatoare) este necesar ca:

φ(u0) = 0 (2.17)

12

Page 18: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Daca se respecta aceasta ipoteza suplimentara, atunci existenta elementuluineutru este verificata:

u0 ⊕ u = u | φ(.) ⇔φ(u0 ⊕ u) = φ(u) ⇔ φ(u0) + φ(u) = φ(u)

4. Adunarea vectoriala are element invers:

∀u ∈ E, ∃u−, u⊕ u− = u0 (2.18)

Pentru verificarea acestei conditii este necesar ca:

φ(u−) = −φ(u) (2.19)

5. Multiplicarea cu un scalar este distributiva peste adunarea elementelor dinspatiul vectorial:

∀u, v ∈ E, ∀α ∈ K, α⊗ (u⊕ v) = α⊗ u⊕ α⊗ v (2.20)

In conditiile bijectivitatii, aceasta proprietate este verificata:

α⊗ (u⊕ v) = α⊗ u⊕ α⊗ v | φ(.) ⇔φ (α⊗ (u⊕ v)) = φ (α⊗ u⊕ α⊗ v) ⇔α (φ(u) + φ(v)) = αφ(u) + αφ(u)

6. Multiplicarea cu un scalar este distributiva fata de adunare, ın campul sca-larilor:

∀u ∈ E, ∀α, β ∈ K, (α+ β) ⊗ u = α⊗ u⊕ β ⊗ u (2.21)

In conditiile bijectivitatii, si aceasta proprietate este verificata:

(α+ β) ⊗ u = α⊗ u⊕ β ⊗ u | φ(.) ⇔φ ((α+ β) ⊗ u) = φ (α⊗ u⊕ β ⊗ u) ⇔(α+ β)φ(u) = αφ(u) + βφ(u)

7. Multiplicarea cu un scalar este compatibila cu multiplicarea ın domeniulscalarilor:

∀u ∈ E, ∀α, β ∈ K, (α(β ⊗ u) = (αβ) ⊗ u (2.22)

In conditiile asumate de bijectivitate a functiei φ si aceasta proprietate esteverificata:

(α(β ⊗ u) = (αβ) ⊗ u | φ(.) ⇔φ (α(β ⊗ u)) = φ ((αβ) ⊗ u) ⇔α (βφ(u)) = α βφ(u)

13

Page 19: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

8. Multiplicarea cu un scalar are element neutru:

∃α1,∀u ∈ E − {u0}, α1 ⊗ u = u (2.23)

Aceasta proprietate se adevereste ın cazul ın care elementul neutru alcampului de scalari este elementul neutru al ınmultirii reale (adica 1).Cerinta este imediat respectata si nu are nici o consecinta asupra con-strangerilor impuse functiei generatoare. Ea este o realitate a multimii sca-larilor.

Proprietatile care se refera la ordinea operatiilor (mai precis ecuatiile (2.14),(2.15), (2.22), (2.21), (2.20)), de altfel foarte usor demonstrabile ın conditiile bi-jectivitatii sunt importante ın cadrul procesarii de imagini. Cu ajutorul lor sepoate calcula o suma ponderata de imagini, iar ordinea operatiilor nu trebuie saincomodeze utilizatorul mai mult decat o face ın cazul multimii numerelor reale.

Proprietatea ce se refera la elementul neutru al adunarii vectoriale, care a con-dus la o noua constrangere asupra functiei generatoare este importanta deoareceimplica existenta imaginii nule (corespunzatoare lipsei semnalului de intensitate).Aceasta, daca este adunata unei alte imagini, o lasa pe cea din urma neschimbata.

Pe de alta parte, din punct de vedere strict al interpretarii fizice a obiectelordin domeniul de definitie al imaginilor, utilitatea practica elementului invers aladunarii este discutabila. Pentru un spatiu de imagine cu semnificatie de inten-sitate, cum ar fi RGB, este greu de definit obiectul care anuleaza intensitatea;ın aceste conditii elementul invers nu are sens. Are sens ın cazul unui spatiu deculoare simetric cum ar fi planele U si V din spatiul YUV. O alta motivatie, dedata aceasta de ordin matematic, a necesitatii elementului invers este legata deposibilitatea definirii scaderii ın concordanta cu adunarea. In cadrul procesariiimaginilor operatia de scadere este utila, de exemplu, ın cadrul definirii operato-rilor de contur; similar toate tehnicile de contrastare implica cel putin o scadere.

2.2.2 Functia generatoare – functie de compandare

Concluzionand faptele enuntate ın paragraful anterior, setul de conditii suficientepe care o functie generatoare, φ : E → F , trebuie sa le respecte pentru a generaun model neliniar practic de reprezentare si prelucrare a imaginilor este:

• Co-domeniul este F = R. In cazul ın care vom utiliza imagini ın care valorilepixelilor au semnificatie de intensitate, atunci codomeniul este F = R

+, iaradunarea nu are element invers si va fi dificil de definit scaderea.

• Functia generatoare φ este bijectiva. Daca domeniul de definitie al imaginii,E este continuu, atunci si functia va fi, implicit, continua.

14

Page 20: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Figura 2.1: Comportamentul general al unei functii generatoare si respectiv alinversei ei. Cazul reprezentat implica inexistenta elementului neutru al adunarii.Alura functiilor este data de necesitatea de a mapa un domeniu infinit (multimeaR) pe unul finit ( multimea [0,M ]).

• φ(u0) = 0. Este frecvent ca ”imaginea neagra” sa fie reprezentata de u0 = 0.Atunci: φ(0) = 0.

Comportamentul general al unei asemenea functii generatoare poate fi vazutın figura 2.1. Cea mai importanta caracteristica a acestui tip de functie estecompresia unui domeniu de latime infinita (multimea numerelor reale, sau mai des,multimea numerelor pozitive) la un domeniu de latime finita (cum este multimeaintensitatilor posibile de imagine). Pe baza acestor considerente putem spune cafunctia generatoare a unui model neliniar de prelucrare a imaginilor este o functiede compandare.

2.2.3 Functia generatoare – functie compusa

In acest moment a fost determinat setul de conditii suficiente pentru a obtinefunctii care sa genereze modele neliniare de prelucrare a imaginilor. Problemapractica ce se iveste imediat este cum se obtin aceste functii de compandare. Dinfericire cateva exemple exista si anume cele care sunt deja utilizate pentru a generamodelele neliniare existente (Jourlin – Pinoli, Patrascu, respectiv Vertan). Sprijinpentru a extinde aceasta multime ne este dat tot de matematica si anume princateva rezultate legate de compunerea functiilor. Mai precis, prin compunerea uneifunctii avand proprietatea de compandare enuntata cu o functie cu proprietatipotrivit alese se poate obtine tot o functie de compandare, care sa respectelecerintele enuntate anterior.

15

Page 21: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Un prim rezultat ce trebuie mentionat este: compunerea a doua homomor-fisme conduce tot la un homomorfism (pentru mai multe detalii vezi [92]). Maiprecis, fie ψ : E1 → E2, un homomorfism de la E1 la E2 si fie φ : E2 → F2 unhomomorfism de E2 la F2, atunci functia compusa ρ = φ ◦ ψ = φ(ψ) : E1 → F2

este un homomorfism, si anume de la E1 la F2. O conditie suplimentara ce trebuieındeplinita pentru homomorfisme ıntre spatii vectoriale este ca legile exterioare(adica multiplicarea cu un scalar real ın cazul nostru) sa aiba acelasi domeniude operatori. Ultima constrangere nu este dificil de respectat fiindca multimeascalarilor exteriori este, de obicei, multimea numerelor reale pozitive.

Pentru a aplica acest rezultat ın cazul reprezentarii imaginilor, putem folosiın locul functiei φ inversa unei functii generatoare (valida) de model neliniar deprelucrare a imaginilor, iar pentru cealalta functie, ψ, poate fi folosit un homo-morfism care mapeaza multimea numerelor reale pe ea ınsasi. Un exemplu deasemenea homomorfism poate fi gasit ın multimea transformarilor liniare [92]:

fa : R → R, fa(x) = ax,∀a = 0 (2.24)

Daca presupunem ca φ(x) respecta conditiile enuntate anterior si deci poategenera un model neliniar valid, atunci, ın urma operatiei de compunere a functiilor,functia generatoare a unui nou model neliniar se obtine ca fiind:

φa : E → R, φa(x) = φ(ax),∀a = 0 (2.25)

In practica vom impune o valoare pozitiva parametrului, a > 0, pentru a evitascaderea si inversarea semnificatiei fizice.

In mod similar putem utiliza o cascada de functii, alcatuita dintr-o transfor-mare neliniara conform cerintelor enuntate, urmata de o transformare afina caresa mapeze codomeniul pe cel dorit pentru reprezentarea imaginilor. Acest rezultateste util cand domeniul transformarii neliniare este finit, dar nu este cel utilizatde obicei ın reprezentarea imaginilor. In acest caz fie:

f : E → E1, f(x) = ax+ b , (2.26)

unde cele doua intervale, E si E1 sunt alese astfel ıncat transformarea afina folositasa fie bijectiva.

Prin compunerea acestei functii cu una, φ(x), care este bijectiva si care estecapabila sa comprime multimea numerelor reale pe un interval finit, E1, se obtineo functie generatoare de model neliniar de prelucrare a imaginilor:

φa,b : E → R, φa,b(x) = φ(ax+ b),∀a = 0,∀b (2.27)

16

Page 22: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.2. Fundamente matematice

Rezultatul obtinut ın ecuatia anterioara, (2.27), poate fi extins dincolo dedomeniul transformarilor afine. Practic orice functie bijectiva definita pe un in-terval finit E1 cu valori ıntr-un alt interval finit, E2 poate fi folosita ın compunereacu o functie de compandare. Ideea de baza este: compunerea unei functii bijectivecu o alta functie bijectiva conduce tot la o functie bijectiva. Daca una dintrefunctii are capacitatea de a companda atunci si functia rezultanta va companda.

Este totusi necesara o observatie suplimentara. In setul de conditii exprimateanterior, pentru o interpretare usoara am impus si necesitatea ca elementul neutrual modelului nou format sa ramana ın 0. Desi o constructie cu o cascada de functiibijective si cu cel putin una de compandare va conduce la o functie de compandare,se prea poate ca functia rezultanta sa deplaseze elementul neutru. Intr-o asemeneasituatie, desi se contruieste o structura algebrica de tip spatiu vectorial, definitape o multime finita si cu doua operatii ce respecta proprietatea de ınchidere, esteposibil ca din punct de vedere practic rezultatul sa nu fie util.

Utilizand compunerea functiilor si tinand cont de faptul ca putem utiliza clasede functii parametrice, ın acest moment se poate constata ca domeniul functiilorcare pot genera modele neliniare de prelucrare a imaginilor s-a extins la infinit.Diferite exemple de asemenea functii precum si modelele pe care le genereaza vorfi discutate ın sectiunile 2.3 si 2.4.

2.2.4 Metrica spatiului

Daca se utilizeaza o functie generatoare bijectiva (deci care ındeplineste rolul deizomorfism ıntre multimea numerelor reale si modelul nostru) se poate construi ometrica a modelului.

In primul rand, cu ajutorul functiei generatoare putem defini produsul scalar〈·, ·〉 : E × E �→ R ıntre doua elemente ale spatiului:

〈u, v〉 = φ(u)φ(v),∀u, v ∈ E (2.28)

Odata fixat acest produs scalar, putem transforma spatiul ıntr-unul metric(euclidian), daca definim o norma, ‖.‖E : E �→ R :

‖u‖ =√〈u, u〉 = |φ(u)|,∀u ∈ E (2.29)

Aceasta norma verifica relatia:

‖u⊕ v‖ = |φ(u) + φ(v)|,∀u, v ∈ E (2.30)

Daca se utilizeaza aceasta modalitate de definire a metricii pe spatiul neliniardefinit de functia φ, atunci acesta va fi un spatiu Euclidean. In multe aplicatii este

17

Page 23: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

necesar calculul unei distante ıntre intensitatile pixelilor pentru a determina ungrad de similaritate; din aceste motive este util de semnalat ca o functie bijectivagaranteaza existenta distantei.

2.3 Modele existente

Daca ın sectiunea precedenta am discutat despre fundamentele matematice aleconstructiei modelelor neliniare de prelucrare a imaginilor, ın acest capitol vominvestiga, pentru ınceput, cele trei modele neliniare de prelucrarea imaginilor exis-tente (Jourlin – Pinoli, Patrascu si, respectiv, Vertan). Aceasta analiza presupunediscutarea modului de generare al modelului (functional si practic) prezentareamultimii de definitie, a legilor operationale precum si a celor mai importante pro-prietati.

2.3.1 Modelul Jourlin – Pinoli

Desi ın literatura au existat referinte similare anterioare, primii care au propus unmodel complet din punct de vedere matematic al unui asemenea spatiu de prelu-crare neliniara a imaginilor au fost Jourlin si Pinoli [60]. In constructia acestuimodel, cei doi autori au pornit de la necesitatea de a defini o operatie de adunarepe perechi omogene de tonuri de gri; aceasta adunare trebuia sa fie consistentacu un context matematic ce descrie un fenomen fizic real si sa genereze suficienteproprietati matematice pentru a construi o structura algebrica promitatoare dinpunct de vedere practic. Punctul de plecare a constat ın examinarea metodelorpropuse pentru adunarea a doua imaginii si ulterior a multiplicarii unei imaginicu un scalar.

Modelul fizic care sta la baza constuctiei acestui model este cel al luminiitransmise prin medii transparente. De fapt, dupa cum vom vedea mai tarziu,ıntregul model este generat pornind de la adunarea vectoriala care replica for-mula transmitantei echivalente a unei cascade de doua medii transparente. O altarealizare majora a acestui model (care de fapt este mostenita de toate modeleleneliniare) este compatibilitatea cu sistemul vizual uman, mai precis cu legea loga-ritmica propusa de Weber si Fechner [108], [33]. Modelul vizual uman propus deWeber afirma ca la o crestere liniara a intensitatii luminoase observabile stimululuman raspunde cu o crestere logaritmica.

In modelul logaritmic propus, intensitatea unei imagini este modelata completde nivelul de gri asociat (notat aici cu u, spre deosebire de f care este intensitateaın spatiul de baza). Nivelele de gri sunt realizari ale unei functii definite pe unsuport spatial finit si cu valori ıntr-un interval real, de exemplu [0,M ], unde

18

Page 24: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

M > 0. Aceasta reprezentare a nivelelor de gri este obtinuta prin negativareavariantei originale: nivelul 0 exprima luminanta maxima acceptata, ın timp ce Deste asociat ıntunericului absolut; mai concis, transformarea este:

u = D − f . (2.31)

In acest spatiu logaritmic suma a doua nivele de gri u si v se calculeaza conformrelatiei:

u⊕ v = u+ v − uv

M(2.32)

Suprafata generata de suma tuturor combinatiilor posibile dintr-un spatiu[0, 255] poate fi vazuta ın figura 2.2.

Figura 2.2: Modelul Jourlin – Pinoli. Rezultatul adunarii conform modeluluiJourlin – Pinoli a tuturor combinatiilor posibile de intensitati ıntregi dintre 0 si255.

Pentru determinarea formulei ınmultirii unui element din spatiul vectorial cuun scalar procedam prin inductie pornind de la adunarea repetata:

2 ⊗ u = u⊕ u = u+ u− uu

M= M −M

(1 − u

M

)2(2.33)

Pasul urmator este sa calculam rezultatul multiplicarii cu un scalar natural,n:

n⊗ u = M −M(1 − u

M

)n(2.34)

Prin generalizare, adica prin echivalarea multimii scalarilor utilizati (care panaacum a fost multimea numerelor naturale) cu cea a realilor pozitivi, ınmultirea

19

Page 25: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

0 50 100 150 200 2500

50

100

150

200

250

200

128

64

Figura 2.3: Modelul Jourlin – Pinoli. Rezultatul adunarii tuturor valorilor cu 64,128, respectiv 200. Forma generala este a unei adunarii clasice scalate pentru aevita depasirile.

unui nivel de gri cu o constanta reala α este:

α⊗ u = D −D(1 − u

D

)α. (2.35)

Functia homorfica care sta la baza modelului (si care poate fi vazuta ın figura2.5) este:

φJ(x) = − log(1 − x). (2.36)

Data fiind asimetria domeniului de definitie si, respectiv, lipsa de simetriea functiei generatoare, modelul Jourlin – Pinoli nu accepta element invers pen-tru adunarea vectoriala. In concluzie acesta nu respecta o structura de spatiuvectorial. Aceasta trasatura este normala deoarece autorii au dorit sa modelezetransmitantele mediilor transparente, iar ın aceste conditii nu se poate oferi inter-pretare unei valori negative. In consecinta nu se poate defini operatia de scadereca fiind derivata din cea de adunare.

Pe de alta parte, respectand conditiile prezentate ın capitolul precedent, asacum a fost demonstrat ın [61] multimea este ordonata (ın sensul ca se poate definio relatie de ordine, ≤. In aceste conditii se poate defini scaderea conform:

u� v = Mu− v

M − v, (2.37)

unde este obligatoriu ca u ≤ v.

20

Page 26: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

0 50 100 150 200 2500

50

100

150

200

25064

2.5

1.5

16

1

0.5

Figura 2.4: Modelul Jourlin – Pinoli. Rezultatul ınmultirii tuturor valorilor dinintervalul [0,255] cu un set de scalari : 0.5, 1, 1.5, 2.5, 16, 64. Observati plafonareape masura ce constanta creste.

0 50 100 150 200 250 3000

500

1000

1500

Figura 2.5: Isomorfismul generator al modelului Jourlin – Pinoli.

Ca si proprietate practica trebuie sa mentionam ca utilizarea operatiilor des-crise de ecuatiile (2.32) si (2.35) conduce la cresterea vizibilitatii obiectelor ınzonele ıntunecate si, simultan, previne saturarea pixelilor din zonele puternic lu-minoase. Aceste calitati, dupa cum accentuaza si Deng, Cahil si Tobin ın [29],sunt deosebit de utile ın prelucrarea imaginilor provenite din radiografii.

21

Page 27: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

2.3.2 Modelul Patrascu

Spre deosebire de modelul Jourlin – Pinoli, descris ın sectiunea precedenta, mode-lul logaritmic, care le-a urmat, anume cel propus de Patrascu, [87], [86], pornestede la un set de cerinte matematice. Acest model logaritmic este construit ın jurulintervalului simetric (−1, 1). Intervalul original de definitie al unei imaginii, [0,M ]este proiectat liniar ın acest interval tinta cu ajutorul relatiei:

u =2M

(x− M

2

)(2.38)

unde x ∈ [0,M ], iar u ∈ (−1, 1).Operatia de adunare ıntre doua nivele de gri, u, v, este definita ca:

u⊕ v =u+ v

1 + uv. (2.39)

Suprafata generata de perechile echivalente din (−1, 1) ale perechilor din [0, 255],precum si adunarea tuturor elementelor cu cateva elemente cheie pot fi urmariteın figurile 2.6 si respectiv 2.7.

Figura 2.6: Modelul Patrascu. Rezultatul adunarii conform modelului Patrascu atuturor combinatiilor posibile de intensitati ıntregi dintre 0 si 255.

Fiindca modelul Patrascu este ın mod natural definit pe un spatiu simetric,adunarea accepta element invers. In acest caz, scaderea este usor de definit:

u� v = u⊕ v− =u− v

1 − uv. (2.40)

Inmultirea unui nivel de gri, u, cu un scalar, α ∈ R, este definita conform:

α⊗ u =(1 + u)α − (1 − u)α

(1 + u)α + (1 − u)α. (2.41)

22

Page 28: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

200

128

64

Figura 2.7: Modelul Patrascu. Rezultatul adunarii tuturor valorilor (echivalenteın (−1, 1)) cu 64, 128, respectiv 200. Se observa comportamentul diferit de cel almodelului Jourlin – Pinoli pe partea pozitiva.

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1−1

−0.8

−0.6

−0.4

−0.2

0

0.2

0.4

0.6

0.8

1

12

64

2.5 1.5

0.5

Figura 2.8: Modelul Patrascu. Rezultatul ınmultirii tuturor valorilor (echivalen-tele lor) din intervalul [0,255] cu un set de scalari : 0.5, 1, 1.5, 2.5, 16, 64. Se observacomportamentul similar cu cel al modelului Jourlin – Pinoli pe partea pozitiva.

Functia izomorfica care sta la baza modelului este :

φP (x) =12

log1 + x

1 − x. (2.42)

23

Page 29: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

Reprezentare ei grafica este prezentata ın figura 2.9.

−1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1−3

−2

−1

0

1

2

3

Figura 2.9: Isomorfismul generator al modelului Patrascu.

Spre deosebire de predecesorii sai ın constructia modelului Patrascu un rolimportant ıl joaca metrica. In primul rand, pe baza functiei generatoare se poatedefini produsul scalar:

〈u, v〉 = φP (u)φP (v),∀u, v ∈ E (2.43)

Ulterior se poate defini norma Euclidiana:, ‖.‖E : E �→ R :

‖u‖ =√〈u, u〉 = |φP (u)|,∀u ∈ E (2.44)

2.3.3 Modelul Vertan

Spre deosebire de modelele precedente propuse, modelul Vertan, [107], [42], [77],nu mai utilizeaza o functie logaritmica pentru generare. Astfel, acest model esteunul pseudo-logaritmic.

Modelul Vertan are un comportament similar cu cel al modelului Jourlin –Pinoli. O prima deosebire este ca ın acest caz modelul este construit ın jurulintervalului asimetric [0, 1). Intervalul original de definitie al unei imaginii, [0,M ]este proiectat liniar ın acest interval tinta cu ajutorul relatiei:

u =x

M + 1(2.45)

unde x ∈ [0,M ] iar u ∈ [0, 1).

24

Page 30: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

Figura 2.10: Modelul Vertan. Rezultatul adunarii conform modelului Vertan atuturor combinatiilor posibile de intensitati ıntregi dintre 0 si 255.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

200

128

64

Figura 2.11: Modelul Vertan. Rezultatul adunarii tuturor valorilor (echivalenteleın (0, 1)) cu 64, 128 respectiv 200. Se observa comportamentul similar cu cel almodelului Jourlin – Pinoli .

Operatia de adunare ıntre doua nivele de gri, u, v, este definita ca:

u⊕ v = 1 − (1 − u)(1 − v)1 − uv

(2.46)

Suprafata generata de perechile echivalente din [0, 1) ale perechilor din [0, 255],

25

Page 31: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.3. Modele existente

precum si adunarea tuturor elementelor cu cateva elemente cheie pot fi urmariteın figurile 2.10 si respectiv 2.11.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

64

12

2.5

1.5 0.5

Figura 2.12: Modelul Vertan. Rezultatul ınmultirii tuturor valorilor (echivalentelelor) din intervalul [0,255] cu un set de scalari: 0.5, 1, 1.5, 2.5, 16, 64. Se observacomportamentul similar cu cel al modelului Jourlin – Pinoli.

Modelul Vertan este asimetric, caz ın care adunarea vectoriala nu are elementinvers. In contrapartida, autorul a propus urmatorul mod de a defini scaderea,[107]:

u� v = φ−1V (φV (u) − φV (v)) , (2.47)

unde este obligatoriu ca u ≥ v.

0 0.2 0.4 0.6 0.8 10

50

100

150

200

250

Figura 2.13: Izomorfismul generator al modelului Vertan.

26

Page 32: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.4. Modele neliniare noi de prelucrare a imaginilor

Inmultirea unui nivel de gri, u, cu un scalar, α ∈ R, este definita conform:

α⊗ u =αu

1 + (α− 1)u(2.48)

Functia izomorfica ce sta la baza modelului este prezentata ın figura 2.13.Analitic forma ei este:

φV (x) =x

1 − x. (2.49)

Daca pentru celelalte modele mai vechi analiza structurii algebrice a fostdezbatuta pe larg, poate din motive de recenta, acest exercitiu nu a fost publicatpentru modelul Vertan. Totusi este relativ usor de identificat structura de con amodelului. Conditia neındeplinita pentru a obtine o structura de spatiu vectorialeste simetria functiei generatoare. Daca se doreste obtinerea unei structuri despatiu vectorial (adica adaugarea proprietatii de element invers adunarii), functiageneratoare poate fi extinsa la forma:

φextV : (−1, 1) → R, φext

V (x) =x

1 − |x| . (2.50)

Modelul Vertan extins va avea un comportament similar cu modelul Patrascuspre deosebire de modelul original care imita comportamentul modelului Jourlin– Pinoli. In ambele cazuri avantajul asupra predecesorilor sai este complexitateamai scazuta a operatiilor, ceea ce implica o eficienta mai mare ın cazul unei rulariın timp real.

2.4 Modele neliniare noi de prelucrare a imaginilor

Exercitiul de algebra dezvoltat ın sectiunea 2.2 are mai multe utilitati practice.Prima dintre ele, dupa cum deja am aratat ın paragrafele precedente ale acestuicapitol, permite o analiza unitara a modelelor existente. Pe langa aceasta, de multmai mare importanta este faptul ca se deschide drumul catre noi modele neliniarede prelucrare a imaginilor sau catre parametrizarea modelelor existente. In faptacel mic exercitiu traseaza limitele ın care un utilizator ısi poate alege liber functiageneratoare astfel ıncat sa obtina modelul neliniar cel mai potrivit pentru aplicatiade rezolvat.

2.4.1 Modelul trigonometric

Un prim exemplu de nou model neliniar de prelucrare a imaginilor se obtine uti-lizand drept functie generatoare functia trigonometrica ”tangenta”. Reamintim

27

Page 33: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.4. Modele neliniare noi de prelucrare a imaginilor

ca definitia ei formala este:

φ :(−π

2,π

2

)→ R, φ(x) = tan(x) =

sin(x)cos(x)

(2.51)

In cazul utilizarii acestei functii drept generatoare a unui nou model, atuncidomeniul de definitie al imaginilor (care aici este ales a fi simetric) trebuie trans-latat,

(−M2 ,−M

2

)ın intervalul

(−π2 ,

π2

). Daca se doreste ramanerea la domeniul

intial atunci se poate utiliza functia:

φM :(−M

2,M

2

)→ R, φM (x) = tan(

πx

M) (2.52)

Este evident ca aceasta a doua functie se obtine compunand functia trigono-metrica originala cu transformarea liniara:

f :(−M

2,M

2

)→

(−π

2,π

2

), f(x) =

πx

M(2.53)

In continuare, pentru simplitatea explicatiei, vom considera functia trigono-metrica de baza, eventualele modificari de domeniu lasandu-le la latitudinea uti-lizatorului. Este evident ca functia aleasa respecta toate conditiile formulate laınceputul acestui capitol (inclusiv domeniul simetric de definitie), avand astfelposibilitatea de a genera un model neliniar valid de prelucrare a imaginilor, custructura de spatiu vectorial. In continuare ıl vom denumi pe acesta modelultrigonometric de prelucrare a imaginilor.

Adunarea a doua nivele de intensitate se poate defini ca:

u⊕ v = arctan (tan(u) + tan(v)) (2.54)

Cateva exemple de adunare conform ecuatiei (2.54) pot fi vazute ın figura 2.14.Inmultirea unei intensitati cu un scalar real poate fi efectuata conform:

α⊗ u = arctan (α tan(u)) (2.55)

O reprezentare grafica a acestei operatii poate fi vazuta ın figura 2.15.Din nefericire atat ecuatia (2.54), cat si ecuatia (2.55) nu pot fi simplificate prin

calcul analitic. Un asemenea model, ın afara cazului ın care formele particulare alesemnalelor asociate rezultatelor ıl recomanda ca cel mai potrivit pentru o aplicatie,ısi poate dovedi utilitatea ın mod expres ın cazul utilizarii pe un spatiu de culoarede tip H din HSV, ın care nuanta are semnificatie de unghi.

28

Page 34: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

0 50 100 150 200 250 30060

80

100

120

140

160

180

200

220

240

260

200

128

64

Figura 2.14: Modelul trigonometric. Rezultatul adunarii tuturor valorilor (echiva-lentele ın [0− π

2 ) cu 64, 128, respectiv 200. In exemplul prezentat am utilizat doarpartea pozitiva a modelului.

0 50 100 150 200 2500

50

100

150

200

250

0.5

1

1.5

2.5

16

Figura 2.15: Modelul trigonometric. Rezultatul ınmultirii tuturor valorilor(echivalentele lor) din intervalul [0,255] cu un set de scalari : 0.5, 1, 1.5, 2.5, 16, 64.

2.5 Modele liniare pe portiuni

In aceasta sectiune vom investiga o problema generala. Toate modelele cunoscuteau acelasi comportament non-trivial. Acesta conduce la problema practica a lipsei

29

Page 35: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

de eficienta ın implementare, adica a unui timp mare pentru calculul propriu-zis.Daca cineva va examina formele legilor operationale ın modelele propuse, va gasiformule complicate. Prin urmare are sens sa ıncercam sa construim un model deaproximare liniara pe segmente.

Pentru punerea ın aplicare, vom alege o functie generatoare liniara pe portiuni,care sa respecte normele stabilite ın sectiunea 2.2. Sa consideram o functie cu n

segmente de dreapta (cum este cea din figura 2.16), definita conform:

φL(x) =

⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩

a1x+ b1, x ∈ [x1, x2)a2x+ b2, x ∈ [x2, x3). . . . . .

akx+ bk, x ∈ [xk, xk+1). . . . . .

anx+ bn, x ∈ [xn, xn+1)+∞, x ∈ [xn+1,+∞)

(2.56)

In ecuatia (2.56) se presupune ca valorile x1 ≤ x2 ≤ · · · ≤ xn+1 reprezintavalori ın interiorul multimii E. Suplimentar trebuie sa impunem capete de in-terval identice: x1 = inf(E) si respectiv, xn+1 = sup(E). Setul de valorix2, x3, . . . , xn−1, xn formeaza punctele de frangere (sau rupere) ale functiei care,totodata sunt si parametrii liberi ai contructiei. In aceeasi categorie a parametrilorse ıncadreaza si pantele segmentelor de dreapta: a1, a2, . . . , an.

Valorile de translatie pentru fiecare dreapta sunt deduse din conditia de con-tinuitate impusa functiei generatoare. In cazul unei multimi de definitie de forma[0,M ], parametrii b1, . . . , bn se afla dupa formula:

b1 = 0

b2 = (a1 − a2)x2 + b1

. . . . . .

bk = (ak−1 − ak)xk + bk−1

. . . . . .

(2.57)

In aceste conditii, inversa functiei generatoare are forma analitica:

30

Page 36: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

φ−1L (y) =

⎧⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎩

y−b1a1

, y ∈ [y1, y2)y−b2a2

, y ∈ [y2, y3). . . . . .y−bkak

, y ∈ [yk, yk+1). . . . . .y−bn

an, y ∈ [yn, yn+1)

xn+1y, ∈ [yn+1,+∞)

(2.58)

unde punctele de frangere sunt date de catre relatiile:

y1 = a1x1 + b1 = 0

y2 = a2x2 + b2

. . . . . .

yk = akxk + bk

. . . . . .

(2.59)

Ultimul punct corespunde limitei superioare a domeniului initial de definitie M .De pilda, ın cazul unei variante cu 3 segmente, functia generatoare si functia

inversa, pentru un domeniu de definitie de forma [0,M ], se pot scrie compactastfel:

φL(x) =

⎧⎪⎨⎪⎩a1x, x ∈ [0, x2)a2x+ (a1 − a2)x2, x ∈ [x2,M)+∞, x ∈ [M,+∞)

(2.60)

respectiv

φ−1L (y) =

⎧⎪⎨⎪⎩ya1, y ∈ [0, a1x2)

y−(a1−a2)x2

a2, y ∈ [a1x2,M)

M, y ∈ [M,+∞)

(2.61)

Pentru determinarea legilor de adunare si multiplicare cu un scalar cel maiutil este sa se ınlocuiasca formulele de definitie a functiei generatoare, respectiv afunctiei inverse (date de ecuatiile (2.56) si (2.58)) ın ecuatia (2.10) si respectiv, ınecuatia (2.11). Chiar si ın cazul unei implementari practice, este mai bine sa sefoloseasca aceasta solutie, deoarece o scriere directa a formulei finale, pentru uncaz cu n segmente de dreapta, conduce la o functie cu acolada cu nu mai putin den2 ramuri.

31

Page 37: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

2

4

6

8

10

12

14

16

Figura 2.16: Modelul liniar pe portiuni. Functiile generatoare pentru cazul cu 3(desenat cu linie continua) si respectiv 5 segmente (desenat cu linie ıntrerupta).

Figura 2.17: Modelul liniar pe portiuni cu 3 segmente. Rezultatul adunarii con-form acestui model a tuturor combinatiilor posibile de intensitati ıntregi ıntre 0 si255.

2.5.1 Determinarea parametrilor

Modelul propus este parametric cu a1, a2, . . . , an, x1, x2, . . . , xn, xn+1 parametri.Pentru determinarea lor exista mai multe solutii. Decizia care dintre aceste solutii

32

Page 38: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

Figura 2.18: Modelul liniar pe portiuni cu 5 segmente. Rezultatul adunarii con-form acestui model a tuturor combinatiilor posibile de intensitati ıntregi ıntre 0 si255.

sa fie folosita se ia ın functie de particularitatea aplicatiei dezvoltate.O prima observatie este ca, pentru aproximare se pot folosi mai multe criterii

de eligibilitate. Cel mai simplu este ca maximul erorii de aproximare sa fie sub unprag fixat sau, putin mai general, sa se obtina o valoare minima a erorii maxime(asa numitul criteriu min-max, [64]). Alternativa este utilizarea unei erori inte-grale, bazate pe o distanta (suma distantelor patratice, suma valorilor absolute adistantelor, etc.) ıntre functia tinta si functia liniara pe portiuni.

Cea mai evidenta solutie de determinarea a parametrilor este sa se aleaga unmodel tinta dintre cele cunoscute (Jourlin – Pinoli, Patrascu sau Vertan) si sa seaproximeze functia generatoare a acestuia cu o functie liniara pe portiuni. Aceastaproblema a aproximarii unei curbe cu segmente de dreapta a fost dezbatuta pe largın literatura de specialitate, [57], [99], [59] [30], [58]. Rezolvarea nu este triviala pecum s-ar crede la prima vedere. In cazul general se doreste determinarea inclusiv anumarului de partitii. Totusi daca se fixeaza numarul de segmente, atunci doar seestimeaza punctele de frangere, iar pentru fiecare segment se calculeaza parametriidreptei. In oricare din aceste situatii, algoritmul determina punctele de frangereiterativ, iar complexitatea tipica a solutiei este O(M logM), [50].

Exista si alternative mai simple. In capitolul precedent am aratat ca nu estenevoie neaparat de regresie, pentru ca modelele cunoscute descriu doar o micaparte din gama functiilor valabile si noi putem alege o solutie diferita. Avemun anumit grad de libertate ın alegerea parametrilor stabiliti. In aceasta vari-

33

Page 39: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

200

128

64

Figura 2.19: Modelul liniar pe portiuni cu 3 segmente. Rezultatul adunarii tuturorvalorilor cu 64, 128, respectiv 200.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

64

128

200

Figura 2.20: Modelul liniar pe portiuni cu 5 segmente. Rezultatul adunarii tuturorvalorilor cu 64, 128, respectiv 200.

anta, vom alege solutia cea mai simpla din punct de vedere al implementarii.Consideram ca fiind de mai mare importanta practica alegerea parametrilora1, a2, . . . , an ca puteri ale lui 2, si, prin urmare, implementarea modelului folosestetranslatia de biti ın loc de multiplicare si mai ales ın loc de costisitoarea divizare.In aceasta abordare doar abscisele punctelor de frangere , x1, x2, . . . , xn, xn+1 suntparametrii liberi. Ca si ın cazul precedent putem determina parametrii dupa mini-mizarea erorii patratice medii fata de un model tinta, sau prin criteriul min-max.

Doua posibile functii generatoare determinate prin aproximarea modelului Ver-

34

Page 40: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.5. Modele liniare pe portiuni

tan (pentru 3 si 5 segmente), sunt afisate ın figura 2.16. Graficele corespunzatoarefigurilor 2.10, 2.11, respectiv 2.12, pentru cele doua cazuri propuse pot fi vazuteın figurile urmatoare. Astfel ın figurile 2.17 si 2.18 pot fi vizualizate suprafetelegenerate prin sumarea tuturor celor 256 de valori ıntregi din intervalul [0,256],rescalat la [0,1]. In urmatoarele doua figuri, 2.19, 2.20 sunt prezentate catevasectiuni din aceste suprafete. In continuare, ın figurile 2.21 si 2.22 se prezintaformele obtinute ın cazul multiplicarii cu un scalar.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

1

0.5

1.5 2.5

12

64

Figura 2.21: Modelul liniar pe portiuni cu 5 segmente. Rezultatul ınmultirii tu-turor valorilor din intervalul [0,255] cu un set de scalari : 0.5, 1, 1.5, 2.5, 16, 64.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.2

0.4

0.6

0.8

164

12

2.5

1.5

0.5

Figura 2.22: Modelul liniar pe portiuni cu 5 segmente. Rezultatul ınmultirii tu-turor valorilor din intervalul [0,255] cu un set de scalari : 0.5, 1, 1.5, 2.5, 16, 64.

Setul de figuri prezentat anterior arata ca, pe masura ce se creste numarul

35

Page 41: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.6. Parametrizarea modelelor neliniare

de segmente, aproximarea este mai buna, graficele obtinute ın urma aplicarii for-mulelor legilor modelului se apropie de forma celor din modelul de referinta.

2.6 Parametrizarea modelelor neliniare

O contributie importanta rezultata ın urma analizei matematice efectuate ınsectiunea 2.2 este extinderea numarului de functii capabile sa genereze modeleneliniare de prelucrare a imaginilor. Mai mult, ın sectiunea 2.2.3 am identificat ometoda clara, ınsotita de exemple, prin care se pot obtine asemenea noi functii.Pentru mai multa precizie vom nota ca am aratat ca prin compunerea unei functiigeneratoare cu o functie (sau cu o cascada de functii) se poate obtine ın conti-nuare un model neliniar valid de prelucrare a imaginilor. Daca functiile din aceastacascada sunt alese aleator atunci se poate pierde utilitatea practica rezultatului.Exemplul tipic se refera la pozitia elementului neutru care pe de o parte se poatedeplasa, iar pe de alta (si anume din motive de interpretarea rezultatului) trebuiepastrat ın zero.

In aceasta sectiune vom porni de la o functie generatoare cunoscuta (si anumecea asociata modelului Vertan - modelul intitulat pseudo-logaritmic) si prin com-punerea cu alta, aleasa dintre membrii unei clase de functii parametrice, vomobtine un nou model. In aceasta ilustrare am ales modelul Vertan pentru simpli-tatea functiei generatoare. Fiindca exista o clasa de functii parametrice care poatefi tratata unitar, o privire de ansamblu asupra ıntregii constructii va constata for-marea unui model neliar parametric de prelucrare si reprezentare a imaginilor.

Reamintim ca pentru modelul Vertan (pseudo-logaritmic) de prelucrare a ima-ginilor domeniul de definitie al unui pixel este [0, 1), iar functia generatoare, este:

φV (x) =x

1 − x

Inversa functiei generatoare este:

φ−1V : [0,+∞) → [0, 1), φ−1(y) =

y

1 + y(2.62)

Fie clasa de functii parametrice fm(x) unde:

fm : [0, 1) → [0, 1), fm(x) = xm,∀m ∈ [0,+∞) (2.63)

Vom construi functia compusa φm(x) astfel:

φm : [0, 1) → [0,+∞), φm = φ ◦ fm = φ(xm) (2.64)

Forma explicita a unei asemenea functii este:

φm(x) =xm

1 − xm, (2.65)

36

Page 42: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.6. Parametrizarea modelelor neliniare

0 0.2 0.4 0.6 0.8 10

50

100

150

200

250

0.1

0.5

1 2

Figura 2.23: Functia generatoare a modelului parametric pentru diferite valori aleparametrului m: 0.1 (linie continua, rosie, central), 0.5 (linie continua neagra), 1(linie ıntrerupta, albastra) si 2 (linie punctata, gri, la exterior).

iar a functiei inverse este:

φ−1m (y) = m

√y

1 + y= exp

(1m

logy

1 + y

)(2.66)

Dupa cum se poate vedea si ın figura 2.23, toate functiile ce formeaza clasa defunctii parametrice φm au aceeasi alura diferind doar viteza de crestere.

Pentru determinarea formulelor analitice ale celor doua legi cineva va porni dela ecuatia (2.10) pentru adunare vectoriala, caz ın care va obtine:

u⊕ v =φ−1m (φm(u) + φm(v)) =

= m

√um

1−um + vm

1−vm

1 + um

1−um + vm

1−vm

= m

√um + vm − 2(uv)m

1 − (uv)m=

= exp(

1m

logum + vm − 2(uv)m

1 − (uv)m

) (2.67)

si respectiv de la ecuatia (2.11) pentru multiplicare cu un scalar:

α⊗ u =φ−1m (αφm(u)) =

= m

√αum

1−αum

1 + αum

1−αum

= m

√αum

1 + (α− 1)um=

=u exp(

1m

logα

1 + (α− 1)um

) (2.68)

37

Page 43: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.6. Parametrizarea modelelor neliniare

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.1

0.5

1

2

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10.75

0.8

0.85

0.9

0.95

1

2 1

0.1

0.5

a) b)

Figura 2.24: Adunarea tuturor valorilor ıntregi din intervalul [0, 255] cu 64 (sub-graficul a) si cu 200 (subgraficul b) ). Adunarea a fost efectuata conform modeluluiparametric obtinut pentru urmatoarele valori ale parametrului m: 0.1 (linie con-tinua, rosie), 0.5 (linie continua, neagra), 1 (linie ıntrerupta, albastra) si 2 (liniepunctata, gri).

Exemple de adunare a tuturor elementelor asociate unui set de 256 de inten-sitati luminoase cu 64 (stanga), respectiv cu 200 (dreapta) pentru diferite valoriale parametrului m pot fi vazute ın cele doua subgrafice ale figurii 2.24. In modsimilar exemple de scalari ale tuturor valorilor de intensitate considerate cu factorde scalare 0.5 (stanga) respectiv cu factor 2 (dreapta) pot fi vazute ın figura 2.25.

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

2 1

0.1 0.5

0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 10

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.1

0.5

1

2

a) b)

Figura 2.25: Multiplicarea tuturor valorilor ıntregi din intervalul [0, 255] cu 0.5(subgraficul a) si cu 2 (subgraficul b) ). Multiplicarea cu un scalar a fost efectuataconform modelului parametric obtinut pentru urmatoarele valori ale parametru-lui m: 0.1 (linie continua, rosie), 0.5 (linie continua neagra), 1 (linie ıntrerupta,albastra) si 2 (linie punctata, gri).

38

Page 44: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

2.6. Parametrizarea modelelor neliniare

In dezvoltarea prezentata ın acesta sectiune, daca se va utiliza o valoare de1 pentru parametrul m atunci se va obtine modelul Vertan. Dupa cum se poatevedea acesta ocupa pozitia centrala ın modelul parametric dezvoltat. Daca mul-tiplicarea cu un scalar calculata pentru un parametru neunitar poate fi cumvasimilara cu multiplicarea cu un alt scalar conform modelului initial, ın mod certcurbarea introdusa ın partea inferioara ın cadrul sumei nu poate fi obtinuta cumodelul initial. Aceasta trasatura poate fi extrem de utila ın cazul unei aplicatiipractice care are de a face cu imagini achizitionate ın conditii de lumina redusa, cazın care partea inferioara are un raport semnal zgomot mult mai mic decat restulimaginii si poate necesita un tratament deosebit. Un alt exemplu al importanteipractice al unui asemenea comportament poate fi evidentiat pentru o aplicatie decrestere a gamei dinamice a imaginilor. Curbarea din partea inferioara ıntr-unsens sau altul poate conduce la o densitate mai mare sau mica de valori ın parteainferioara a gamei ceea ce, ın mod clar, poate fi extrem de util.

39

Page 45: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 3

Camere fotografice digitale

Daca vom cauta o definitie a termenului de fotografie vom afla ca ”este un procesde formare de imagini sub actiunea luminii”. Razele de lumina sunt reflectate deobiecte si sunt ınregistrate pe medii sensibile ın timpul unei expuneri. Procesul deachizitie poate fi unul mecanic, chimic sau electronic cu ajutorul unor dispozitivenumite camere fotografice.

Inceputurile fotografiei se pierd undeva ın Evul Mediu. Se pare ca pictorii re-nascentisti foloseau camere obscure ın momentul compozitiei. Dezvoltarea tehniciia adus aparatul fotografic digital. Daca ın secolul XIX1 achizitia imaginii sedesfasura cu ajutorul unor procese chimice iar imaginile erau alb-negru, secolulXX aduce fotografia color.

Dezvoltarea exceptionala a sistemelor digitale si a stiintei prelucrarii sem-nalelor digitale din a doua jumatate a secolului XX a reprezentat o tentatie preamare pentru producatorii de camere. Astfel la sfarsitul secolului XX mari pro-ducatori de camere fotografice pe film, cum ar fi Sony, Kodak, Canon, Nikon,Panasonic ıncep sa faca pasul spre camere digitale. In momentul introducerii lor,calitatea pozelor digitale era sub cea a filmelor fotografice, iar pretul unei cameredigitale era mai mare decat al echivalentei pe film, dar costul suplimentar aproapenul al pozelor si perspectivele de dezvoltare au dus la anunturile producatorilorde a ınceta constructia de camere pe film. Viitorul era al camerelor digitale.

Scopul acestui capitol este de a introduce notiunile de baza legate deconstructia si functionarea camerelor fotogarafice digitale pentru ca, ın capitoleleurmatoare sa putem explica mai eficient metodele dezvoltate.

In paginile urmatoare vor fi prezentate, pe scurt, modelul general al uneicamere fotografice digitale, componentele sistemului optic, se va descrie proce-

1Din [1] putem afla ca prima fotografie a fost realizata ın 1827 de catre inventatorul francez

Nicephore Niepce.

40

Page 46: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.1. Modelul unei camere digitale

sul de achizitie si se va discuta despre etapele de procesare digitala a imaginilornecesare unor reprezentari fidele a scenelor naturale. In final se va analiza mode-larea abstracta a unei camere digitale prin functia sa de raspuns si respectiv despremodalitati de estimare a acesteia.

3.1 Modelul unei camere digitale

De obicei, un sistem de achizitie ce implica trecerea de la un spatiu analogicla unul digital contine un pas de pre-procesare a semnalului ce are drept scopadaptarea lui la intrarea propriu-zisa, un pas de conversie analog-digitala si unpas de post-procesare a semnalului. Daca sistemul este inteligent, toate operatiilesunt comandate de catre un procesor, care, ın plus, gestioneaza si interfata cuutilizatorul. Camera de fotografiat digitala este un asemenea sistem. Schema eibloc se poate vedea ın figura 3.1.

Figura 3.1: Schema simplificata a unei camere digitale.

Sistemul de lentile are drept obiect focalizarea imaginii (a subiectului de in-teres) pe senzorul de imagine. Captarea (transformarea semnalului optic ın semnalelectric) propriu-zisa a imaginii se face cu un grup de fotodetctori. Imaginea subforma electrica este manipulata de catre un procesor pentru a putea fi redata peun dispozitiv de afisare.

41

Page 47: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.1. Modelul unei camere digitale

3.1.1 Tipuri de camere digitale

In functie de blocurile existente si de calitatea componentelor se pot determinamai multe variante de clasificare a camerelor digitale. Cea mai folosita varianta declasificare se bazeaza pe diferentele existente ın modul ın care imaginea curenta,ınainte de achizitie, este prezentata utilizatorului. Conform acestei clasificari, ınmod traditional, camerele digitale, se ımpart ın doua categorii: SLR si compacte.Recent a aparut o varianta intermediara, bazata pe standardul Micro Thirds.

Camere profesionale - SLR

Pentru camerele de tip SLR2 imaginea din vizor este identica cu imaginea, nepre-lucrata digital, vizibila prin lentila principala a camerei. Acestea sunt aparate maiperformante. O schema simplificata a unei asemenea camere de tip SLR poate fivazuta ın figura 3.2.

Figura 3.2: Sectiune transversala printr-o camera de tip SLR care prezinta drumulluminii pana ın dreptul vizorului. Lumina trece prin ansamblul de lentile (1), estereflectata de o oglinda (2) si focalizata pe un ecran opac (5). Cu ajutorul uneilentile ce comprima imaginea (6) si al unei penta-prisme ce o reflecta (7) imagineaapare ın vizor (8). Cand o imagine este achizitionata, lentila se misca ın directiasagetii, declansatorul planului focal (3) se deschide si imaginea este proiectatape senzorul de imagine (4) exact ın acelasi mod ın care este focalizata pe ecran.Figura preluata din [1].

2SLR este acronimul de la Single Lens Reflex- camera cu lentila si cu o singura reflexie.

42

Page 48: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.2. Sistemul optic de lentile

Particularitatea sistemului optic este cea care este definitorie pentru acest tipde camera. Penta-prisma si calea luminii ocupa mult spatiu, ceea ce ımpiedicaminiaturizarea. Din acest motiv este suficient spatiu pentru introducerea unuisenzor de arie mare ceea ce ofera un bun raport semnal-zgomot. Acesta este unalt pas spre o performanta mai ridicata.

Camere de tip compact

Definitorie pentru camerele de tip compact este imaginea din vizor care este fie oimagine digitala obtinuta prin prelucrari similare cu cele necesare obtinerii uneipoze, fie o imagine obtinuta printr-un sistem optic paralel cu cel utilizat pentruexpunere. Eroarea (diferenta ıntre imaginea prezentata ın vizor si cea obtinutaprin sistemul optic principal) denumita eroare de paralaxa, ın acest al doilea caz,este semnificativa, [55].

Aceste camere pot contine componente miniaturizate, dimensiunile reduse fiindun atu al lor.

Tabelul 3.1, preluat din [11], rezuma principalele avantaje, dezavantaje precumsi principalele diferente ıntre cele doua tipuri fundamentale de camere fotograficedigitale.

3.2 Sistemul optic de lentile

Sistemul de achizitie al imaginilor utilizand camere digitale presupune transfor-marea luminii color ın semnal digital. In camera se efectuaza un set de procesariale semnalelor astfel ıncat sa se ajunga la un rezultat satisfacator al imaginii finale.Primul set de procesari este unul optic. Acesta este realizat de catre sistemul delentile. De multe ori, desi pare simplu, sistemul de lentile este cea mai scumpacomponenta a unei camere digitale.

Influenta sistemului optic asupra calitatii pozei are doua consecinte directe:rezolutia reala a pozei si aberatiile geometrice. O lentila, ın mod invariabil, esteun filtru trece jos; daca frecventa de taiere a acestuia este mai mica decat frecventaminima introdusa de senzorul de imagine atunci rezolutia reala a imaginii scadesub numarul de fotodetectori existenti, numar care da rezolutia maxima (si res-pectiv rezolutia declarata de producator a unei camere).

Distorsiunile geometrice ale imaginii introduse poarta numele de aberatii.

Distanta focala si unghiul pozei

Pentru lentile convergente (convexe) distanta focala se defineste ca fiind punctul ıncare o raza de lumina incidenta pe toata suprafata lentilei se va concentra ıntr-un

43

Page 49: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.2. Sistemul optic de lentile

SLR

Avantaje Valoare mare pentru raportul semnal zgomot;Lentile inter-schimbabile;

Ajustare manuala a unghiului de deschidere;Posibilitate de ınregistrare de imagini RAW;

Acces la flash-uri externe puternice;Acces la dispozitive auxiliare profesionale;

Viteza mare de achizitie.

Dezavantaje Nu exista imagini ın timp real pe display;Nu se pot achizitiona secvente video;

Poate acumula praf pe senzor;Pret ridicat al camerei si al accesoriilor.

Compact

Avantaje Posibilitate de achizitie de secvente video;Afisare ın mod real de imagini pe LCD;

Dimensiuni reduse;Carcasa nu permite introducerea de impuritati;

Moduri de achizitie presetate.

Dezavantaje Raport mic semnal-zgomot;Reglare imprecisa a unghiului pozei;

Viteza de achizitie redusa;Accesoriile nu sunt interschimbabile;

Tabela 3.1: Principalele diferente, atat ın sens pozitiv cat si negativ al camerelorfotografice digitale de tip SLR, respectiv compact.

singur punct (vezi figura 3.3).

Figura 3.3: Distanta (lungimea) focala pentru o lentila convergenta.

44

Page 50: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.2. Sistemul optic de lentile

In mod simplist, lentilele determina claritatea imaginii precum si dimensiuneazonei de ıncadrare ın poza. Dimensiunea zonei de ıncadrare ın poza este fixata prinreglarea distantei focale (vezi figura 3.4). In acest mod se determina ”zoom-ul”optic. Acesta reprezinta raportul ıntre lungimea focala maxima si cea minima.

Figura 3.4: Unghiul pozei si lungimea focala. Figura preluata din [1].

Focalizarea

De obicei, camerele digitale permit ajustarea manuala sau semi–automata (ıntrepte comandate de procesor) a distantei focale. In plus, fata de reglarea distanteifocale, este necesara pozitionarea punctului de focalizare pe senzorul de imagine.Acest fapt se rezolva prin ajustarea pozitiei unui al doilea grup de lentile. Aceastaoperatie se numeste focalizare. Focalizarea poate fi manuala (optiune disponibilape camerele mai performante) sau automata - autofocalizarea.

O clasificare simplista a acestora din urma presupune doua metode de au-tofocalizare, [90]. Metoda activa utilizeaza o raza de lumina infrarosie, de la osursa plasata langa sistemul de lentile, cu ajutorul careia se obtine un estimat aldistantei de la camera la subiect.

Metoda pasiva presupune o cautare iterativa a imaginii celei mai clare dintr-un set finit. Aceasta cautare se bazeaza pe miscarea unui grup de lentile, ıntr-unnumar finit de pasi. La fiecare pas se achizitioneaza o imagine de lucru (de dimen-siuni reduse si eventual, ın functie de modul de lucru al focalizarii se consideranumai anumite zone din imagine). Pentru fiecare pozitie a grupului de lentile se

45

Page 51: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.2. Sistemul optic de lentile

calculeaza o masura a muchiilor din imagine si, apoi, lentila se fixeaza ın punctulın care masura muchiilor a fost maxima.

O varianta a metodei pasive utilizeaza diferite tehnici de calcul a fazei pentruestimarea distantei pana la subiectul de interes.

Se cauta punctul de focalizare prin determinarea unei masuri cantitative acoeficientilor de ınalta frecventa si maximizarea acestora ıntr-un numar finit depasi. Principiul folosit are la baza faptul ca ”se doreste o imagine cu munchii neteın locul unei imagini cu muchii sterse” [90].

Exista mai multe metode de a calcula masuri ale muchiilor (denumite ın liter-atura si masuri ale focusului):

• Cea mai uzuala este suma valorilor absolute rezultate dupa aplicarea opera-torului de gradient. In functie de varianta camerei se procedeaza la calcu-lul gradientului vertical sau orizontal. Gradientul se poate calcula atat penivelul de gri echivalent, cat, mai ales, pe pixelii verzi. O varianta la aceastametoda este energia imaginii de gradient ;

• Un alt tip de masuri poate fi gasit contabilizand energia imaginilor sau ener-gia imaginilor provenind dupa o filtrare cu un nucleu de tip Laplacian;

• Se pot calcula masuri ale focusului pe histograma coeficientilor Fourier sauDCT. Pentru simplificare s-a propus proiectia imaginii pe o singura axa (deexemplu pe linii sau pe coloane) prin ınsumarea valorilor care se proiecteazaın aceleasi puncte de pe axa.

Tipuri de lentile si aberatiile introduse

In functie de lungimile focale existente, lentilele permit obtinerea unui unghi alpozei foarte mare (lentile cu distanta focala mica, numite obiective super angulare)sau al unui unghi foarte mic, adica al unei scene aflate la mare departare (lentilecu distanta focala mare, numite tele-obiective).

Constructia lentilelor nu a atins perfectiunea astfel ıncat exista mai multedefecte ce rezulta ın distorsiuni ale imaginii. Aceste defecte sunt cauzate de asanumitele aberatii ale lentilelor. Aberatiile sunt, la randul lor, de mai multe tipuri:

• Vignetarea. Fenomenul optic petrecut ın lentila care duce la umbrirea ine-gala a imagini se numeste vignetare. Concret, pentru imagini achizitionatecu aparate digitale, daca iluminarea a fost uniforma pe toata suprafata,atunci va exista o diferenta de intensitate luminoasa de pana la 60% ıntrecentrul sistemului optic si pixelii de la exterior.

46

Page 52: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.3. Expunerea

zona vizibila

Figura 3.5: Pierderea din intensitatea luminoasa incidenta prin refractia ei ınexterior sau vignetarea. Formarea imaginii (a) si, respectiv, efectul asupra imaginii(b).

• Aberatii geometrice. Aberatia geometrica se concretizeaza ın cazul ın careunei axe drepte a subiectului ıi corespunde o curba ın imaginea realizata deobiectiv. Aceste aberatii pot fi pozitive sau negative, adica asemanatoare cuo perna sau cu un butoi. Efectele de perna sunt tipice tele-obiectivelor, ıntimp ce obiectivele super-angulare produc un efect de butoi.

• Aberatia de sfericitate. Aberatia de sfericitate a unui obiectiv este pro-dusa de focalizarea ın plane diferite a razelor luminoase ce intra prin centrulobiectivului fata de cele ce intra pe la periferie. Acest defect apare mai alesın cazul pozelor luate la obiectele din apropiere, asa numitele macro-uri.Explicatia consta ın faptul ca ın asemenea cazuri curbarea lentilei se apropieca valoare de distanta camera-subiect.

3.3 Expunerea

Odata ce subiectul a fost localizat si sistemul optic a fost focalizat pe subiect,pentru ca fotografia sa aiba o calitate suficient de ınalta, este necesar si un pas deajustare a parametrilor de expunere. Acestia sunt:

• Deschiderea diafragmei (apertura). In optica, apertura reprezinta o deschi-dere mica prin care lumina este lasata sa patrunda ın aparat.

• Timpul de expunere reprezinta timpul cat diafragma este deschisa lasandlumina sa ajunga pe senzor.

• Amplificarea. La camerele cu film se vorbea despre viteza filmului, sensibili-tatea sau, ın jargon, ISO. In fapt aceasta reprezinta capacitatea camerei de

47

Page 53: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.3. Expunerea

a achizitiona poze la ıntuneric. In cazul camerelor digitale semnalul trebuieamplificat si factorul ISO va fi supra-unitar.

Acesti trei factori, ımpreuna cu luminanta caracterizeaza, expunerea propriu-zisa. Detalii despre semnificatia fiecaruia vor fi oferite ın paragrafele urmatoare.

3.3.1 Valoarea de expunere

Valoarea de expunere este un termen fotografic generic care ınsumeaza toatecombinatiile posibile ale timpului de expunere si ale deschiderii aperturii pentru oexpunere data. Acest concept a aparut ın Germania anilor 50 (pentru detalii vezi[7]).

Valoarea de expunere, EV , este utilizata si pentru un interval pe scara ex-punerilor posibile. Pentru acelasi concept se poate utiliza si notiunea de stop sauf-stop.

Formal, valoarea de expunere se defineste ca fiind logaritmul ın baza 2 alraportului dintre patratul deschiderii aperturii si timpul de expunere al unei poze:

EV = log2

N2

Texp, (3.1)

unde N este notatia pentru deschiderea relativa de apertura. De obicei, deschide-rea de apertura se indica relativ la lungimea focala f (vezi figura 3.6). Deci, unEV corespunde unui salt egal cu o putere a lui 2.

50 100 150 200 250 300 350

20

40

60

80

100

120

Figura 3.6: Descresterea aperturii sau cresterea numarului f . Valoarea N estepe rand 1.4, 2, 2.8, 4, 5.6, 8. Figura preluata din [1].

Sistemul fotografic de expunere adaptiva (cunoscut sub acronimul de APEX)a fost propus ın 1960, [80], si a introdus utilizarea scarii logaritmice pentru toatevalorile expunerii. In acest caz se foloseste relatia:

EV = TV +AV , unde, TV = − log2 Texp respectiv AV = 2 log2N (3.2)

48

Page 54: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.3. Expunerea

NTexp[ 1

sec]

1.0 1.4 2.0 2.8 4.0 5.6 8.0 11 16 22 32 45 64

1 0 1 2 3 4 5 6 7 8 9 10 11 122 1 2 3 4 5 6 7 8 9 10 11 12 134 2 3 4 5 6 7 8 9 10 11 12 13 148 3 4 5 6 7 8 9 10 11 12 13 14 1515 4 5 6 7 8 9 10 11 12 13 14 15 1630 5 6 7 8 9 10 11 12 13 14 15 16 1760 6 7 8 9 10 11 12 13 14 15 16 17 18125 7 8 9 10 11 12 13 14 15 16 17 18 19250 8 9 10 11 12 13 14 15 16 17 18 19 20500 9 10 11 12 13 14 15 16 17 18 19 20 211000 10 11 12 13 14 15 16 17 18 19 20 21 222000 11 12 13 14 15 16 17 18 19 20 21 22 234000 12 13 14 15 16 17 18 19 20 21 22 23 24

Tabela 3.2: Valorile de expunere calculate pentru datele uzuale ale timpului deexpunere si pentru cele ale deschiderii de apertura.

Desi oricare doua achizitii, cu aceeasi camera, avand aceeasi valoare de ex-punere ar trebui sa arate la fel, acest lucru nu se ıntampla. Deschiderea aperturiiinfluenteaza adancimea pozei. Senzatia de adancime a unei poze este creata princlaritatea ridicata a obiectelor aflate ın apropierea punctului de focalizare si dince ın ce mai scazuta pe masura ce distanta de la acestea creste. O deschidere maimare permite ca raze de lumina din mai multe puncte sa patrunda la senzor siconduce la blurarea fundalului unei poze.

Timpul de expunere, ın cazul unei camere tinute ın mana, este proportionalcu cantitatea de miscare care afecteaza aparatul si, deci, cu cantitatea blurului demiscare din poza.

3.3.2 Amplificarea

Un alt parametru deosebit de important este sensibilitatea, sau parametru de ISO.Pentru camerele cu film un ”parametrul ISO” mai mare ınsemna ca materialelechimice din care era confectionat filmul ıl faceau mai sensibil la lumina, ceea cepermitea obtinerea de poze suficient de clare ın conditiile unei iluminari reduse ascenei. Pentru a obtine un comportament similar, producatorii de camere digitaleamplifica raspunsul ın tensiune al senzorilor. Din nefericire o asemenea amplificarenu este selectiva, ea evidentiind si zgomotul.

Valori uzuale pentru parametrul ISO sunt 50, 100, 200, 400. Camerele semipro-

49

Page 55: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.4. Senzorul de imagine. Rezolutia imaginii

fesionale si profesionale sunt capabile sa obtina poze de calitate si la valori de tipul800, 1600 sau chiar 3200.

Dat fiind o valoare a amplificarii si o luminanta a scenei, deschiderea aperturiisi timpul de expunere care ar trebui utilizate sunt date de relatia:

N2

Texp=L · SK

↔ EV =L · SK

(3.3)

unde L reprezinta luminanta medie a scenei, S reprezinta sensibilitatea filmu-lui respectiv parametrul ISO (amplificarea), iar K este constanta de calibrare aluminii reflectate, avand valoare uzuala 12.5. In mod similar se pot determinaparametrii de achizitie ai camerei ın functie de lumina incidenta:

N2

Texp=L · SK

⇔ EV =Φ · SC

(3.4)

unde I este iluminarea, iar C este constanta de calibrare ın functie de luminaincidenta; daca iluminarea este exprimata ın lucsi atunci o valoare uzuala pentruC este 250. Parametrii de expunere pot fi stabiliti cu ajutorul unui aparat numitexponometru.

Condesand cele spuse pana acum, putem scrie ın forma succinta ecuatia APEX,[80] :

EV = − log2(Texp) + 2 log2N =Φ · SK

, (3.5)

3.4 Senzorul de imagine. Rezolutia imaginii

Semnalul luminos, dupa ce a traversat sistemul optic, va influenta senzorul deimagine formand astfel semnale electrice, care printr-o succesiune de procesariulterioare vor forma imaginea. Procesul ce se desfasoara ın senzor este unul deacumulare a fotonilor din razele de lumina incidente. Fie ca este alcatuit dincomponente pasive (cum ar fi senzorii de tip CCD - Charged Coupled Device),fie ca sunt componente active (cum ar fi senzorii de tip CMOS - Complemen-tary Metal Oxide Semiconductor sau JFET - Junction Field Efect Transistor)senzorul de imagine, prin intermediul unei fotodiode, masoara stralucirea scenei.Mai precis, fotonii din lumina incidenta odata ce patrund ın stratul de siliciu alsenzorului provoaca miscari ale perechilor electron-gol inducand astfel un curent(denumit curent fotovoltaic). Acest curent este captat cu ajutorul unui condesatorsi transformat ın sarcina electrica ın cadrul senzorului CCD sau ın diferenta depotential pentru senzorul CMOS. Aceasta din urma valoare va fi transformata ınintensitatea luminoasa raportata.

50

Page 56: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.4. Senzorul de imagine. Rezolutia imaginii

Principiul de baza al achizitiei de lumina (sau altfel zis functionarea fotode-tectorilor) este de tip acumulativ. Formalizand, daca lumina incidenta, λ(t), esteintegrata pe durata expunerii, de valoare Texp, atunci intensitatea raportata, Λ,va fi data de ecuatia:

Λ(Texp) = k

∫ Texp

0λ(t)dt , (3.6)

unde k este o constanta a sistemului, si anume cea specificata de ecuatia (3.5).In momentul de fata, fotografia alb-negru nu mai este folosita decat pentru a

obtine efecte artistice; de interes sunt pozele color. Pentru acestea este nevoie sase masoare crominanta unei scene, nu stralucirea ei. Discutia purtata pana acumnu a tinut cont de crominanta scenei, ci doar de intensitatea ei luminoasa. Pentrutipurile de senzori discutati problema este rezolvata folosind o tehnica dezvoltatade catre profesorul Bryce Bayer de la firma Kodak ın 1976, [12].

3.4.1 Setul de filtre color optice

Pentru a capta crominanta, ın fata fiecarui senzor de lumina (care este sensibil lastralucire) se pozitioneaza un filtru optic ce permite trecerea unei singure culori.Exista doua modele uzuale de constructie a unor asemenea fitre: RGB (rosu,verde, albastru) si respectiv CMY (turcoaz, magenta, galben) - vezi figura 3.7.

Figura 3.7: Dispunerea senzorilor ın formatul CMY (stanga), respectiv RGB(dreapta).

In ambele variante exista o culoare care ocupa 50% din suprafata senzorului(verde, respectiv galben) si doua care ocupa cate un sfert. Alegerea acestor culoris-a bazat pe faptul ca ochiul uman este mai sensibil la diferente de luminanta(lumina alb/negru) decat la culoare si ca aceste culori detin cea mai mare ponderedin luminanta. In mod echivalent, aceasta componenta cromatica ocupa cea maimare parte a spectrului luminii vizibile. Moduri tipice de a calcula luminanta suntcele propuse de standardul JPEG:

I = 0, 299 ·R+ 0.587 ·G+ 0.114 ·B (3.7)

51

Page 57: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.4. Senzorul de imagine. Rezolutia imaginii

respectiv de CCIR pentru spatiul de culoare XYZ:

I = 0.177 ·R+ 0.813 ·G+ 0.011 ·B (3.8)

Cea mai simpla implementare o are formatul CMY pentru ca filtrele opticenecesare au o banda spectrala de trecere mai larga. Insa mai des utilizat esteformatul RGB, datorita faptului ca acesta este spatiul de culoare al dispozitivelorde redare (monitoare, proiectoare, etc.).

Formatul CMY permite utilizarea unei sensibilitati mai mari pentru ca, avandun singur filtru optic ın fata fiecarei celule fotosensibile, absorbtia intensitatiiluminoase este mai mica. Filtrul care extrage galbenul este mai eficient decat celcare extrage culoarea verde si, ın plus, are un raport semnal zgomot mai bun.Totusi acest tip de filtru a aparut recent ın camerele de uz general si este maipotrivit situatiilor de luminozitate scazuta. Formatul RGB ramane cel mai uzual.

3.4.2 Celulele fotosensibile

Imaginea este alcatuita din pixeli3. Fiecare pixel corespunde unui fotodetectordin senzorul de imagine care converteste lumina incidenta ıntr-un fotocurent si uncircuit care transforma fotocurentul ın sarcina electrica necesara citirii. Raportulıntre aria ocupata de celula fotodetector si aria totala a pixelului este denumitfactor de umplere (fill-factor) si, evident, este de dorit sa fie cat mai mare. Restulcircuitelor necesare procesului de citire sunt plasate la exteriorul senzorului deimagine. Procesul de citire se realizeaza prin multiplexare.

Deasupra fiecarui pixel este plasata o micro-lentila ce are drept scop crestereacantitatii de lumina incidenta (prin focalizare). Dupa cum se poate vedea ın figura3.8, ıntre aceasta si fotodetector sunt plasate filtrele color prezentate ın sectiunea3.4.1.

Comparatie ıntre senzorul de tip CCD si cel de tip CMOS

Cele mai folosite tipuri de senzori de imagine sunt cele bazate pe celule de tipCCD sau cele bazate pe tranzistoare de tip CMOS. Dupa cum se observa ın [32],principalele deosebiri ıntre cele doua variante constructive provin din modelularhitectural. Figura 3.9 prezinta o schematizare a celor doua tipuri de senzori.

Diferenta principala ıntre cele doua variante este modul ın care se face citirea.Pe scurt, trasaturile principale ale celor doua tipuri de senzori sunt:

• Senzorul de tip CCD3Pixelul este un termen deja ıncetatenit si ın limba romana. Provine din imbricarea termenilor

picture (poza) si element.

52

Page 58: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.4. Senzorul de imagine. Rezolutia imaginii

Microlentila

Filtru color Filtru color

Microlentila

Filtru color

Strat de aliniere a filtrelor color

Strat de protectie a microlentilelor

Strat de separare

Figura 3.8: Sectiune transversala printr-un senzor de imagine de tip CMOS.Imaginea a fost achizitionata cu ajutorul unui microscop electronic, dimensiuneaunui singure celule fiind de ordinul a 2 × 2μm. Figura este preluata din [32].

Figura 3.9: Schema simplificata a unui senzor de imagine de tip CCD (a), respectivCMOS (b). Figura este preluata din [32].

– Tehnologia a fost dezvoltata special pentru achizitia de imagini. Areproprietati generale mai bune (zgomot mai mic, factor de umplere mai

53

Page 59: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.4. Senzorul de imagine. Rezolutia imaginii

mare), dar este dificil de interconectat cu alte circuite.

– Citirea este seriala; sarcina unei celule fiind shiftata prin coloane (CCDvertical) si apoi pe linii. Este utilizat un singur amplificator;

– Nu exista multe componente suplimentare atasate fiecarui pixel astfelca factorul de umplere este foarte bun;

– Citirea este pasiva si, deci, nu mai exista componente active care saintroduca zgomot;

– Citirea este rapida, dar toata imaginea trebuie accesata de fiecare data;

– Are consum mare de putere.

• Senzorul de tip CMOS

– Tehologia folosita este de uz general. Proprietatile specifice (intensi-tatea curentului de negru, raportul semnal-zgomot) sunt mai slabe. Pede alta parte este usor de modificat accesul la senzori, deci de modificatcircuitul de achizitie;

– Citirea fiecarei celule se face independent: intai pe linii si apoi pecoloane;

– Citirea presupune cate un circuit atasat fiecarui fotodetector. Factorulde umplere este mic;

– Citirea se face prin componente active care introduc zgomot. Zgomotulva forma un sablon fix ce trebuie eliminat ın etapa de procesare digitalaa imaginii;

– Citirea este mai lenta dar se pot implementa operatii de acces orientatepe zone;

– Are consum mic de putere;

Raspunsul celulei fotosensibile

Dupa cum am amintit si ın paragrafele anterioare, fotodetectorul converteste lu-mina incidenta ın curent. Fotonii continuti de fluxul incident provoaca deplasareaperechilor de tip electron-gol. Aceasta deplasare este, ın fond, un curent. Dat fiindca valorile curentului sunt foarte mici, fotodetectorul este conectat la un conden-sator ın care are loc un proces integrativ. In acest fel se obtine amplificarea valoriicurentului, mai ales ca o tensiune rezultanta pe bornele condensatorului este maiusor de citit.

Procesul de achizitie este cvasiliniar (vezi figura 3.10). Exista o valoare maximaa sarcinii care se poate acumula, numita sarcina de saturatie. Deasemenea, pentru

54

Page 60: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.5. Rezolutia pozei. Dimensiunea scenei

valori mici ale intensitatii luminoase raspunsul senzorului este pierdut ın zona dezgomot. Putin ınainte de a intra ın saturatie, procesul de acumulare nu maieste liniar. Liniaritatea, totusi ramane caracteristica principala a procesului deconversie lumina – sarcina electrica.

Qsat

Q

t

Qn

I1

I2

Zona neliniara

Figura 3.10: Acumularea sarcinii ıntr-un fotodetector ın raport cu timpul. Suntprezentate doua caracteristici pentru doua intensitati luminoase diferite: I1 > I2.Se remarca liniaritatea ce caracterizeaza zona cuprinsa ıntre pragul de zgomot Qn

s pragul de saturatie, Qsat.

El Gamal, ın [32] subliniaza ca cele mai importante caracteristici care dauvaloarea unui fotodector sunt:

• eficienta cuantica externa - reprezinta procentul din fluxul de fotoni incidenticare sunt transformati ın fotocurent. Aici exista doi factori care intervin:eficienta interna (procentul de fotoni incidenti pe suprafata fotodetectoruluicare sunt transformati ın curent) si eficienta optica (care reprezinta randa-mentul de transmisie al sistemului optic plasat ın fata fotodectorului);

• curentul de ıntuneric 4 - reprezinta curentul rezidual existent ın fotodetectoriın absenta luminii.

3.5 Rezolutia pozei. Dimensiunea scenei

Rezolutia unei imagini este data de numarul de senzori utilizati pentru a reda oscena. De cele mai multe ori, nu toti senzorii sunt utilizati ın imaginile finale, pemargini existand un set de pixeli de garda. Rezolutia efectiva a imaginii si numarul

4 este foarte cunoscut sub denumirea, ne-tradusa, de dark-current

55

Page 61: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

de senzori sunt doua valori relativ apropiate care se regasesc ıntre parametri tehnicispecificati ai unui camere. Valori tipice pentru rezolutia unei imagini sunt: 5Mpixeli, 6 Mpixeli,10 Mpixeli. Raportul de aspect5 este de 4/3 pentru camerelede tip compact si de 3/2 pentru camerele profesionale.

Un alt aspect de interes este dimensiunea senzorului de imagine. Acestaeste standardizat. Valori tipice sunt (este precizata lungimea diagonalei ın inch,iar ın paranteza latimea si ınaltimea, ın milimetri): 1/3.2”(4.536 × 3.416mm),1/2.5”(5.760 × 4.290mm), 1/1.8”(7.176 × 5.319mm), 1.8”(23.700 × 15.700mm).

In momentul de fata exista tendinta de miniaturizare a componentelor cealcatuiesc senzorul ceea ce duce la cresterea numarului de pixeli. Efectul ne-gativ se vede ın calitatea pozei: cu cat se ”ınghesuie” mai multe celule pe aceeasisuprafata, cu cat lumina incidenta pe o celula este mai mica si deci semnalul estemai mic, raportat la zgomot care ramane constant, deci poza are sanse sa fie maizgomotoasa. Concluzia este ca senzorii de dimensiuni mari sunt mai buni, iar ınparalel cu miniaturizarea senzorilor este necesar sa se ımbunatateasca raportulsemnal–zgomot.

Modul ın care o scena este preluata pe senzorul de imagine se poate vedeaın figura 3.4. Inspectand aceasta figura si cunoscand distanta focala curenta, f ,dimensiunea senzorului L×H, si distanta de la camera la subiect, d, putem afla:

• unghiul pozei Δ:

Δ[rad] = 2arctg√L2 +H2

2f(3.9)

• Latimea respectiv ınaltimea scenei vizualizate se calculeaza pe bazaasemanarii triunghiurilor formate ın jurul lentilei:

Lscena =f · Ld

(3.10)

Hscena =d ·Hf

(3.11)

3.6 Algoritmi de procesare a imaginilor

Inainte de achizitia propriu-zisa a imaginii se efectueaza doua procesari ce audrept scop pregatirea parametrilor necesari expunerii. Acestia sunt focalizarea sicalcularea nivelului de expunere.

Procesarile efectuate asupra imaginii digitale, dupa conversia AD, pana laimaginea finala ın interiorul camerelor digitale sunt:

5Raportul de aspect reprezinta raportul ıntre latimea si ınaltimea unei scene.

56

Page 62: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

• Compensarea nivelului de negru (care este valoarea, reziduala, ınregistratade senzori cand sunt expusi unei scene perfect negre);

• Eliminarea pixelilor ”defecti” (celulele sau coloane de celule care prezintavalori complet eronate);

• Reducerea efectelor zgomotului cu distributie spatiala cunoscuta (ın cazulexpunerilor ındelungate se ıntampla ca anumite celule sa prezinte valori de-viate mereu cu acelasi offset);

• Compensarea umbririi diferentiate provocate de sistemul de lentile (dacaaparatului ıi este prezentata o imagine cu luminanta perfect constanta atuncicelulele corespunzatoare centrului sistemului optic vor ınregistra un maxim,ın timp ce senzorii de pe exterior vor ınregistra valori mai mici);

• Corectia nivelului de alb (cromaticitatea unei scene este dependenta de cu-loarea sursei de lumina la care este expusa; ochiul uman restaureaza, decele mai multe, ori acest efect ın subconstient, dar un sistem electronic nu oface);

• Calculul parametrilor statistici ai imaginii (parametrii vor fi folositi pentrusetarea parametrilor expunerii, corectiei balansului de alb si focalizarii);

• Corectia de gamma (dispozitivele de afisare ale imaginilor - monitoarele siimprimantele au raspunsul ın luminanta neliniar);

• Refacerea imaginii color (demozaicare);

• Corectia de culoare - sunt doua probleme de rezolvat aici: raspunsul sen-zorilor monocromatici nu este perfect centrat pe lungimea de unda core-spunzatoare (care este o corectie liniara) si, respectiv corectarea spatiului deculoare descris de raspunsul senzorilor raportat la spatiul original de culoare;

• Filtrari ale imaginii (filtrari trece jos pentru a reduce efectul de aliere ınplanele de culoare precum si filtrare trece sus pentru a amplifica muchiile).

3.6.1 Compensarea curentului de ıntuneric

Curentul de ıntuneric este ın fapt o eroare sistematica ce apare ın fotodetector.Valoarea sa este caracteristica fiecarui fotodetector. Corectia se face prin inter-mediul unui pas de calibrare ın care camerei ıi este prezentata o imagine neagra, deluminanta 0 (de pilda se fixeaza capacul protector ın fata lentilei) si se memoreazavaloarea curentului de negru pentru fiecare pixel. Aceste valori se vor scadea din

57

Page 63: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

valorile masurate dupa achizitia unei imagini. Problema este ca o scadere ana-logica, ınainte de conversia analog digitala este mai greu de implementat, iar unaulterioara digitizarii semnalului presupune limitarea gamei dinamice a imaginilor.

3.6.2 Reducerea zgomotului. Eliminarea pixelilor defecti

Reducerea zgomotului este, ın fapt, o operatie ın doua etape. O etapa se concen-treaza pe eliminarea pixelilor defecti. Aceasta eliminare porneste cu un pas decalibrare ın care se construieste o harta a acestora, iar la corectie valorile core-spunzatoare lor se ınlocuiesc prin aplicarea unui filtru median peste pixelii avandun filtru optic de aceeasi culoare cu cel defect.

A doua etapa priveste punctele afectate de zgomot aditiv. Dispersia acestui tipde zgomot este cunoscuta dintr-un pas de masurare ın cadrul setului de calibrariale parametrilor. Pixelii ce nu respecta statistica imaginii sunt ınlocuiti printr-ometoda de reducere a zgomotului. In aceasta privinta, fiindca nu exista semnalfara zgomot parazit, exista si foarte multe solutii pentru reducerea zgomotului. Ingeneral, fiecare producator are dezvoltat unul sau mai multi algoritmi protejati dedrepturi de proprietate intelectuala pentru reducerea zgomotului.

Exista un caz special de imagini zgomotoase si anume acela al fotografiilorluate cu camera functionand la un ISO foarte mare (de obicei ın conditii deıntuneric, cand semnalul are ın mod natural o valoare scazuta). Multe camere per-mit achizitia de poze cu sensibilitate mare numai ın detrimentul scaderii rezolutiei.In acesta abordare ele pot aplica un filtru de mediere (sau o interpolare) ın vedereareducerea dispersiei zgomotului.

3.6.3 Corectia nivelului de alb

Desi este o sintagma englezeasca, si ın lumea fotografilor romani acest pas estecunoscut ca ”white balance”6. Problema apare ın momentul expunerii scenei lao sursa de lumina. Chiar daca se presupune ca sursa de lumina este incolora,de fapt asa ceva este foarte rar ıntalnit ın practica, iar culoarea ei se va regasisi ın varianta fotografiata a scenei. Fotodetectorii sunt sensibili la aceste culoridar ochiul uman nu este. Problema balansului de alb consta ın gasirea ponderilorcu care trebuie ınmultiti pixeli din planele de culoare pentru ca punctele albe saapara din nou albe. Aceasta metoda, de cele mai multe ori este rezolvata ın modautomat de catre camera.

Prima notiune care trebuie discutata este culoarea sursei de lumina. Aceasta seexprima, de obicei, ın Kelvini si reprezinta temperatura de culoare. Temperatura

6White balance se traduce prin balans de alb

58

Page 64: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

Figura 3.11: Plasarea temperaturilor de culoare pe poatcoava culorilor. In ima-gine sunt notate lungimile de unda ale luminii mono-cromatice. Figura este pre-luata din [1].

de culoare este temperatura la care trebuie ıncalzit un corp negru pentru a aveaculoarea indicata7.

Culorile corespunzatoare diferitelor temperaturi pot fi urmarite ın figurile 3.11si 3.12, iar o enumerare a temperaturilor diferitelor surse de lumina existente ınnatura poate fi urmarita ın tabelul 3.3.

Figura 3.12: Cateva exemple de temperatura de culoare. Figura este preluatadin [1].

7Senzatia de culoare a unui obiect este data de capacitatea diferita a acelui obiect de absortie

a razelor de lumina cu diferite lungimi de unda. De pilda, o frunza este verde pentru ca ea

absoarbe toate razele de lumina cu exceptia celor care au lungimea de unda undeva ın jurul

valorii de 525nm(verde). Un corp negru absoarbe razele de lumina pe toate lungimile de unda

din spectrul vizibil. In momentul ın care acesta este ıncalzit capacitatea de absortie scade ın mod

diferentiat pe benzi de diferite lungimi de unda. In acest fel apare senzatia de culoare.

59

Page 65: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

Temperatura Sursa de lumina

1700 K Lumina de la un chibrit

1850 K Lumanare

2000-3000 K Lumina soarelui la apus

2800 K Bec cu filament

3350 K Lampa de studio

5000-5500 K Lumina directa a soarelui la pranz

5500 -6500 K Lumina naturala ıntr-o zi ınnorata

5770 K Temperatura efectiva a soarelui

6420 K Lampa cu descarcare in xenon

9300 K Monitor TV

12000 K Cerul senin, fara soare

29000 K Lumina unui fulger

Tabela 3.3: Exemple uzuale ale temperaturii de culoare.

Problema balansului de alb consta, de fapt, ın estimarea temperaturii surseide lumina ce a influentat scena si compensarea ei astfel ıncat obiectele albe saredevina albe. In literatura precum si ın domeniul proprietatii intelectuale auexistat mai multe abordari ale problemei [2], [9],[10]. Toate metodele au aceeasistructura: ıntai se determina valoarea nivelului de alb, sau echivalent culoareasursei de lumina si apoi se corecteaza imaginea.

O prima abordare, considerata de multi naiva, [90], este sa se presupuna ca”lumea este gri”. Mai precis, media fiecarui plan de culoare este aceiasi, R = G =B. Nivelul de gri mediu este, de cele mai multe ori ales a fi 18% din nivelul maxim.In acest caz se considera ca imaginea originala este gri si imaginea este obtinutaprin devierea spectrala a componentelor. Deviatia este data de sursa de lumina.Practic se considera imaginea echilibrata ca fiind compusa din imaginea de verdedrept referinta si raporturile kR = Gmed

Rmedsi kB = Gmed

Bmed. Acest model ısi dovedeste

repede limitarile ın conditiile ın care scena are o componenta cromatica puternica(de exemplu un lan de flori de mac va fi corectat astfel ıncat va fi usor albastru).

O alta abordare consta ın a afla cel mai stralucitor obiect al scenei, care se vapresupune a fi alb. In acest caz, cel mai stralucitor obiect va avea culoarea surseide lumina. Evident si aceasta supozitie poate fi combatuta cu argumente practice.

Cea de a treia abordare se bazeaza pe estimarea gamei de culori a scenei.Ipoteza facuta este ca obiectele scenei, iluminate de o sursa de lumina neutraacopera toate componentele spectrale. Fiind data o scena, se compara gama de

60

Page 66: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

culori curenta cu cea stocata a ıntr-o baza de date ce trebuie sa acopere tipurileuzuale de reflectanta. Performantele metodei depind, ın mod evident, de alegereabazei de date.

Algoritmi practici combina aceste metode pentru calcularea nivelului de alb.Variante ımbunatatite reprezinta imaginea ın alte spatii topologice (care pot aveasau nu o interpretare colorimetrica) si apoi se aplica una din ipotezele clasice. Inliteratura, [48], exista si modele neurale pentru a ınvata, din imagini sintetizate,potrivit alese, o functie care sa estimeze valoarea nivelului de alb.

O data aflata temperatura sursei de lumina se stie si tripletul RGB core-spunzator acesteia. Este imediata determinarea coeficientilor care vor ponderaplanele de culoare pentru a se corecta nivelul de alb.

In practica camerele profesionale permit inclusiv interventia utilizatorului ınestimarea nivelului de alb. Acesta valoare fie ajusteaza algoritmul intern, fie pursi simplu exprima temperatura sursei de culoare.

3.6.4 Corectia neliniaritatii dispozitivului de afisare

Din nefericire, dispozitivele de afisare a imaginii nu au raspunsul liniar. O imaginecare contine o mira ın care coloanele prezinta straluciri ce cresc liniar va fi afisataca o imagine ın care valorile de pe coloane cresc neliniar. Din fericire, raspunsulacestor dispozitive poate fi aproximat destul de bine cu o functie putere:

y = xγ , (3.12)

unde x reprezinta intensitatea prezentata la intrare, y valoarea intensitatii lumi-noase afisate, iar γ exponentul functiei putere ce modeleaza raspunsul. De fapt,ın practica, acest pas este cunoscut sub numele de ”corectie de gamma”.

Dispozitivele de afisare bazate pe tub catodic au parametrul γCRT ≈ 0.45,astfel ca unei imagini trebuie sa i se aplice, ınainte de afisare, transformarea car-acterizata de γ = 2.2. Aceste valori sunt prevazute de standardele NTSC, respec-tiv PAL iar relatiile sunt valabile pentru reprezentarea imaginilor ın spatiul RGB(vezi figura 3.13), dar se pot scrie ın mod similar si pentru alte spatii de culoareuzuale, cum ar fi YUV.

In mod similar cu monitoarele, si imprimantele au un raspuns neliniar. Decele mai multe ori, intern, ın camera, se pregateste imaginea pentru afisarea peun monitor ce respecta standardul NTSC, iar alte dispozitive de afisare ısi vorpre-modifica singure imaginea.

61

Page 67: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

x

y

(b) γ=0.45

0 0.2 0.4 0.6 0.8 10

0.2

0.4

0.6

0.8

1

x

y

(a) γ=2.2

Figura 3.13: (a) Corectia de gamma aplicata, intern, imaginilor pentru pregatireın vederea afisarii. (b) Raspunsul dispozitivelor de afisare pe baza de tub catodic.

3.6.5 Demozaicarea

Aceasta sectiune se refera la momentul ın care, ın urma achizitiei, din numarultotal de pixeli jumatate au numai componenta de verde, un sfert numai pe ceade rosu si un sfert pe cea de albastru (vezi sectiunea 3.4.2). In final se doreste oimagine ın care toti pixeli au trei componente: una de rosu, una de verde si unade albastru. Aceasta operatie se numeste demozaicare. In esenta este o operatiede interpolare si este, de departe cea mai complexa operatie executata ın camera.

O prezentare detaliata a metodelor existente de de-mozaicare, existente atatın literatura stiintifica cat si ın brevete se gaseste ın [53].

Cea mai simpla varianta a algoritmului de demozaicare este interpolarea pebaza metodei ”celui mai apropiat vecin”. Punctele lipsa, dintr-un plan de culoarese ınlocuiesc cu valorile pixelilor vecini. Aceasta metoda nu ısi explica utilitateadecat prin viteza, pentru ca, ın acest mod, rezolutia imaginii rezultante va fi egalacu un sfert din numarul de fotodetectori.

O alta varianta, care si ea, de altfel, ısi dovedeste foarte repede limitarile,consta ın utilizarea interpolarii bi-dimensionale liniare. In acest caz, probleme(culori false, ne-naturale) vor aparea ın zonele de contururi.

O varianta mai elaborata de de-mozaicare presupune adaptarea nucleului deinterpolare ın functie de valoarea contururilor existente. Principiul de baza alacestei variante este: ”Daca am valoare mare a conturilor pe orizontala, interpolezpe verticala si viceversa. Daca am valori egale interpolez bidirectional”.

Procesarea poate fi efectuata pe fiecare plan de culoare separat sau se folosestealta ipoteza uzuala: ”Planele de culoare sunt puternic corelate”. Aceasta afirmatie

62

Page 68: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.6. Algoritmi de procesare a imaginilor

se bazeaza si pe existenta unui filtru anti-aliere optic plasat ınaintea senzorului (fil-tru care, ın esenta, este un filtru trece jos). In acest al doilea caz, se poate calculagradientul direct pe pixeli vecini de ordinul unu indiferent de culoarea acestora.In cazul procesarii separate se calculeaza gradientul pe pixelii cei mai apropiatide aceeasi culoare. Un asemenea model, care speculeaza corelatia existenta ıntreplanele de culoare, dar care foloseste derivatele de ordinul doi pentru pastrareamuchiilor a fost propus de Malvar, [68] (vezi si figura 3.14).

Figura 3.14: Nuclee de interpolare liniara. Figura preluata din [68].

Ipoteza corelatiei ıntre canale a dus la constructia unor metode care com-pleteaza ıntai toti pixeli verzi si apoi ın functie de valorile acestora, pixelii rosii sirespectivi albastri. Din nou, se tine cont de muchii. Aceasta metoda este similaracu cea de corectie a balansului de alb. Ideea de baza este ca culorile, de-a lungulsuprafetei unui obiect sunt omogene, indiferent de temperatura sursei de luminace influenteaza local suprafata.

63

Page 69: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.7. Estimarea functiei de raspuns a camerei

Planele de rosu si de albastru contin mai putine puncte. O varianta de de-mozaicare presupune interpolarea imaginilor de rosu si de albastru cu ajutorulunui filtru trece jos. Acest lucru se poate realiza usor daca se completeaza punctelelipsa cu 0 si se aplica un filtru de netezire; ın acest mod se realizeaza si trecereade la 12 biti la 8. Imaginea de verde se completeaza ıntr-un pas ulterior. Princomparatia acesteia cu cele de rosu si respectiv albastru se atenuaza artefacteleaparute datorita alierii si se amplifica muchiile. O varianta complementara celeibazate pe gradient prevede interpolare pe directia cu pixeli mai omogeni.

Variante mai elaborate prevad determinarea de sabloane ın imagine sau suntmetode ce utilizeaza informatia statistica cunoscuta a priori ın vederea aplicariiunei inferente de tip Bayesian. Retele neurale pot fi folosite pentru aproximareaunei functii de interpolare care sa contina tot felul de constrangeri.

In camere, ın mod cert, nu se poate aplica un algoritm oricat de costisitor caresurse si performanta. Trebuie realizat compromisul ıntre performanta si resurse.Evident camerele profesionale, avand la dispozitie un procesor mai puternic simai multa memorie ısi vor putea permite o demozaicare mai performanta, ıncomparatie cu o camera de tip compact. De obicei, trecerea de la 12 biti la 8biti, corectia de gamma precum si demozaicare se realizeaza ıntr-un singur pas,pe baza unui tabel sau set de tabele de echivalenta.

3.7 Estimarea functiei de raspuns a camerei

Unul dintre scopurile lucrarii de fata se refera la procesarea imaginilor naturaleachizitionate cu camere digitale. Lumina incidenta este captata, transformata ınsemnal analogic care l-a randul lui va fi digitizat ın harti de intensitati, cel maiadesea tricromatice. Majoritatea algoritmilor de mixare a imaginilor cu diferitiparametri de expunere presusupun ca harta de intensitati luminoase obtinuta esteın relatie liniara cu reflectantele obiectelor din scena. Aceasta presupunere esteinfirmata de cele mai multe ori ın practica. Deci, pasul intermediar necesar estede estimare a functiei (neliniare) de raspuns a camerei (abreviata CRF si notata ınmaterialul de fata cu g). Intr-un pas ulterior, aceste neliniaritati sunt corectate,obtinandu-se imagini liniare ın raport cu reflectivitatea scenei, care sunt apoimixate ıntr-o imagine rezultanta, care la randul ei va fi trecuta prin CRF pentrua pastra distributia impusa a intensitatii luminoase.

Problema estimarii functiei de raspuns a unei camere consta ın determinareaintensitatii raportate de catre camera digitala, u, ın cazul ın care lumina incidentape obiectivul camerei are intensitatea Λ:

64

Page 70: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.7. Estimarea functiei de raspuns a camerei

Figura 3.15: Harta de culori Gretag Macbeth afisata cu tonuri de gri.

g(Λ) = u. (3.13)

Desi s-a aratat ca intensitatea pixelilor, ın cazul unei scene uniforme, variaza,[6], vom neglija acest efect deoarece poate fi procesat ca o problema separata. Inaceeasi ordine de idei, si anume pentru a simplifica explicatiile, ne vom rezuma ıncontinuare la a considera raspunsul monocrom, iar cazul color va fi obtinut prinreplicarea metodei pe fiecare dintre cele trei plane.

Problema estimarii functiei de raspuns a camerei este un aspect dezbatut pelarg ın literatura de specialitate. Primele abordari au utilizat obiecte de reflectantacunoscuta [22], cum ar fi harta de culori Gretag Macbeth (vezi figura 3.15).Nivelele de gri corespunzatoare celor de 24 de blocuri de culoare uniforma suntfolosite drept date originale. Pentru a determina valoarea functiei de transferın restul punctelor este nevoie de o interpolare. Rezultatele acestei metode suntputernic dependente de conditiile de iluminare (cunoscute) ale scenei si care, maimult, trebuie sa ramana perfect constante pe parcursul ıntregii desfasurari a ex-perimentului.

Dat fiind aceste impedimente, abordarile ulterioare s-au bazat pe o alta strate-gie. Debevec & Malik ([28]) au demonstrat ca un set de cadre, avand acelasisubiect, dar cu valori de expunere diferita contin suficienta informatie pentru adetermina complet CRF-ul unei camere. Daca scenariul unui experiment includeo scena cu subiect constant, aceeasi valoare pentru deschiderea de apertura sirespectiv amplificarea senzorului, atunci, tinand cont de ecuatiile (3.6) si (3.5),intensitatea masurata este dependenta ın mod liniar de timpul de expunere.

Pentru a fi mai expliciti, vom considera un exemplu ın care aceeasi scena este

65

Page 71: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.7. Estimarea functiei de raspuns a camerei

expusa pe durate diferite, cu valorile tA, respectiv tB, pentru a forma cadrele A siB. Cele doua durate sunt ın relatia α = tB

tA, iar restul parametrilor mentionati de

ecuatia (3.5) raman constanti. Intensitatile reale corespunzatoare aceluiasi pixelar trebui sa se afle ın relatia: α = ΛB

ΛA. Daca se considera nivelele de luminanta

raportate ca semnale de iesire, uA si uB (care sunt obtinute ın loc de ΛA si ΛB,atunci ecuatia de baza pentru determinarea raspunsului camerei este:

g(ΛB) = αg(ΛA) . (3.14)

Determinarea functiei g din ecuatia (3.14) este o problema dificila ([52]). Pen-tru a simplifica rezolvarea sa, trebuie impuse anumite restrictii:

• domeniul si co–domeniul trebuie limitate. Valoarea minima posibila a in-tensitatii luminoase, Λ = 0, nu va stimula ın nici un fel fotodetectorul, decig(0) = 0. Valoarea maxima a intensitatii luminoase incidente este imposibilde determinat. Totusi schema electrica a fotodetectorului impune o ıncarcaremaxima (care formeaza asa numitul nivel de saturatie), deci valorile lui gsunt limitate superior, de D. Adica

g(Λmax) = D.

• CRF-ul este o functie crescatoare. Presupunand ca lumina incidenta la mo-mentul curent, Λ0, a produs ın fotodetector raspunsul u0, orice crestere aintensitatii luminoase incidente, Λ0 + ΔΛ, aduce un numar suplimentar defotoni, care prin efectul foto–voltaic vor produce o crestere a intensitatiiraportate: u0 + Δu; deci putem presupune fara a gresi ca g are un compor-tament monoton crescator.

Pasul urmator este de a preciza forma functiei g. Cel mai general model, cel deserie infinita este complet lipsit de aplicabilitate practica.

Un punct de plecare consta ın similaritatile camerelor digitale cu filmul fo-tografic, a carui functie de transfer era data de transparenta si avea o forma defunctie putere [31]. Mann si Picard au creat un prim model de tip γ pentru functiag, [70]. Acestia au utilizat o forma de tipul:

g(u) = α+ βΛγ (3.15)

Pentru determinarea deplasarii, α, se achizitioneaza o imagine perfect neagra,cu lentila acoperita. Factorul de scalare β este initializat cu o valoare arbi-trara. Pentru determinarea precisa a parametrilor se achizitioneaza doua ima-gini avand expunerile e1, e2 ın raport R = e1

e2. Daca g(Λ1) este functia aso-

ciata primei masuratori, atunci pentru a doua masuratoare se obtine g(Λ2) =

66

Page 72: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.7. Estimarea functiei de raspuns a camerei

g(RΛ1); procesul poate fi repetat pentru a se obtine seria de masuratorig(Λ0), g(RΛ0), g(R2Λ0) . . . g(RnΛ0). Pentru a determina valoarea parametruluiγ se folosesc tehnici de regresie (constructia unei erori patratice medii si alegereaparametrului ca acea valoare care minimizeaza eroarea patratica). Modelul pro-pus de Mann si Picard este deosebit de restrictiv. In aceste conditii, cel maibun rezultat se poate obtine ın cazul unei calibrari de calitate. Totusi munca loreste valoroasa pentru ca au deschis drumul, aratand principalele dificultati, aleestimarii functiei de transfer.

O varianta ımbunatatita a fost propusa de catre Debevec & Malik, [28]. Al-goritmul lor necesita existenta unui numar important (circa 11) de fotografiiachizitionate folosind timpi de expunere precis determinati. Constrangerile im-puse functiei de transfer g sunt mai putine: functia trebuie sa fie continua si cuvariatii lente. Mai precis, daca uTA

p este valoarea pixelului p ın urma unei achizitiide durata TA, atunci uTA

p = g(Λp, TA). In acest caz:

log g−1(uTAp ) = log Λp + log TA (3.16)

Stiind uTAp si TA, se ıncearca determinarea esantioanelor inversei functiei de trans-

fer si ale reflectantelor asociate. Aceste rezultate sunt apoi interpolate pentru acalcula functia de transfer ın toate punctele. In concluzie, algoritmul propus deDebevec si Malik este potrivit pentru imagini putin degradate de zgomot si cuexpunerea determinata precis.

Mitsunaga si Nayar [72] au utilizat pentru functia inversa a CRF o formapoliomiala :

Λ = g−1(u) =N∑

n=0

cnun (3.17)

Algoritmul de calibrare trebuie sa determine ordinul polinomului, N , respectivsetul de coeficienti asociat cn n = 1 . . . N . In aceeasi ipoteza continand douaimagini cu expunerile ek, ek−1, si, deci ın raport de expunere Rk = ek

ek−1, se poate

scrie:Λk

Λk−1= Rk ≈

∑Nn=0 cnu

nk∑N

n=0 cnunk−1

(3.18)

Pentru determinarea valorilor cautate se construieste eroarea patratica medie, careapoi se minimizeza.

Pentru a determina care dintre aceste modele este mai potrivit pentru o cameradata se poate utiliza solutia de laborator propusa de Bell & al, [13], de verifi-care a CRF-ului. Totusi concluzia generala este ca rezultatele sunt asematoare.Aplicatiile practice folosesc ın mod egal modelul exponential, respectiv modelulpolinomial.

67

Page 73: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

3.7. Estimarea functiei de raspuns a camerei

3.7.1 Aproximarea supraexpunerii prin multiplicare logaritmica

O alternativa la estimarea exacta a functiei de transfer a camerei digitale esteaproximarea variatiei de expunere prin utilizarea multiplicarii logaritmice conformmodelului Jourlin – Pinoli.

Figura 3.16: Aproximarea functiei de transfer pentru o camera digitala medie(cu linie punctata), comparativ cu amplificarea logarimica din modelul clasic,prezentata cu linie continua.

Punctul de plecare ın aceasta aproximare consta ın faptul ca filmul fotograficrespecta legea lui Weber. Aceasta se refera la sistemul vizual uman, [3], si des-crie raspunsul la o variatie a intensitatii luminoase incidente ca fiind dat de ofunctie logaritmica. Aceeasi consistenta cu modelul logaritmic al legii lui We-ber este ımpartasita si de catre modelul lui Jourlin – Pinoli, [81]. Odata aparutecamerele digitale, din considerente de consistenta (pentru reutilizarea accesoriilor)si camerele digitale au preluat acelasi model logaritmic a functiei de transfer.

In consecinta, dupa cum poate fi observat si ın [36] sau ın [41], este de asteptatca diferentele constatate ıntre functia de transfer a unei camere digitale si am-plificarea logaritmica sa fie minime. Aceast fapt poate fi constatat si daca seexamineaza figura 3.16.

68

Page 74: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 4

Amplificarea imaginilor

subexpuse

4.1 Premize

Daca la aparitia lor, ın anii 90, camerele fotografice digitale pareau simple jucariiale oamenilor de stiinta, eforturile considerabile depuse ın gasirea unor metodepentru constructia unor aparate mai eficiente le-au transformat ın cel mai utilizatmijloc de achizitie de imagini digitale. Mai mult, dorinta de a stoca cat mai multainformatie si de a realiza instrumente cat mai portabile a fortat producatorii decamere digitale sa depuna eforturi serioase pentru miniaturizarea camerelor digi-tale fotografice. Astfel a pornit, cu costuri impresionante, ”cursa Megapixelilor”[89].

Tendinta de miniaturizare mentionata mai sus impune modificari de design si,mai precis, simplificari ale blocului optic respectiv reducerea marimii ariei foto-sensibile. Daca discutam aceste aspecte din punctul de vedere al unui utilizatorfinal, problema practica este de crestere a sensibilitatii imaginii la blurul cauzat detremuratul inerent mainilor [110]. Diminuarea ariei foto-sensibile reduce numarulde coliziuni foton-electron ın cadrul efectului foto-voltaic, motiv pentru care sereduce corespondenta dintre lumina incidenta si intensitatea raportata a imaginii.Pe de alta parte, aceeasi micsorare a zonei foto-sensibile conduce si la scadereaunghiului de imagine. Deoarece ın orice moment exista un tremurat rezidualal mainilor umane, [37], unghiul mic al imaginii corespunde unei sanse crescuteca miscarea relativa ıntre aparatul de fotografiat si scena corespunzatoare unuitimp de expunere fixat sa depaseasca ın dimensiune un pixel producandu-se astfelmanjirea pozei.

Deoarece acest fenomen poate produce degradarea ın mod semnificativ a ima-

69

Page 75: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.1. Premize

ginilor achizitionate, fotografii si fabricantii de aparate fotografice cauta ın modfrecvent metode pentru a limita efectele blurului.

Aceasta problema a fost studiata pe larg atat ın mediile academice cat si ınlaboratoarele de cercetare industriala, astfel ıncat literatura abunda ın solutii derezolvare a problemei. Aceste solutii se pot ımparti ın doua categorii.

O prima clasa ıncearca sa elimine efectele miscarii, ın sensul ca va exista oimagine achizitionata normal (cu un timp suficient de lung de expunere, si decicare implica inerenta aparitie a manjirii pozei) pentru ca, ulterior, sa se estimezesi sa se restaureze traiectoria camerei. Procesele de estimare a traiectoriei si derestaurare a pozei pot fi simultane si ın timp real, ın cazul asa-numitei stabilizarioptice a imaginii, sau consecutive si digitale (determinare a functiei de degradaresi deconvolutie a imaginii blurate). Stabilizarea optica a imaginilor presupuneatasarea unei perechi de senzori giroscopici care determina miscarea camerei sipe baza acesteia, ın interiorul unei bucle de reactie negativa, cu ajutorul unoractuatori, se pot misca elemente din sistemul optic al camerei pentru a compensamiscarea generala [93].

Varianta digitala presupune constructia unui PSF (Point Spread Function -functie de distrubutie spatiala a traiectoriei miscarii) urmata de utilizarea uneitehnici de deconvolutie pentru recuperarea imaginii originale neblurate; chiar dacaevolutiile ın cazul deconvolutiei permit o recuperare precisa a informatiei, totusiaceasta este o tehnica ce presupune operatii integrale asupra imaginii si, decieste consumatoare de timp. O prezentare concisa a acestui tip de solutii poate fiurmarit ın [88]. Cu toate acestea, ambele posibilitati implica utilizarea de senzoride miscare (adica a unui circuit suplimentar) si, prin urmare, intra ın contradictiecu intentia de a micsora dimensiunea camerelor.

Cea de-a doua abordare priveste evitarea circumstantelor ın care se genereazamiscare ce produce blur. Acest lucru se realizeaza prin reducerea timpului de ex-punere mai jos de ”limita de miscare”. Determinarea limitei de miscare se poatebaza pe formula emipirca ”q supra f35”, [109], (unde f35 reprezinta echivalentulın format de 35mm al lungimii focale curente, iar q este o constanta determinataexperimental, de exemplu 0.65 pentru camere digitale) sau dedusa dinamic dinestimarea grosiera a diferentei de aliniere ıntre cadre consecutive; ın mod evidentaceasta a doua varianta este mai precisa, [79]. Aceasta solutie alternativa areavantajul de neneglijat ca poate fi implementata usor pe suportul hardware dejaexistent ın fiecare aparat de fotografiat digital, fara a avea consecinte asupra di-mensiunii. Cu toate acestea, daca se va utiliza o astfel de solutie, atunci imagineasubexpusa va trebui sa fie amplificata astfel ıncat sa furnizeze un nivel potrivit deluminanta, respectiv de saturatie a culorii. In acest capitol accentul se pune pe

70

Page 76: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.2. Amplificarea

aceasta varianta.Problema implica multiplicarea unei imagini de la un nivel dat la unul dorit.

Varianta de amplificare aleasa trebuie sa evite introducerea de artefacte (cum ar fisaturarea timpurie) care pot scadea calitatea imaginii. Dupa cum am discutat siın capitolele anterioare, modele neliniare de prelucrare a imaginilor ofera o solutiepotrivita pentru aceasta problema.

Avand ın vedere argumentele prezentate mai sus, se va structura restul capi-tolului curent dupa cum urmeaza: vom explica de ce modelele neliniare suntpotrivite pentru scopurile aplicatiei de fata, vom prezenta detaliile de implemen-tare ale amplificarii imaginilor subexpuse, pentru ca ın final sa discutam desprerezultatele obtinute si despre importanta practica a solutiei expuse.

4.2 Amplificarea

Inainte de a intra ın detalii de implementare, este important de stabilit de cemodelele neliniare de prelucrare a imaginilor sunt potrivite pentru aplicatia aleasasi, mai mult, care dintre variantele existente pot fi utile. Un prim argument,extras din ipotezele de lucru, se bazeaza pe faptul ca imaginile subexpuse carevor fi amplificate sunt imagini finale ale camerei digitale. Ele sunt o versiuneprelucrata conform functiei de transfer a camerei a scenei initiale respectiv a uneiharti de intensitate aflate ın relatie liniara cu scena initiala.

4.2.1 Modelul de amplificare

Acest algoritm va avea drept intrare imagini obtinute la capatul lantului de proce-sare din camera. Imaginea disponibila este transformata printr-un proces neliniarfata de versiunea care este direct dependenta de intensitatea luminii incidente.Functia care modeleaza aceasta transformare este functia de raspuns a camerei.Dupa cum am discutat ın sectiunea 3.7, ın majoritatea cazurilor, aceasta functieare o forma de tip gamma (vezi si [70]). In acest caz o formula de amplificareobtinuta dintr-un model neliniar continuu este potrivita. Dintre modelele exis-tente si deja descrise ın literatura sunt potrivite modelele cu structura algebricade spatiu conic, adica modelele propuse de Jourlin – Pinoli si de catre Vertan.Daca se doreste utilizarea unui model cu structura de spatiu vectorial atunci seva folosi doar jumatatea superioara a modelului.

Cel mai potrivit model pentru particularitatile aplicatiei de fata este modelulconstruit de Jourlin – Pinoli. Argumentul consta ın similaritatea demonstrata aacestuia cu sistemul vizual uman [81] (ın sensul ca amandoua respecta legea lui

71

Page 77: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.2. Amplificarea

Weber). Dupa cum am discutat, aceasta similaritate este ımpartasita si de catreaparatele fotografice digitale.

Totusi, chiar si ın conditiile acestei asemanari se poate argumenta ca rezultatelevor fi mai bune daca se va utiliza functia de raspuns a camerei ın loc de amplificareconform unui model neliniar. Motivul pentru care ın aceasta implementare seutilizeaza un asemenea model este legat de faptul ca ın acest mod putem oferi ointerpretare mai intuitiva algoritmului amplificare a imaginilor subexpuse.

4.2.2 Imaginile de intrare

Solutia de reducere a cantitatii de miscare ce produce manjirea unei poze constandın reducerea timpului de expunere urmata de amplificare este una cunoscuta ınlumea fotografilor.

Un exemplu tipic de compensare a miscarii prin subexpunere presupune, ınprimul rand achizitia unei poze cu timpul de expunere sensibil mai scurt decat celpropus de camera. Apoi, aceasta imagine este amplificata pana cand nivelele eide luminanta si culoare ajung la valorile unui nivel de referinta. Acest nivel dereferinta poate fi intrinsec cum este, de exemplu, cel oferit de catre ecuatia (3.5)(ecuatia ce dirijeaza algoritmul de auto–expunere), unde se utilizeaza o valoaremare pentru parametrul de amplificare (ISO), sau poate fi unul extern, ca deexemplu o alta imagine dupa cum se sugereaza de catre Sorek si Vitsundel [101].

In aceasta din urma abordare poate fi folosita drept referinta o imagine corectexpusa, care datorita unui timp mai mare de integrare al luminii incidente pesenzorul de imagine poate fi ıncetosata. In mod evident, aceasta imagine poateoferi o cantitate suplimentara de informatie comparativ cu un singur numar cumar fi ın cazul solutiei derivate din ecuatia (3.5). Pentru solutia propusa ın aceastalucrare, o cerinta importanta este existenta unei perioade de timp relativ scurteıntre momentul capturii pozei de referinta si momentul capturii imaginii princi-pale (imaginea subexpusa denumita imagine subiect). Se impune aceasta cerintasuplimentara pentru a preveni nealinierile geometrice, si, prin urmare, pentru aevita aplicarea procedurilor de ”image registration” (aliniere a imaginilor), carede pilda sunt necesare ın solutia propusa de catre Sorek si Vitsundel [101]; mo-tivul este ca aceste proceduri sunt recunoscute a fi mari consumatoare de timp siresurse (vezi si sectiunea dedicata alinierii imaginilor, 5.3).

Cerinta suplimentara impusa nu este imposibil de satisfacut mai ales ın cazulunui senzor de imagine de tip CMOS: dupa cum este prezentat si ın [5], este posi-bil ca citirea sarcinii electrice acumulate ın timpul expunerii sa nu fie distructiva.Pentru un asemenea caz se poate ıncepe expunerea (lumina incidenta sa afectezesenzorul de imagine) iar dupa un timp scurt sa se citeasca, fara descarcare, valorile

72

Page 78: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.2. Amplificarea

acumulate ın fotodetectori; aceste valori vor forma imaginea subiect (subexpusa).Mai departe, acumularea de sarcina datorata luminii incidente continua, iar ulte-rior, la timpul stabilit de algoritmul de auto-expunere, se citeste imaginea expusanormal (imaginea de referinta).

4.2.3 Algoritmul

Sa formalizam descrirea algoritmului de compensare de expunere. In continuare,vom nota imaginea subiect (subexpusa) cu F (i, j), unde i = 1, . . . N , j = 1, . . . P ;rezolutia acestei imagini este N × P . Imaginea de referinta (care se va notacu G(i, j)), poate avea aceeasi rezolutie sau una inferioara imaginii subiect. Dacasunt utilizate rezolutii diferite, se poate aplica un algoritm oarecare de interpolare,ca de exemplu ”cel mai apropiat vecin”, [82], si sa se creasca valorile rezolutieiimaginii de referinta la cele ale rezolutiei maxime (N × P ).

Algoritmul de amplificare functioneaza ın doua etape: ıntr-o prima etapa seefectueaza o amplificare bruta cu parametri calculati global; mai tarziu, ın ceade a doua etapa se ”rafineaza” valorile individuale ale pixelilor prin luarea ınconsiderare a unei informatii extrase din vecinatati locale.

Fiind date cele doua imagini, G si F , amplificarea bruta este efectuata prinutilizarea unui set redus de pixeli alesi din fiecare imagine de la aceeasi locatie.Sa consideram GS ⊂ G setul de pixeli din imaginea de referinta si respectiv FS ⊂F setul de pixeli corespunzatori, alesi din imaginea subiect. Cu ajutorul unuialgoritm clasic de regresie liniara, (un asemenea exemplu poate fi urmarit ın [49])vom calcula doi coeficienti, c1 si c2 astfel ıncat setul redus din imaginea de referintasa poata fi obtinut ca o functie liniara din imaginea subiect:

GS ≈ c1FS + c2 (4.1)

Utilizand aceasta pereche de coeficienti, vom calcula o prima versiune a imag-inii amplificate, F1:

F1 = c1F + c2 (4.2)

Aceasta imagine corespunde solutiei clasice de refacere a expunerii utilizandu-se o imagine de referinta. Dezavantajul unei astfel de abordari este ca rezultateleobtinute sunt extrem de dependente de modalitatea de a alege setul redus de pi-xeli, care poate sa fie sau poate sa nu fie reprezentativ pentru ıntreaga imagine.Daca algoritmul utilizeaza imaginii de rezolutie maxima, atunci defectele imaginiide referinta (care, sa nu uitam, este foarte probabil degradata de blur de miscare)pot fi transferate imaginii subiect. Mai mult, daca ın ecuatia (4.1) este utilizatamultiplicarea clasica a numerelor reale, rezultatul este sensibil la depasiri de dome-niu (saturare timpurie ın zonele de luminanta mare). Prin urmare, o implementare

73

Page 79: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.2. Amplificarea

bazata pe o formula de multiplicare conform unui model neliniar este mai practicafiindca nu se va depasi niciodata domeniul de definitiei al imaginilor.

Cel de-al doilea pas al algoritmului, amplificarea fina, se realizeaza local, ınsensul ca factori de amplificare diferiti sunt utilizati pentru pixeli diferiti. Pentrua fi mai explicit, se va determina matricea W (i, j), cu i = 1, . . . N si, respectiv,j = 1, . . . P , astfel ıncat:

F2(i, j) = W (i, j)F1(i, j),∀i, j (4.3)

Calculul coeficientilor matricei W se bazeaza pe teoria filtrelor adaptive uni-dimensionale, [100]. Acestea au avantajul de a fi, ın mod evident, mai eficientedin punct de vedere computational doarece se potrivesc mai bine pe idea uneimemorii de imagine liniara (uni–dimensionala). Implementarea exacta presupuneutilizarea unui filtru adaptativ cu un singur coeficient. Dar, mai ıntai, imagi-nile bidimensionale sunt transformate ın vectori unidimensionali, prin ordonarelexicografica:

{W (i, j), F1(i, j)} = {W (k), F1(k)}, k = (i− 1)P + j (4.4)

Ecuatia care descrie modul ın care se actualizeaza filtrul este modificare aalgoritmului LMS (Least Mean Square - ”cele mai mici patrate”). In variantacurenta, algoritmul face uz de faptul ca datele de intrare sunt ıntotdeauna pozitive:

W (k + 1) = W (k) + μ(k)e(k) , (4.5)

unde μ(k) este de dimensiunea pasului (care poate fi fix sau variabil), iar e(k) estesemnalul de eroare si poate fi calculat conform:

e(k) = G(k) − F2(k) (4.6)

Pentru o implementare precisa, se poate utiliza o dimensiune fixa a pasului(cum ar fi, de exemplu μ(k) = 0.005, ∀k = 1, . . . NP ) si se poate initializa filtrulcu elementul neutru al multiplicarii: W (1) = 1.

Dupa cum am mentionat ın paragrafele anterioare, daca se utilizeazaınmultirea standard ın ecuatia (4.3), cazurile de depasire a limitei superioare agamei dinamice a imaginilor (255) sunt frecvente, mai ales ın zonele luminoase.Mai mult, ın aceeasi ipoteza de amplificare liniara, daca algoritmul se va extindepentru imagini color (multi-planare) prin replicarea algoritmului de amplificare ınmod independent pe fiecare plan de culoare, imaginea rezultanta va avea zone cunivelul de culoare suprasaturat. Pentru a preveni aceste probleme, se folosestemultiplicarea logaritmica (sau, prin extensie, neliniara).

74

Page 80: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.3. Rezultate

Aplicarea ın practica a metodei descrise poate fi simplificata. Mai precis, ınamplificarea bruta se poate utiliza un singur coeficient (transformarea afina devineliniara):

F1 = c1F (4.7)

Acest factor de amplificare, c1, are valori continue. Pentru implementare, gamalui dinamica poate fi redusa la un set finit de valori. In acest caz, amplificarealocala, daca se utilizeaza modelul Jourlin - Pinoli, poate fi rescrisa ca:

F2(k) = D −D

(1 − F1(k)

D

)W

(k), ∀k (4.8)

unde D este intensitatea maxima a imaginii. Daca ecuatia (4.8) este considerataprea dificila pentru a fi pusa ın aplicare, atunci ea poate fi ınlocuita cu o variantaextrasa dintr-un model neliniar mai simplu sau, cel mai eficient, cu un set finit detabele asociate valorilor discrete ale factorului de amplificare. Aceste simplificarise pot efectua fara pierderi semnificative de calitate a imaginii.

4.3 Rezultate

Pentru a ilustra functionalitatea metodei expuse, am considerat o imagine subex-pusa a unei scene continand harta de calibrare Gretag Macbeth, iluminata neuni-form (gradual, mai puternic ın partea superioara si mai slab ın partea inferioara),plasata pe un suport de lemn. Imaginile de intrare (adica imaginea de referinta siimaginea subiect), precum si rezultatele obtinute pot fi vazute ın figura 4.1.

Imaginea de referinta (4.1 subgraficul (b)) si imaginea subiect (subgraficul (a))au fost obtinute cu un aparat fotografic digital de nivel mediu tinut ın mana; dinacest motiv, ele sunt susceptibile la degradare din cauza miscarii mainii. Imagineasubexpusa (imaginea subiect), (afisata ın figura 4.1, subgraficul (a)) a fost obtinutaprin fortarea expunerii la valoarea EV = −2 (timpul de expunere la un sfert dintimpul de expunere al imaginii de referinta). Imaginea ideala (care nu a fostafectata de miscare mainii) a fost ınregistrata cu acelasi aparat de fotografiat, darmontat pe un trepied si cu expunerea programata sa porneasca la un interval detimp dupa apasarea declansatorului pentru a anula orice componenta inertiala atremuratului asociat apasarii pe butonul respectiv.

Printre rezultatele afisate, se poate vedea imaginea obtinuta cu metoda prezen-tata ın acest capitol (d), imaginea obtinuta prin algoritmul de amplificare descris,dar cu operatii conform modelului clasic [65] – afisata ın subgraficul (e) (ima-gine care este, evident, saturata ın partea superioara - pe suportul de lemn) si,respectiv, imaginea obtinuta cu o aplicatie uzuala de prelucrare a imaginilor cu

75

Page 81: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.3. Rezultate

XX LOG LIN Auto

EV =- 1 0.0053 0.0214 0.0120

EV =- 2 0.0063 0.0254 0.0182

Tabela 4.1: Valori ale erorii patratice medii normalizate (NMSE) obtinute ıncazul amplificarii logaritmice, amplificarii liniare si respectiv ın cazul folosirii auto-contrastului. Datele au fost calculate pentru cazul ın care imaginea subiect a fostsubexpusa cu EV = −1 sau cu EV = −2.

metode tipice: aplicarea unei optini de ”auto–contrast” urmata de ”auto–saturareautomata”, afisata ın subgraficul (f). Ultima posibilitate este bine cunoscuta sifrecvent folosita ın lumea fotografilor amatori; rezultatul obtinut ın acest modsufera de o reproducere defectoasa de culoare. In ıncheiere, sa evidentiem ce esteusor observabil: cele mai bune rezultate sunt obtinute prin utilizarea amplificariiın doi pasi cu multiplicare conform unui model neliniar de prelucrare a imaginilor.

In continuare, ulterior inspectiei vizuale directe (evaluarii subiective initiale),am considerat o procedura de testare extensiva, cu imagini a unor scene core-spunzatoare unor scenarii diferite. Achizitia acestor imagini a implicat con-strangerea urmatoare: nu trebuie sa existe o aliniere gresita ıntre imaginea idealasi imaginea subiect. In aceste conditii, se poate calcula o valoare a erorii patraticenormalizata la numarul de pixeli:

NMSE =1NP

N∑i=1

P∑j=1

(I(i, j) − F (i, j))2 , (4.9)

unde I(i, j) este imaginea ideala folosita drept referinta pentru acest experiment,iar F (i, j) este imaginea de evaluat.

Un scurt rezumat al rezultatelor obtinute poate fi vazut ın tabelul 4.1. Dupacum usor se poate observa, rezultatele se degradeaza daca se creste factorul desubexpunere (sau, altfel spus, se scurteaza din ce ın ce mai mult timpul de ex-punere). Totusi este important sa se evidentieze ca amplificarea logaritmica oferacele mai bune rezultate ın toate conditiile investigate.

In final trebuie spus ca metoda are performante limitate ın cazul ın care seutilizeaza imagini subexpuse cu mai mult de EV = −2. Un asemenea exemplupoate fi vazut in figura 4.2 unde se poate observa lipsa de saturatie si acuratete areproducerii culorilor. Deasemenea, ın acelasi caz al subexpunerii severe, raportulsemnal zgomot scade semnificativ ın imaginea subiect, caz ın care imaginea rezul-tanta poate fi de o calitate ındoielnica; de aceea este necesar ca aceasta solutie

76

Page 82: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.3. Rezultate

a) b)

c) d)

e) f)

Figura 4.1: (a) Exemplu de imagine subiect, subexpusa, (b) Imaginea de referinta,degradata cu blur de miscare, (c) Imaginea ideala, (d) Imaginea amplificata loga-ritmic, (e) Imagine amplificata liniar, (f) Imagine obtinuta ın urma procedurilorde ”auto–contrast” si ”auto–saturare”.

sa fie ınsotita de un algoritm de reducere a zgomotului. O alta problema estecea a existentei unor valori mari pentru diferenta de aliniere ıntre imagini; testeleefectuate au demonstrat ca o valoare de 30 de pixeli pentru o imagine de 5 Mpixelconstituie maximul acceptabil ın conditiile neutilizarii unui algoritm de aliniere.

77

Page 83: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

4.3. Rezultate

In aceste conditii, chiar daca metoda expusa ın aceasta sectiune este cea mai deviabila, rezultele obtinute nu trec de o inspectie vizuala.

a) b) c)

Figura 4.2: Exemplu ın care metoda prezentata ısi arata limitele. Imagineasubiect (a) a fost subexpusa cu trei stopuri (EV = −3) si chiar daca este am-plificata logaritmic (c) prezinta evidente diferente de nuanta fata de imaginea dereferinta (b)

Urmand etapele descrise ın acest capitol, metoda de amplificare a imaginiloreste suficient de simpla pentru a fi implementata ın software-ul (adica ın platformacompusa din procesorul de uz general, magistrala si memorie) al celor mai multearhitecturi de camere fotografice digitale. Solutia hardware (circuite speciale pen-tru aceasta metoda), desi este viabila, datorita simplitatii metodei, ar presupuneun cost de constructie al echipamentelor dedicate ce nu poate fi compensat desurplusul de viteza adus.

In acest capitol am descris o metoda de compensare a subexpunerii care faceuz de similitudinile ıntre functia de raspuns a unui aparat fotografic digital simultiplicarea cu un scalar conform unui model neliniar de prelucrare a imagini-lor. Metoda presupune doua etape (o amplificare bruta ce utilizeaza parametricalculati global, urmata de o amplificare fina ce utilizeaza informatii locale). Eapoate fi implementata cu usurinta pe orice platforma de interes: fie ın aparatelefotografice digitale existente, fie ın telefoanele mobile ce ıncorporeaza o asemeneacamera

Aceasta metoda a fost descrisa ın brevetul de inventie [5] respectiv ın articolul[36]. Metoda este incorporata ın pachetul comercial FotoMotion dezvoltat dedivizia de Smart Imaging (fosta FotoNation) al companiei multi-nationale Tessera.Metoda este protejata din punct de vedere al dreptului de autor de catre portofoliulde brevete de inventii al companiei mentionate.

78

Page 84: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 5

Extinderea gamei dinamice a

imaginilor digitale fotografice

5.1 Punerea problemei

Orice scena naturala contine un numar impresionant de intensitati si nuantediferite. Ochiul uman, pe langa capacitatea de adaptare la diferite conditii deiluminare, mai are si o potenta deosebita de a detecta variatii subtile de contrast.In paralel, o camera digitala obisnuita, prin variatia aperturii si respectiv a timpu-lui de expunere este capabila sa se adapteze diferitelor valori medii de iluminare,dar avand un numar finit de nivele de gri cu care se poate reprezenta o scenadata (tipic 256), este departe de ochiul uman ın aceasta privinta [18]. Numarul denivele de gri reprezentabile este dat de gama dinamica a camerei. Problema ex-tinderii gamei dinamice a camerelor digitale devine un pas important ın atingereaunui scop mai profund: sisteme care sa aiba aceleasi capabilitati ca si oamenii.

Aceste metode, ın domeniul prelucrarii si analizei de imagini sunt cunoscutesub denumire de ”algoritmi de HDR”1 sau ”metode de HDRI2”. Scopul declarat alacestor metode este acela de a permite o reprezentare precisa a unei game largi denivele de intensitate luminoasa existente ın scenele reale ın care iluminari puternicese ımpletesc cu umbriri.

Un scurt istoric al acestor metode ıncepe ın anii 1930-40 (vezi [1]) cu ıncercarilelui Charles Wyckoff, fotograful care a imortalizat ın direct testele efectuate pentruıncercarile a ceea ce vor fi catastroficele explozii nucleare. Procesul de combinarea mai multor imagini cu diferite expuneri rezultand ıntr-o singura imagine cu oharta mult mai mare de nivele a fost expus publicului pentru prima oara ın 1993,

1”HDR” reprezinta acronimul pentru High Dynamic Range - Gama Dinamica Extinsa2HDR Imaging

79

Page 85: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.1. Punerea problemei

[69]. In 1997, aceasta tehnica a combinarii mai multor cadre pentru a crestegama dinamica a fost prezentata, la nivel teoretic, comunitatii de cercetatori deprelucrare a imaginilor de catre Paul Debevec, [28], pentru ca ın anul urmator[27], acelasi autor sa ısi demonstreze pe viu tehnica prezentand imagini deosebitde realiste ale unei sfere pe jumatate iluminate, iar pe jumatate umbrite.

Considerand aceste date initiale, ın acest moment, se poate prezenta o struc-tura pentru restul capitolului prezent. Vom intra ın problematica gamei dinamiceprin a defini notiunile de baza si a detalia capabilitatile camerelor digitale respec-tiv ale ochiului uman ın aceasta privinta. Ulterior, vom discuta despre achizitiaimaginilor ın camere digitale, ın scopul combinarii mai multora ıntr-una singura,astfel ıncat sa obtinem imagini rezultante cu gama dinamica extinsa. Solutia cla-sica este de a achizitiona mai multe imagini care sa surprinda diferite portiuni aleunei game dinamice ideale (extinse) si apoi sa se aplice algoritmi de combinare.Achizitia cadrelor poate fi succesiva, cu un aparat de uz general, caz ın care estenevoie de pre-aliniere a cadrelor (iar o scurta trecere ın revista a metodelor dealiniere este subiectul sectiunii 5.3) sau simultana cu un aparat modificat specialpentru acest scop.

O data ce au fost obtinute cadrele, este necesar ca acestea sa fie combinate con-form unui algoritm. Acesti ”algoritmi de HDR” pot folosi doar informatia data deimaginile initiale sau pot folosi informatie suplimentara (cum ar fi cea de expunerea fiecarui cadru). O prezentare a acestor metode, precum si propunerile personalepot fi urmarite ın sectiunea dedicata fuziunii imaginilor 5.4. Rezultatele obtinuteprecum si solutii de evaluare ale calitatii acestora vor fi prezentate ın sectiunea5.5. Capitolul se va ıncheia cu prezentarea unei aplicatii practice a algoritmilorde crestere a gamei dinamice; aceasta fiind destinata domeniului medical este deo relevanta semnificativa .

5.1.1 Gama dinamica

Gama dinamica a unui sistem digital consta ın numarul de nivele diferite pe careacesta le poate prezenta. Daca semnalul digital este notat prin X, atunci gamadinamica a semnalului se calculeza conform:

DR =Xmax −Xmin

q, (5.1)

unde Xmax si Xmin sunt valoarea maxima, respectiv minima a semnalului, iar qeste pasul de cuantizare. Daca domeniul de definitie al unui semnal discret estede forma {Xmin = q, 2q, . . . , Xmax}, asa cum este ın cazul unei camere digitale,atunci gama dinamica este:

DR =Xmax

Xmin. (5.2)

80

Page 86: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.1. Punerea problemei

Fiindca ın multe situatii practice se ating valori deosebit de mari, se foloseste oscala logaritmica, iar valorile rezultante sunt date ın decibeli:

DR = 10 log(Xmax

Xmin

)[dB] . (5.3)

O masura ce are o definitie similara cu gama dinamica este reprezentata decontrast. Definitia acestuia, [104], desi similara nu este identica cu cea a gamei di-namice pentru o camera digitala. Diferenta ıntre cele doua masuri nu este evidenta.Gama dinamica presupune existenta tuturor valorilor ıntre valoarea maxima si res-pectiv cea minima (gama dinamica este de fapt numarul de valori diferite folositesau folosibile), ın timp ce contrastul este strict legat de valoarea minima si maxima.De obicei, cresterea de gama dinamica are drept consecinta scaderea constrastuluilocal.

5.1.2 Gama dinamica a unui combinatii de imagini

Dupa cum au observat Grossberg si Nayar, [52], simpla sumare a unui set decadre cu expuneri diferite pastreaza informatia initiala. In acest caz, un amestecde imagini avand expunerea maxima respectiv minima ın relatia emax = γemin vapermite, teoretic, formarea unei imagini cu gama dinamica data de relatia:

DR = 10 log(Imax

Imin

emax

emin

)= 10 log γ + 24.08[dB] . (5.4)

Pentru furnizarea valorilor numerice din aceasta ecuatie am considerat cadigitizarea este pe 8 biti caz ın care Imax = 256Imin. De exemplu, daca sepresupune ca sunt 4 expuneri ale aceleeasi scene astfel ıncat emax = e4 =2e3 = 22e2 = (22)2e1 = 64e1 = 64emin, atunci gama dinamica totala va aveaDR = 10 log(64 × 256) = 42.13dB fata de DR = 10 log 256 = 24.08dB cat eragama dinamica originala.

Ecuatia (5.4) arata ca pentru a furniza o imagine cu o valoare mare a gameidinamice este suficient sa combinam doua cadre avand un nivel ınalt al raportului γ(de exemplu una puternic supraexpusa cu una ce are un nivel mediu aproape nul).Totusi, o asemenea abordare conduce doar la o valoare numerica mare a gameidinamice, nu si la o calitate vizuala a imaginii rezultante satisfacatoare. Este multmai natural sa utilizam un set de cadre avand valorile de expunere consecutivesi care, ın plus, prezinta diferente rezonabile ıntre intensitatile raportate pentruaceeasi locatie. Aceasta abordare permite obtinerea unei valori mari pentru gamadinamica precum si o calitate vizuala satisfacatoare.

81

Page 87: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.1. Punerea problemei

5.1.3 Ochiul uman, dispozitive de redare si camere digitale

Am afirmat la ınceputul acestui capitol ca ochiul uman este capabil sa distingamai multe nivele de gri decat cele 256 achizitionate de o camera si, ın consecinta,are o gama dinamica mai mare. Este aceasta afirmatie complet adevarata?

Un set de experimente conduse de catre Blackwell, [14] ın anii 40 si reite-rate mai recent (1990) de catre Clark, [24], definesc valorile acestor parametrii aiochiului ca fiind:

• contrast total (la momente diferite de timp) 1 : 106;

• contrast local (o scena unica, un singur moment de timp) 1 : 104;

Cele mai performante camere actuale sunt capabile sa furnizeze date brute(format RAW) pe 14 biti. In concluzie, dupa cum observa si Briot ın studiul saudedicat evolutiei camerelor digitale comparativ cu ochiul uman, [17], acesta dinurma este mai performant decat cele mai evoluate camere digitale, iar unul dintreaspectele care confera aceasta superioritate este gama dinamica la un moment detimp.

Un alt aspect al problemei este legat de dispozitivele de redare a imaginilor.Este ridicol sa se dezvolte sisteme de achizitie si aparate de fotografiat digitale cugama dinamica mare, dar informatia suplimentara sa se piarda datorita limitarilordispozitivelor de afisare. Din fericire, realitatea practica ne arata ca nu este cazul.Un studiu efectuat de catre Mantiuk & al., [71], dedicat dispozitivelor de afisare,raportate la acelasi ochi uman subliniaza ca, deja ın zilele noastre, monitoarece nu sunt neaparat dedicate exclusiv studiului imaginilor pot oferi valori alecontrastului de ordinul 1 : 10000 sau chiar 1 : 50000. In acest caz, dupa cumsubliniaza si Reinhard [91] ın volumul dedicat tehnicilor de extindere a gameidinamice, acestea au finalitate practica pentru ca se pot afisa imagini cu gamadinamica extinsa pe dispozitive de redare a imaginilor.

Exista si o solutie alternativa, aplicabila ın cazul monitoarelor ”de duzina”,[40]. Acesta este dedicata imaginilor monocromatice (tonuri de gri) si implicautilizarea unui monitor standard, cu afisaj RGB si 224 culori disponibile, ın carese poate folosi o harta de culori desaturate (ın numar mai mare de 256), dar caresunt percepute de ochiul uman ca si tonuri de gri.

Totusi pentru imagini color afisate pe dispozitive standard, doar un numarlimitat de nivele vor fi percepute ca diferite. Pentru aceasta situatie, efectul unuialgoritm de HDR este de a oferi vizibilitate anumitor detalii care ın mod normalar fi ın afara domeniul initial. Sau, cu alte cuvinte, daca se face referinta la ecuatia(5.1), modificam Xmin si Xmax pentru a extinde gama dinamica, dar pentru a afisaın limitele impuse de catre monitor va fi necesara o rescalare a imaginii rezultante.

82

Page 88: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.2. Achizitia cadrelor cu expuneri variate

5.2 Achizitia cadrelor cu expuneri variate

In acest capitol se vor prezenta cateva detalii constructive ale achizitiei de cadrecu camere fotografice digitale ın vederea combinarii astfel ıncat sa rezulte imaginicu gama dinamica crescuta. De fapt ne intereseaza cateva aspecte. In primul randde interes sunt particularitatile achizitiei ce determina modalitatile de a concentraın imagini diferite parti diferite dintr-o scena cu o amplitudine mare a variatieide intensitate. Mai departe, ne intereseaza daca trebuie sa realiniem imaginile,pentru ca achizitia a fost desfasurata la momente consecutive, iar sistemul sauscena nu au fost perfect imobile. In cele din urma ne intereseaza daca imagineacaptata este ın relatie liniara cu radianta scenei captate, sau a fost trecuta prinfunctia de transfer a unei camere.

Fiind data o scena si, implicit, fiind fixata o harta de radianta si fiind data ocamera cu parametrii caracteristici determinati prin constructie, expunerea nor-mala este obtinuta cu ajutorul acelor valori care produc egalitate ın membrul stangal ecuatiei (3.5). Prin intermediul procesarilor din camera, se va obtine o harta deintensitate luminoasa corespunzatoare scenei, care la randul ei va forma imagineafinala. Primele solutii de ajustare a intensitatii luminoase raportate sunt oferiteprin modificarea parametrilor ecuatiei (3.5), ın conditiile ın care lumina incidentaeste fixa. In acest sens, se poate varia:

• Timpul de expunere. Acesta solutie este cea mai des ıntalnita. In imple-mentarea clasica, [27], cadre cu diferite valori ale timpului de expunere suntachizitionate consecutiv. Dezavantajul acestei variante este reprezentat deconstrangerea ca scena sa fie fixa, adica fara obiecte ın miscare, obiecte cear putea crea diferente de aliniere ıntre cadrele componente. Totusi, chiarsi ın acest caz al a scenei imobile, dupa cum am discutat ın capitolul 4, ınsituatia unei camere tinute ın maini, se poate sa existe diferente geometricede aliniere ıntre cadre.

• Apertura. Aceasta solutie este mai putin practica pentru ca variatia aper-turii implica variatia zonei aflate ın focus. Se stie ca o deschidere mare deapertura da o senzatie puternica de adancime, ın timp ce o apertura micaface ca ıntreaga scena–subiect sa fie ın zona de claritate maxima (focus) (vezidiscutia din capitolul 3.3.1). Daca scena este planara atunci variatia aper-turii constituie ıntr-adevar o optiune viabila, cu aceeasi limitare mentionataa achizitiilor consecutive.

• Amplificarea. Aceasta nu este o optiune pentru ca amplificand un semnal,raportul semnal–zgomot ramane constant; asadar cantitatea de informatie

83

Page 89: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.2. Achizitia cadrelor cu expuneri variate

continuta de catre aceste nu creste.

• Constanta de scalare. Aceasta este functie de optica aparatului, de dimen-siunea ariei foto-sensibile si de alti parametri constructivi ai camerei. Inaceasta directie, ın literatura de specialitate s-au sugerat mai multe posi-bilitati:

– Saito, ıntr-o succesiune de metode brevetate, [94], [95], propune uti-lizarea unei prisme de divizarea a fluxului optic ın mai multe subfluxuriidentice ca si distributie spatiala, dar de intensitati diferite. Acestea,la randul lor, vor produce mai multe imagini ale aceleiasi scene, iarfiecare imagine va fi achizitionata folosind un detector diferit. In modevident metoda poate functiona ın mod real, dar prezenta mai mul-tor detectoare duce la cresterea costului de fabricatie si a dimensiuniiaparatului.

– In cadrul unei scene statice lumina ce ajunge pe diferiti foto-detectorisa fie atenuata ın mod diferit prin modificarea filtrelor optice plasatedeasupra foto-detectorului. Aceasta solutie, propusa de Nayar si Mit-sunaga [74], [75] (vezi si figura 5.1) are avantajele unei achizitii simul-tane, dar cu o crestere a costului de fabricatie al senzorului.

– Fotodetectori diferiti sa aiba arii fotosensibile diferite. Sarcina fiecaruisenzor este proportionala cu aria fotosensibila. In acest fel se vor crea,ın cadrul unei singure expuneri doua versiuni ale scenei cu game di-namice diferite. Prin mixarea celor doua se va extinde gama dinamicaa imaginii rezultante. Prima mentionare a unui astfel de sistem (cu unalt scop) s-a ınregistrat la mijlocul anilor 80, [54], pentru ca ın anii 90solutia sa fie reluata si dezvoltata, [73]. Chiar daca aceste propuneri aufost sub forma de patente, si deci oarecum accesul la ele a fost ıngradit,firma Fuji a marsat ın continuare pe aceeasi directie, [111]. In prezent,aceasta solutie este brevetata si este detinuta de catre firma mentionata,iar produsul este comercializat publicului larg sub denumirea de FujiSuperCCD [15], (vezi si figura 5.2).

Dintre variantele expuse, primele solutii, adica variatia timpului de expunere sirespectiv variatia aperturii, sunt diponibile oricui poseda o camera fotografica cepermite reglarea manuala a unora sau a tuturor parametrilor de expunere. In an-titeza, ultimele metode expuse, si anume cele care presupun modificarea constan-tei de absortie a camerei, necesita sisteme dedicate nefiind disponibile publiculuilarg. Urmand aceeasi linie, modalitatea de achizitie ce implica variatia expunerii

84

Page 90: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.2. Achizitia cadrelor cu expuneri variate

presupune cadre consecutive; acestea sunt susceptibile de a fi ne-alineate; prinmodificare constantei camerei se rezolva acest impediment. Totusi, cel mai buncompromis ıntre costul aferent (deosebit de ridicat ın cazul dezvoltarii unor sistemededicate) si dezavantaje ıl reprezinta achizitia unor cadre consecutive cu timpi deexpunere diferiti.

Figura 5.1: Extinderea gamei dinamice prin achizitie simultana pe un senzor cufotodetectori ınvecinati cu atenuari optice diferite (e0 > e1 > e2 > e3). Solutiepropusa de Nayar si Mitsunaga.

Figura 5.2: Senzorul Fuji SuperCCD: Extinderea gamei dinamice prin utilizarede fotodetectori cu arii fotosensibile diferite: fotodetector de arie mare (S) pentruluminanta scazuta si respectiv de arie mica (R) pentru zone puternic iluminate.

85

Page 91: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.3. Tehnici de aliniere a cadrelor

5.3 Tehnici de aliniere a cadrelor

In cazul achizitiei consecutive a cadrelor diferit expuse este destul de probabilao deplasare a sistemului de achizitie, caz ın care, ınainte de mixarea propriu-zisaeste necesara re-alinierea imaginilor. Acesta tehnica, denumita uneori si ”imageregistration” (ınregistrarea imaginilor) se refera la alinirea geometrica a mai mul-tor cadre ce reprezinta aceeasi scena, pe baza potrivirii continutului. In general,solutiile existente determina situarea aceleiasi forme ın cadrele disponibile, iardiferenta ıntre pozitiile lor relative este utilizata drept masura a translatiei ıntrecadre. Translatia determinata este folosita ulterior la re-aliniere, pas necesar pen-tru a suprapune perfect cadrele.

Problema alinierii imaginilor a fost dezbatuta pe larg ın literatura de spe-cialitate, existand mai multe abordari disponibile. Un sumar al acestora poatefi urmarit, de exemplu, ın [97] sau ın [114]. Cele mai multe descrieri clasificametodele de aliniere ın metode ce se bazeaza pe potrivirea de blocuri, pe potrivirede contururi, pe cautare dupa obiecte sau ın metode de potrivire globala.

5.3.1 Metode de aliniere pe baza de divizare ın blocuri

Metodele de aliniere pe baza de divizare ın blocuri constituie cea mai popularatehnica de determinare a translatiei relative ıntre doua imagini, [62]. Principiulgeneral de functionare presupune existenta a doua cadre: unul de referinta siunul ın care se va efectua cautarea propriu-zisa. Cadrul de referinta este divizatın blocuri dreptunghiulare de pixeli de dimensiune prestabilita. O dimensiunemai mare a blocului conduce la rezultate mai precise, dar cu costul unor calculemai laborioase. O conditie obligatorie impusa divizarii imaginii ın blocuri este caacestea sa fie, daca nu disjuncte, macar diferite.

Algoritmul de cautare presupune fixarea unei imagini drept referinta si fiecarebloc din aceasta este cautat ıntr-o zona predeterminata (sau altfel spus se pre-supune o valoare maxima a deplasarii relative) ın raport cu pozitia lui originaladin cealalta imagine, denumita imagine subiect. Rezultatul cautarii este reprezen-tat de o pereche de valori ale deplasarii (latitudinala, respectiv longitudinala)relative la primul cadru. Schema generala a metodei de cautare pe blocuri poatefi vazuta ın figura 5.3.

In continuare, vom considera ca un bloc din cadrul de referinta de dimensiuniNb ×Mb, notat cu x, este comparat cu un bloc din cadrul de cautare, y, deplasatcu α si respectiv β. Pentru determinarea celei mai bune potriviri se pot utilizamai multe criterii. O rezumat concis al acestora poate fi urmarit ın [98]:

1. Minimizarea distantei L1 (suma diferentelor absolute a valorilor din cele

86

Page 92: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.3. Tehnici de aliniere a cadrelor

Figura 5.3: Schema generala utilizata ın cadrul metodelor de aliniere bazate pepotrivirea blocurilor de imagine.

doua cadre):

εα,β =Nb∑i=1

Mb∑j=1

|x(i, j) − y(i+ α, j + β)| (5.5)

Translatia ıntre cele doua cadre este data de perechea (α, β) care mini-mizeaza valoarea εα,β .

2. Minimizarea distantei L2 (suma patratelor diferentelor valorilor din celedoua cadre):

εα,β =Nb∑i=1

Mb∑j=1

(x(i, j) − y(i+ α, j + β))2 . (5.6)

3. Maximizarea coeficientului de intercorelatie ıntre valorile celor doua cadre:

ρα,β =

∑Nbi=1

∑Mbj=1 (x(i, j) − x) (y(i+ α, j + β) − y)√∑Nb

i=1

∑Mbj=1 (x(i, j) − x)2 (y(i+ α, j + β) − y)2

. (5.7)

Translatia ıntre cele doua cadre este data de perechea (α, β) care maxi-mizeaza valoarea ρα,β .

Concluziile practice confirma ceea ce ne dezvaluie si simpla analiza a for-mulelor (5.5), (5.6), (5.7): cele mai bune rezultate se obtin prin utilizarea co-eficientul de intercorelatie, dar cu dezavantajul utilizarii unui set important deresurse computationale; la capatul opus se afla utilizarea erorii construite pe bazadistantei L1 (calitate minima, dar relativ putin costisitor din punct de vedere alresurselor utilizate), ın timp ce eroarea patratica este compromis util ın practica.

Pentru a obtine rezultate optime este necesar sa se considere toate locatiileposibile din zona de cautare; aceasta abordare este denumita cautare completa(”full search” – [34]). Pentru a se obtine valoarea translatiei globale ıntre cele

87

Page 93: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.3. Tehnici de aliniere a cadrelor

doua cadre se mediaza toate valorile obtinute pentru deplasarea independenta ablocurilor. Variante sub-optimale ısi propun reducerea resurselor necesare (puterede calcul, timp alocat) cu conservarea rezultatelor (pe cat este posibil). Sim-plificari practice presupun utilizarea unui set mai redus de blocuri sau cautarepe baza de zone de contururi [21] sau, mai simplu, pe baza de colturi (contururiperpendiculare), [113].

5.3.2 Metode de potrivire globala

Metoda de cautare completa, desi foarte eficienta, este foarte complexa din punctde vedere al costului implementarii. O alternativa consta ın utilizarea metodelorde potrivire globala ın care imaginile sunt considerate ca un tot unitar. Acestetehnici sunt mai eficiente, dar totodata si mai sensibile la diferente de rotatiesau la diferente masive de continut ıntre cadrele considerate. Cele mai multedintre variantele cunoscute se bazeaza pe proprietatea de translatie ın timp atransformatei Fourier, F : o translatie ın domeniul de baza, cum ar fi timpul, t,produce un salt ın faza spectrului semnalului:

F [x(t+ t0)] (ω) = F [x(t)] (ω) · e−jωt0 , (5.8)

unde to reprezinta amplitudinea translatiei initiale.Varianta initiala, propusa de Kuglin & Hines, [63], si reluata de Averbuch &

Keller, [8], utilizeaza imaginile ıntregi pentru a obtine o pereche de spectre bi-dimensionale. In acest caz valoarea maxima a diferentei spectrelor este egala, ınmod direct, cu perechea {translatie longitudinala – translatie latitudinala} exis-tenta ıntre cadrele considerate. Totusi si acesta abordare, deoarece presupunecalculul spectrului ıntregii imaginii prin utilizarea transformatei Fourier, adica unspatiu de memorie cel putin de doua ori mai mare decat o imagine (cate una pentrupartea reala si respectiv partea imaginara a spectrului), este destul de laborioasa.

Variante mai eficiente din punct de vedere al eficientei calculului se obtindaca se determina ın mod independent translatiile corespunzatoare celor douaaxe. O metoda eleganta de trecere de la imaginea bidimensionala fi,j (undei = 1, . . . , N si, respectiv, j = 1, . . . ,M) la o pereche de vectori unidimension-ali xi, i = 1, . . . , N , respectiv yj , j = 1, . . . ,M este sugerata de catre Sauer siSchwartz, [96], si a fost denumita proiectie integrala. Cei doi vectori se obtin

88

Page 94: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.3. Tehnici de aliniere a cadrelor

ınsumand, pur si simplu liniile, respectiv coloanele:

xi =M∑

j=1

fi,j

yj =N∑

i=1

fi,j .

(5.9)

In acest mod, o problema de aliniere bidimensionala a fost transformata ındoua probleme unidimensionale, care la randul lor pot fi rezolvate prin tehnicilecunoscute. Pentru determinarea translatiei ıntre cele doua cadre este suficient sase determine deplasarea ıntre vectori corespunzatori obtinuti prin proiectie. In[96] se propune utilizarea coeficientului de intercorelatie, dar analiza complexitatiiarata ca utilizarea diferentei de faza calculata cu ajutorul transformatei Fourier,adica conform ecuatiei (5.8), este mai eficienta.

Metoda de proiectie integrala, care si ea necesita resurse ınsemnate, poatefi simplificata si mai mult. Solutii ın acest sens ar fi cele prezentate de catreAlbu, Florea et al., [4], [26], ın care proiectia integrala se ınlocuieste cu noi tipuride proiectie denumite proiectie cu semn, respectiv proiectie binara. In acestevariante, ın loc sa se contabilizeze valoarea unui pixel pur si simplu se determinapozitia lui relativa fata de doua praguri prestabilite (ın cazul proiectiei cu semn),respectiv unui singur prag ın cazul proiectiei binare; ın functie de aceste comparatiise incrementeaza sau se decrementeaza o variabila de tip numarator. In modevident se obtine o scadere de memorie si deci o accelerare a calcului, dar cucostul unei precizii mai scazute. Totusi testele practice au demonstrat utilitateaacestor metode.

In concluzie, pentru a rezolva problema estimarii deplasarii relative ıntre douacadre (sau, prin extindere, ın interiorul unui set mult mai mare ) avem la dispozitieo multitudine de posibilitati. Dat fiind ca ın conditiile de lucru prevazute de expe-rimentul nostru, calitatea algoritmului primeaza ın fata eficientei computationale,am decis ca se va folosi metoda ce utilizeaza maximul diferentei ıntre spectrelebidimensionale ale celor doua cadre pentru a determina valoarea saltului.

Suplimentar, trebuie mentionat ca oricat de performante sunt metodele dealiniere a imaginilor, ele nu sunt perfecte si, daca este posibil prin constructiasistemului de achizitie, este de preferat sa se evite deplasarea relativa ıntre imagini.In cazul unei camere fotografice obisnuite, acest deziderat se obtine plasand camerape un trepied; acesta solutie nu este nici ea ideala din punct de vedere al anulariitranslatiei relative, dar, ın mod cert ımpiedica aparitia rotatiei ıntre cadre, careeste o eroare necorectabila prin tehnici de calcul a translatiei relative.

89

Page 95: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.4. Combinarea cadrelor

5.4 Combinarea cadrelor

In sectiunea curenta se va discuta pe marginea operatiei de fuziune a cadrelorachizitionate cu diferite expuneri. Aceasta operatie este cu adevarat responsabilapentru cresterea gamei dinamice. Pe masura ce se va ınainta ın prezentare se vorlua ın calcul diferite posibilitati, de la cele mai simple pana la unele mai elaborate.Printre acestea, deosebit de importante sunt cele rezultate ın urma unor contributiipersonale care sunt bazate pe ponderarea imaginilor si combinarea lor pe bazamodelelor neliniare.

5.4.1 Medierea simpla

Cea mai simpla solutie pentru combinarea cadrelor este simpla mediere a acestora.Daca vom considera ca fiind achizitionate N cadre, notate cu f1, ..., fN , un pixelal imaginii finale, aflat la locatia (l,m) este obtinut cu ajutorul relatiei:

fHDR(l,m) =1N

N∑i=1

fi(l,m) , (5.10)

S-a aratat ın [52] ca aceasta solutie, desi la o prima vedere triviala, este sufi-cienta pentru a conserva gama dinamica a combinatiei de imagini.

5.4.2 Anularea pixelilor saturati

O problema evidenta a metodei precedente este utilizarea pixelilor aflati ın zona desaturatie. Acestia au depasit valoarea maxima acceptabila de sistemul de achizitieal unei camere si, ın mod cert, nu au o legatura determinista cu valorile de radiantaale obiectelor scenei fotografiate. In consecinta, Mitsunaga si Nayar, [74], aupropus varianta ın care imaginea rezultanta sa fie alcatuita din medierea pixelilornesaturati. Mai precis, pixelul aflat la locatia (l,m) este obtinut conform:

fHDR(l,m) =1N0

N0∑i=1

fi(l,m) , (5.11)

unde N0 este numarul de cadre avand valorile de la locatia specificata strict maimici decat pragul de saturatie T .

In practica se considera o valoarea a pragului de saturatie, cum ar fi 95%,din valoarea maxima admisa: T = 0.95 ·D. Toti pixelii avand valori peste acestprag sunt considerati a fi saturati si nu vor fi utilizati ın mediere. Argumentul ındefinirea unei asemenea ”zone de saturatie” este legat de caracteristica de transferal unui senzor de imagine: dupa cum am amintit ın sectiunea dedicata camerelor

90

Page 96: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.4. Combinarea cadrelor

fotografice (mai precis ın 3.4.2) ın partea superioara gamei de intensitate raportataapar neliniaritati, si deci raportari incorecte.

5.4.3 Medierea ponderata

In versiunea precedenta am considerat ca doar pixelii saturati (adica din extremasuperioara a gamei dinamice native a camerelor) nu sunt de ıncredere. Pe dealta parte, daca ne uitam si la partea inferioara a gamei, vom constata ca da-torita cuantizarii si raportului semnal–zgomot mic, nici ın aceasta zona valorilecadrelor nu sunt deosebit de precise. In aceste conditii, o versiune ımbunatatitaa metodei de fuziune se obtine daca se calculeaza o informatie de confidenta (ceva coda acuratetea reprezentarii unei valori de intensitate) care se va folosi apoila ponderarea diferitelor parti ale gamei dinamice a cadrelor de intrare.

Ponderarea informatiei

Aceasta ponderare este o contributie personala. Modalitatea de a obtineinformatie de confidenta ın valorile achizitionate de camere este prezentata ın[38]. Ideea de baza este ponderarea pixelilor ın functie de expunere.

Abordarea noastra porneste de la ideea ca din camera nu se vor returna va-lori corecte independent de expunerea utilizata pentru cadrul respectiv. Pentruimagini supraexpuse este probabil ca pixelii avand valorile apropiate de pragulde saturatie sa fie ınregistrati cu erori. In mod similar, pentru imagini subex-puse este de presupus ca ın zonele ıntunecate valorile sa aiba un raport semnal–zgomot redus, iar intensitatea raportata a pixelilor sa fie denaturata de zgomotulde cuantizare. In continuare, vom construi un tabel de ıncredere (informatie deconfidenta) ın valorile existente ıntr-un cadru. In abordarea clasica se estimafunctia de raspuns a unei camere (CRF), vezi si sectinuea 3.7, si pe baza ei se me-diau imaginile. Aici, CRF-ul este ınlocuit cu o functie de ıncredere sau, alternativ,de eroare. Pentru simplitate vom descrie procedura pentru un nivel de luminantaechivalent, urmand ca ın cazul unei imagini color procedura sa fie repetata pentrufiecare plan de culoare ın parte.

Fiind data o scena, exista mai multe perechi {t,N} (timp de expunere, aper-tura) care satisfac ecuatia (3.5). Cele mai multe camere digitale existente pepiata sunt capabile sa estimeze valoarea curenta de expunere (EV) prin echili-brarea ecuatiei (3.5). Astfel este destul de usoara obtinerea mai multor imaginicare au perechi {t,N} diferite, dar care prezinta aceeasi valoare de expunere, EV .Achizitionand mai multe asemenea cadre si mediind rezultatele obtinute, putemdescreste pana la valori rezonabile eroarea de masurare.

91

Page 97: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.4. Combinarea cadrelor

Determinarea functiei de ıncredere presupune fixarea valorii de expunere la unnivel prefixat si apoi fotografierea unei harti avand culori cunoscute (cum este,de exemplu, Gretag Macbeth Color Checker). Utilizand distanta L2 ıntre valorilemasurate si cele asteptate (care de cele mai multe ori sunt diferite) construim valo-rile functiei de eroare ε. Pentru extinderea functiei de la cele 24 (numarul de peticecolor din harta mentionata) de valori initiale la tot domeniul (de 256 de valori),vom folosi regresie polinomiala cu un polinom de grad inferior. Reprezentareafunctiei de eroare este sub forma de matrice, unde coloanele parcurg nivelele degri posibile, iar liniile diferitele valori de expunere:

ε→ ε(EV, u), EV ∈ {. . . ,−1, 0, 1, . . . }, u ∈ {0, 1 . . . , 255}.

Functiile de eroare sunt normalizate global, astfel ıncat valorile lor sa se afleın intervalul [0, 1]. Pentru a obtine acest set de valori al functiei de ıncredere vomutiliza o relatie similara cu negatia fuzzy:

μ(EV, u) = 1 − ε(EV, u) , (5.12)

unde EV reprezinta valoarea de expunere, iar u nivelul de gri.Un exemplu de functii normalizate de confidenta, calculate pentru modelul de

camera digitala semi-profesionala, sunt prezentate ın figura 5.4.

0 50 100 150 200 2500

0.2

0.4

0.6

0.8

1

EV=−1

0 50 100 150 200 2500

0.2

0.4

0.6

0.8

1

EV=0

0 50 100 150 200 2500

0.2

0.4

0.6

0.8

1

EV=+1

Figura 5.4: Valorile normalizate ale functiilor de confidenta, μ, obtinute prinmasurarea erorii pentru trei valori de expunere, EV = −1, EV = 0, EV = 1, ınraport cu nivele de gri reprezentate in domeniul 0 − 255.

Combinatie convexa

Sa detaliem acum modul ın care poate fi folosita informatia de confidenta. Dinaceasta informatie rezulta ın mod direct valori ce pondereaza contributia fiecaruipixel la valoarea finala. Imaginea rezultanta contine maximul de ıncredere la nivelde pixel si este calculata cu ajutorul unei combinatii convexe:

fHDR(l,m) =∑N

i=1 μ (EV (i), fi(l,m)) · fi(l,m)∑Ni=1 μ (EV (i), fi(l,m))

. (5.13)

92

Page 98: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.4. Combinarea cadrelor

Cadrul de referinta este cel care prin parametrii de achizitie echilibreaza ecuatia(3.5), adica prezinta o valoare de expunere nula (EV = 0).

5.4.4 Fuziunea imaginilor cu ajutorul modelelor neliniare

O alternativa la modalitatile de combinare a cadrelor ınitiale prezentate panaacum consta ın utilizarea operatiilor definite de modelele neliniare de prelucrare aimaginilor, [40], ın locul operatiilor clasice definite pe multimea numerelor reale.Considerand un numar de N = 3 cadre initiale, atunci ecuatiile (5.10) si (5.13) sepot scrie desfasurat astfel:

fHDR(l,m) =13f1(l,m) +

13f2(l,m) +

13f3(l,m) , (5.14)

respectiv:

μil,m = μ (EV (i), fi(l,m))

C(l,m) =3∑

i=1

μil,m

fHDR(l,m) =1

C(l,m)(μ1

l,mf1(l,m) + μ2l,mf2(l,m) + μ3

l,mf3(l,m)) (5.15)

Implementarea pe baza operatiilor de adunare vectoriala, ⊕, respectiv multipli-care cu un scalar, ⊗, conform definitiilor diferitelor modele neliniare de prelucrarea imaginilor foloseste ecuatiile:

fHDR(l,m) =13⊗ f1(l,m) ⊕ 1

3⊗ f2(l,m) ⊕ 1

3⊗ f3(l,m) , (5.16)

respectiv,

fHDR(l,m) =1

C(l,m)⊗ [(

μ1l,m ⊗ f1(l,m)

) ⊕ (μ2

l,m ⊗ f2(l,m)) ⊕ (

μ3l,m ⊗ f3(l,m)

)] (5.17)

unde s-a tinut cont de faptul ca fi(l,m), i = 1, 2, 3 reprezinta un nivel de luminanta(deci este un element din multimea de definitie al spatiului nelinar), iar 1

3 , C(l,m)si μ1

l,m sunt scalari reali, dintr-o multime exterioara spatiului neliniar utilizat.Operatiile definite de ⊗ si ⊕ au fost implementate folosind ecuatiile modeluluilogaritmic Jourlin – Pinoli (ecuatiile (2.32) si (2.35)), pe cele ale modelului luiPatrascu (adica relatiile (2.39) si (2.41)), pe cele ale modelului lui Vertan (ecuatiile(2.46) si (2.48)), precum si ale celorlalte variante de modele propuse ın cadrulacestei lucrari.

93

Page 99: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.4. Combinarea cadrelor

Metoda care porneste de la un set de cadre achizitionate cu expuneri diferite,pondereaza informatia din acestea pe baza confidentei ın acuratetea valorilor lor sicalculeza imaginea de iesire cu ajutorul unei combinatii convexe ın care operatiilesunt preluate dintr-un model neliniar de prelucrare a imaginilor a fost denumita”log-bracketing”. Acesta este o contibutie personala a autorului acestei lucrari.

5.4.5 Supra–cuantizarea imaginilor fuzionate

Utilizarea operatiilor definite de catre modelele neliniare de prelucrare a imaginilorın extinderea gamei dinamice are un avantaj cert. Daca vom lua ın cosiderareecuatia (5.10) unde drept termeni de intrare vom folosi toate combinatiile posibilede nivele de gri, ıntregi, definite ın intervalul [0, D] atunci vor fi (2D− 1) posibilevalori rezultante. Daca ın schimb operatia este efectuata utilizand relatia (5.16),atunci numarul de nivele diferite obtinute este ın ordinul D2

4 , ın timp ce ecuatia(5.17) produce un numar de nivele distincte aproximativ egal cu D2

2 . Detalii despremotivatia acestei afirmatii se pot afla urmarind formele de unda ale adunarii pentrudiferite modele neliniare de prelucrare a imaginilor ın figurile 2.3, 2.7, 2.11, etc.

O interpretare simplista ar fi urmatoarea: ın cazul operatiilor clasice deadunare exista o multime foarte mare de perechi de valori diferite care conducla acelasi rezultat. De exemplu 1 si cu 4 ınsumeaza la fel de mult ca si 2 cu 3:1 + 4 = 2 + 3. Acest fapt nu mai este valabil ın cazul unui model neliniar deprelucrare a imaginilor. Pentru exemplul considerat: 1 ⊕ 4 = 2 ⊕ 3.

Adunarea conform unui model neliniar de prelucrare a imaginilor produce osupra–cuantizare a spatiului de iesire. Din aceasta cauza, gama dinamica core-spunzatoare unui set initial reprezentat cu D = 256 nivele este, aproximativ:

DR = 10 log(D2

2

)≈ 45[dB].

Asadar, prin implementarea fuziunii cadrelor ıntr-un spatiu logaritmic (saupe scurt prin aplicarea metodei denumite de noi ”log-bracketing”), se vor obtineimagini reprezentate cu un numar foarte mare de valori diferite, fapt ce permite omai buna posibilitate de detectare a obiectelor aflate ın zone relativ uniforme, ınimaginea initiala.

5.4.6 Echilibrarea expunerilor

In prezentarea metodelor discutate pana acum am considerat informatia furnizatade imagini ca atare, iar diferentele de expunere ce sunt atat negative cat si pozi-tive, s-au echilibrat reciproc ın cursul procesului de mediere. Ramane ıntrebarea

94

Page 100: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

daca un proces de fuziune care ıncepe cu aducerea tuturor cadrelor la aceeasi ex-punere nu poate furniza rezultate mai bune. Echilibrarea expunerilor utilizeazasimilaritatea aratata ıntre modelul logaritmic propus de Jourlin–Pinoli si variatiaexpunerii. Astfel daca consideram cadrul fi cu expunerea EVi atunci putem obtinecadrul cu expunerea echilibrata (EV = 0) folosind relatia:

fi = 2−EVi ⊗ fi (5.18)

Ecuatia (5.18) utilizeaza proprietatea de spatiu algebric ınchis a modelului loga-ritmic propus de Jourlin si Pinoli, astfel ca imaginile obtinute, fi, prezinta ın modcert valori ın intervalul de definitie al imaginilor: [0, D].

In aceste conditii putem construi noi imagini cu gama dinamica extinsa uti-lizand:

• medierea simpla:

fHDR(l,m) =1N

N∑i=1

fi(l,m) . (5.19)

• medierea simpla cu ignorarea valorilor saturate:

fHDR(l,m) =1N0

N0∑i=1

fi(l,m) , (5.20)

unde N0 reprezinta numarul de pixeli din imaginile liniarizate, fi, mai micdecat pragul de saturatie prefixat.

• medierea ponderata cu informatie de confidenta:

fHDR(l,m) =

∑Ni=1 μ

(EV (i), fi(l,m)

)· fi(l,m)∑N

i=1 μ(EV (i), fi(l,m)

) . (5.21)

• Mediere ponderata utilizand operatii neliniare:

fHDR(l,m) =1

C(l,m)⊗

[(μ1

l,m ⊗ f1(l,m))⊕

(μ2

l,m ⊗ f1(l,m))⊕

(μ3

l,m ⊗ f3(l,m))]

(5.22)

5.5 Fuziunea imaginilor: rezultate

5.5.1 Imagini cu gama dinamica extinsa

Dupa cum am mentionat la ınceputul acestui capitol, obiectivul curent este de aprezenta diferite metode de combinare a informatiei captata incomplet de diverse

95

Page 101: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

cadre ale aceleiasi scene achizitionate cu expuneri diferite. Vom lua ın discutiedoua cazuri: imagini color (imagini naturale) si respectiv imagini monocrome(imagini provenind de la radiografii de sold) .

Imagini color

Un set de imagini color achizitionate cu diferite expuneri precum si histogrameleasociate poate fi vazut ın figura 5.5. Daca se analizeaza informatia disponibila ınhistogramele asociate se constata ca diferite portiuni ale intensitatii scenei suntcaptate corect ın imagini diferite.

0 50 100 150 200 250 3000

0.5

1

1.5

2

2.5

3x 10

4

0 50 100 150 200 250 3000

0.5

1

1.5

2

2.5

3

3.5

4

4.5x 10

4

0 50 100 150 200 250 3000

2

4

6

8

10

12

14x 10

4

(a) (b) (c)

Figura 5.5: Imagini achizitionate (precum si histogramele lor de luminanta) cevor fi folosite ın cadrul algoritmul de extindere a gamei dinamice. Imaginea dinstanga, (a), este subexpusa (EV=-1), cea din centru, (b), avand EV=0, este expusanormal, ın timp ce cea din dreapta este supraexpusa (EV=1).

Rezultatele aplicarii metodelor de combinare pe cadrele initiale prezentate ınfigura 5.5 pot fi vizualizate ın figurile:

1. Figura 5.6 pentru medieri cu operatii reale a figurilor originale;

2. Figura 5.7 pentru medieri cu operatii neliniare (conform modelului Jourlin –

96

Page 102: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

Pinoli, Patrascu, Vertan, respectiv modelul liniar pe portiuni cu 5 segmente)a cadrelor originale;

3. Figura 5.8 pentru medieri pe imagini aduse la aceeasi expunere cu ajutorulmodelului logaritmic Jourlin – Pinoli.

0 50 100 150 200 250 3000

2000

4000

6000

8000

10000

12000

14000

16000

18000

0 50 100 150 200 250 3000

5000

10000

15000

0 50 100 150 200 250 3000

5000

10000

15000

a) b) c)

Figura 5.6: Imaginile rezultate ın urma procesului de fuziune prin operatii clasice,implementate pe R precum si histogramele asociate planului de verde: a) medieresimpla, b) mediere simpla cu ignorarea valorilor saturate, c) mediere cu ponderareavalorilor.

Imagini cu tonuri de gri

Pentru exemplificare am considerat un set de imagini cu tonuri de gri obtinuteprin fotografierea unei radiografii de sold plasata pe un negatoscop. Acest tipde imagine este potrivit pentru tema capitolului de fata deoarece contrastul ıntrezona (transparenta ın film) a protezei si fundalul (corespunzator tesutului moale)depaseste gama dinamica a unei camere digitale. Cele trei cadre initiale folositeca intrari ın algoritmii de HDR pot fi vazute ın figura 5.9.

Rezultatele aplicarii metodelor de combinare pe cadrele initiale prezentate ınfigura 5.9 pot fi vizualizate ın figurile:

97

Page 103: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

1. Figura 5.10 pentru medieri cu operatii reale a figurilor originale;

2. Figura 5.11 pentru medieri cu operatii neliniare (conform modelului Jourlin– Pinoli, Patrascu, Vertan, respectiv liniar pe portiuni cu 5 segmente) acadrelor originale;

3. Figura 5.12 pentru medieri pe imagini aduse la aceeasi expunere cu ajutorulmodelului logaritmic Jourlin – Pinoli.

5.5.2 Evaluarea imaginilor

Pentru departajarea calitativa a diferitelor versiuni de imagini obtinute am con-siderat urmatoarele criterii:

• Gama dinamica rezultanta;

0 50 100 150 200 250 3000

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

2x 104

0 50 100 150 200 250 3000

1

2

3

4

5

6

7

8x 104

a) b)

98

Page 104: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

−50 0 50 100 150 200 250 3000

0.5

1

1.5

2

2.5

3

3.5x 104

−50 0 50 100 150 200 250 3000

0.5

1

1.5

2

2.5x 104

c) d)

Figura 5.7: Imaginile rezultate ın urma procesului de fuziune ponderata cuoperatii conform: a) modelului Jourlin – Pinoli, b) modelului Patrascu, c) mode-lului Vertan, d) modelului liniar pe portiuni cu 5 segemente.

• Numarul de nivele diferite existente ın imagini;

• Entropia fiecarei imagini cu gama dinamica extinsa rezultanta ;

• Evaluarii subiective, ın care principalul criteriu se refera la numarul de detaliivizibile.

Gama dinamica Metodele implicate ın evaluare au drept scop extinderea gameidinamice. Din acest punct de vedere are sens evaluarea gamei dinamice a fiecareiimagini achizitionate.

Rezultatele numerice obtinute pentru gama dinamica sunt calculate pe ma-

99

Page 105: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

a) b) c)

Figura 5.8: Imaginile rezultate ın urma procesului de fuziune a cadrelor liniarizateutilizand modelul clasic: a) mediere simpla, b) mediere ponderata, c) medieresimpla cu adunare logarimica.

(a) (b) (c)

Figura 5.9: Imagini achizitionate ce vor fi folosite ın cadrul algoritmul de extinderea gamei dinamice. Imaginea din stanga, (a), este subexpusa (EV=-1), cea dincentru, (b), avand EV=0, este expusa normal, ın timp ce cea din dreapta estesupraexpusa (EV=1).

tricea imagine obtinuta conform metodei alese si reprezentate ıntr-un spatiu cuvirgula mobila (de precizie foarte mare). In cazul imaginilor color a fost estimatagama dinamica pe spatiul de culoare cel mai semnificativ (verde pentru RGB,luminanta pentru YUV, etc.).

Altfel, daca dorim evaluarea imaginilor afisabile, atunci rezultatele vor fi ex-

100

Page 106: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

a) b) c)

Figura 5.10: Imaginile rezultate ın urma procesului de fuziune prin operatii im-plementate pe R: a) mediere simpla, b) mediere simpla cu ignorarea valorilorsaturate, c) mediere cu ponderarea valorilor.

trem de putin spectaculoase: pentru imagini monocrome afisate pe 8 biti gamadinamica va fi de 24 dB, ın timp ce pentru o harta de 12 biti va fi de 36 dB, indifer-ent de continutul imaginii. In consecinta, ın acest mod nu putem face distinctieıntre diferite metode incluse ın cercetare.

Rezultatele concrete obtinute cu aceasta metoda pot fi vizualizate ın tabelele

a) b)

101

Page 107: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

c) d)

Figura 5.11: Imaginile rezultate ın urma procesului de fuziune ponderata cuoperatii logaritmice conform: a) modelului Jourlin – Pinoli, b) modelului Patrascu,c) modelului Vertan, d) modelulului liniar pe portiuni cu 5 segemente.

a) b) c)

Figura 5.12: Imaginile rezultate ın urma procesului de fuziune a cadrelorliniarizate utilizand modelul clasic: a) mediere simpla, b) mediere ponderata, c)mediere simpla cu adunare logaritmica.

5.2 si respectiv 5.1.

102

Page 108: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

Numarul de nivele distincte utilizate

Una dintre cerintele oricarei metode de extindere a gamei dinamice implica uti-lizarea unui numar cat mai mare de nivele diferite pentru imaginea rezultat. De-terminarea numarului de nivele distincte s-a facut pentru doua cazuri:

1. pentru imaginea rezultanta reprezentata ıntr-un format cu virgula mobila;

2. pentru imaginea afisabila. Atunci imaginile monocrome sunt reprezentatecu 4096 nivele, ın timp ce imaginile color sunt reprezentate cu 3×256 nivele.

Pentru imaginile color s-a luat ın calcul un sigur plan si anume cel mai reprezen-tativ din punct de vedere al reprezentarii luminantei (cel de verde). Numerele denivele distincte obtinute pentru imaginile considerate pot fi vizualizate ın tabelele5.2 si 5.1 .

Entropia imaginii

Problema extinderii gamei dinamice este o problema de marire a cantitatii deinformatie. Daca facem asocierea imagine – sursa de informatie, atunci putemdefini, pentru o imagine marimi tipice teoriei transmisiunii informatiei. Pentrusimplitate ne vom concentra pe imagini cu un singur plan de culoare; ın acest cazsimbolul purtator de informatie este nivelul de intensitate luminoasa (color saumonocroma) u ∈ {0, 1, . . . , D}. Cantitatea medie de informatie transmisa de oimagine este entropia acelei imaginii [102]. Aceasta este:

H(f) = −D∑

u=1

pi log pu

[bit

simbol

], (5.23)

unde p(u) este probabilitatea de aparitie a nivelului u ın imaginea f . In practica,fiind data o imagine, construim histograma imaginii si apoi estimam entropia imag-inii pe baza frecventelor relative de aparitie a unui nivel de intensitate. Dupa cumse stie entropia unei surse este maxima cand toate probabilitatile simbolurilor suntegale. Acest caz corespunde unei histograme perfect uniforme. In aceste conditiise poate defini redundanta relativa a unei imagini (raportata la cea maxima) cafiind:

ρs = 1 − H(F )Hmax(f)

(5.24)

Pentru exemplele propuse am considerat ca folosind artificiul de afisare discutatın 5.1.3, imaginile provenind din cadre cu tonuri de gri, se pot reprezenta folosindo harta de 212 nivele distincte (caz ın care entropia maxima este Hmax(f) =log2 1024 = 12). Imaginile color pot fi afisate cu 3 × 28 nivele. In acest caz am

103

Page 109: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

calculat entropia doar pe planul de luminanta echivalent cuantizat cu 256 de niveleposibile (deci Hmax(f) = log2 256 = 8).

Valorile pentru entropia imaginilor considerate precum si pentru redundantelerelative pot fi urmarite ın tabelele 5.2 si 5.1.

Evaluarea subiectiva

Este un fapt cunoscut ın lumea procesarii de imagini ca nu exista o masura obiec-tiva care sa evalueze o imagine global, iar masura sa fie ın concordanta cu parereasubiectiva a unui numar semnificativ de oameni. O prima piedica ın atingerea aces-tui deziderat este faptul ca oamenii ınsisi au deseori pareri divergente ın legaturacu calitatea unei imaginii. Totusi se poate aplica o procedura stricta de evaluarea calitatii ın mod subiectiv. Un punct de plecare poate fi recomandarea [19] ıncare sunt descrise cateva astfel de metode.

Varianta aleasa aici este derivata din metoda ”The double-stimulus continuousquality-scale (DSCQS) method” descrisa ın standardul mentionat. Mai precis, s-adefinit un set de reguli (precum cantitatea de detalii vizibile, claritatea detaliilor,acuratetea reproducerii culorilor - pentru imagini color) si fiecare utilizator a fostrugat sa noteze cu note de la 1 la 5 (foarte slab–1, slab, acceptabil, bun, excelent–5)fiecare imagine prezentata. Evaluarea subiectiva s-a bazat pe parerea a 6 persoane.

Rezulatele precise ale masuratorilor si a celor subiective pot fi urmarite ın tabelele5.2 si 5.1. In cadrul acestora am folosit urmatoarele acronime:

• Imagini obtinute prin :

– Achizitie directa, imagine subexpusa (EV=-1) : IEV −1;

– Achizitie directa, imagine expusa normal (EV=0) : IEV 0;

– Achizitie directa, imagine supraexpusa (EV=+1) : IEV +1;

– Mediere simpla : MS;

– Mediere simpla cu anularea valorilor saturate : AS;

– Mediere ponderata : MP;

– Mediere ponderata cu operatiile implementate logaritmic conformmodelului Jourlin – Pinoli : MLJ;

– Mediere ponderata cu operatiile implementate logaritmic conformmodelului Patrascu : MLP;

104

Page 110: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

Metoda DR N1 N2 H(f) ρ MOS

IEV −1 24.06 256 256 7.00 0.125 X

IEV 0 24.06 256 256 7.10 0.112 X

IEV +1 24.06 256 249 6.75 0.156 X

MS 28.77 754 252 7.12 0.11 4.25

AS 31.69 942 247 7.17 0.104 4.37

MP 159.45 236 · 103 251 7.25 0.094 4.62

MLJ 159.45 236 · 103 251 7.30 0.087 4.75

MLP 162.54 3564 250 6.75 0.156 3

MLV 159.44 236 · 103 251 7.20 0.10 4.37

MLL 120.17 236 · 103 253 7.1 0.112 4.25

Tabela 5.1: Valori obiective masurate, respectiv notare subiectiva, pentru imaginicolor.

– Mediere ponderata cu operatiile implementate neliniar conform mode-lului Vertan : MLV;

– Mediere ponderata cu operatiile implementate neliniar conform mode-lului liniar pe portiuni, cu 5 segmente : MLL.

• Masuratori:

– Gama dinamica: DR;

– Numarul de nivele estimat ıntr-un spatiu cu virgula mobila (preciziemare) : N1;

– Numarul de nivele estimat ıntr-un spatiu cu precizie limitata (255 pen-tru imagini color, 4096 pentru imagini alb/negru) : N2;

– Entropia : H(f);

– Redundanta relativa : ρ;

– Nota medie obtinuta ın urma evaluarii subiective : MOS (mean opinionscore).

5.5.3 Analiza rezultatelor

O prima problema este de a valida masurile obiective propuse si de a determinasemnificatia fiecareia.

Daca ne referim la gama dinamica constatam ca nu exista o foarte bunacorelatie ıntre marimea gamei dinamice si evaluarea subiectiva. Se poate observa

105

Page 111: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.5. Fuziunea imaginilor: rezultate

Metoda DR N1 N2 H(f) ρ MOS

IEV −1 24.06 256 256 6.37 0.203 X

IEV 0 24.03 254 254 6.80 0.150 X

IEV +1 23.99 249 249 6.91 0.136 X

MS 28.77 756 756 8.48 0.293 3.75

AS 31.70 801 801 8.40 0.300 3.5

MP 159.46 31 · 103 3924 10.46 0.128 4.62

MLJ 149.05 31 · 103 4011 10.55 0.121 4.75

MLP 162.42 2500 479 6.91 0.424 3

MLV 159.46 31 · 103 1087 10.53 0.125 4.75

MLL 110.77 31 · 103 3779 10.27 0.144 4.5

Tabela 5.2: Valori obiective masurate, respectiv notare subiectiva, pentru imaginialb-negru (obtinute prin fotografierea radiografiilor de sold).

ca introducerea unui set de coeficienti cu valori rationale ın medierea ponderata,respectiv utilizarea operatiilor logaritmice produc valori foarte mari pentru gamadinamica. Concluzia este ca aceste metode ofera un fundament necesar pentrucrestea gamei dinamice, dar totodata nu neaparat unul suficient. Nu este sufi-cienta utilizarea unui numar foarte mare de nivele diferite pentru a obtine imaginide calitate si cu gama dinamica extinsa. Aceleasi considerente se pot aplica sidaca luam ın calcul numarul de nivele diferite dintr-un spatiu cu virgula mobila.

Daca analizam rezultatele obtinute pentru numarul de nivele de verde ıntr-un spatiu fix pentru imagini color, vom observa ca aproape toate metodele oferaaceleasi rezultate. Situatia se schimba ın cazul imaginlor alb-negru, pentru careeste relativ usor de oferit un spatiu de iesire cu mai multe nivele. In acest cazputem observa ca este nevoie de ponderare cu coeficienti rationali sau de operatiineliniare pentru a beneficia de artificiul de afisare.

Ultima masura propusa, entropia unei imagini, daca este raportata la noteleobtinute ın urma evaluarii subiective, putem concluziona ca este o masura eficientaa valorii algoritmilor de crestere a gamei dinamice. Corelatia ıntre ultimele douacoloane din tabelele prezentate este destul de mare.

Analiza valorilor redundatei relative, arata ca este necesara introducereacoeficientilor rationali sau a operatiilor logaritmice pentru a putea coborıredundanta din imaginile HDR pana la nivelul imaginilor originale. De asemeneatrebuie observat ca pentru aceasta aplicatie este necesara o structura de con, sime-tria (cum este cazul modelului Patrascu) nefiind utila; este posibil ca si modelulPatrascu, daca este folosit doar ın partea superioara sa ofere rezultate excelente, la

106

Page 112: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.6. Extinderea gamei dinamice a radiografiilor analogice

fel ca modelele Jourlin – Pinoli sau Vertan. Modelul liniar pe portiuni reprezinta oaproximare, o regresie, iar rezultatele sunt ın consecinta: mai slabe decat ın cazulmodelelor continue, dar mai puternice decat ın cazul operatiilor clasice (medieriisimple).

In sfarsit daca analizam comparativ rezultatele obtinute cu fiecare metoda, ınspecial pe cele din evaluarea subiectiva, putem concluziona ca cele mai eficientemetode dintre cele investigate sunt cele care utilizeza medierea ponderata, atat ınforma simpla cat mai ales utilizand modelul logaritmic clasic.

La polul opus, utilizarea multiplicarii logaritmice pentru echilibrarea expuner-ilor conduce la rezultate care coboara uneori pana la dezastruos. Explicatia constaın faptul ca ın acesta varianta imaginile care intervin sunt extrem de similare siın consecinta toate ofera aproximativ aceeasi perspectiva asupra scenei.

5.6 Extinderea gamei dinamice a radiografiilor

analogice

Un rezultat important din punct de vedere practic al algoritmilor de extindere agamei dinamice al imaginilor achizitionate cu camere fotografice este digitizarearadiografiilor analogice. In aceasta sectiune se vor prezenta contributiile autoruluiın acest domeniu.

Un prim aspect ce trebuie evidentiat este de ce aceasta nisa a extinderii gameidinamice este importanta. Un prim argument este pentru ca imagistica medicalajoaca un rol deosebit ın diagnosticul clinic. Cu ajutorul ei doctorul ”vede” ın locsa analizeze niste cifre, ceea ce evident e mai putin abstract. Pentru investigareasistemului osos cea mai uzuala modalitate de vizualizare consta ın utilizarea ra-diografiilor. Odata cu dezvoltarea tehnologiei informatiei a ınceput sa se punaaccent pe dignosticul partial sau total computerizat. Din acest motiv informatiade analizat trebuie sa fie ın forma digitala. Din nefericire, de la ınceputurile eisi pana foarte recent, radiografiile au fost sub forma analogica. Pentru a puteaimplica calculatorul, ın mod evident, acestea trebuie convertite ın imagini digitale.

Mai mult, ın Romania zilelor noastre cele mai multe sisteme de radiologiesunt analogice. Pentru un asemenea caz, un diagnostic rapid poate fi pus doarde catre medicul de la fata locului care, de multe ori poate sa nu fie specialistın problema semnalata de catre pacient. Pentru a avea acces la un specialist,radiografia analogica trebuie transportata fizic la centrul de diagnostic (deseoriaflat ın orasele mari cu centre universitare), ceea ce provoaca de multe ori ıntarzieride neacceptat. Revenind ca un laitmotiv, imaginea digitala ar rezolva si aceastaproblema pentru ca transmisia rapida ar fi asigurata de catre reteaua de Internet,

107

Page 113: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.6. Extinderea gamei dinamice a radiografiilor analogice

[47].Pentru a ıntari motivatia digitizarii radiografiilor analogice, mai trebuie

mentionat ca exista state mai dezvoltate, cum ar fi Marea Britanie, ın carelegislatia prevede ca pacientul sa aiba o copie a rezultatelor investigatiilor efectu-ate. In cazul radiografiilor analogice, pentru ca si ın asemenea state dezvoltateexista unitati medicale dotate doar cu sisteme analogice, acest lucru nu este posi-bil. Din nou ar fi nevoie de o metoda de digitizare rapida si ieftina.

Pentru a digitiza o radiografie analogica se poate utiliza o solutie costisitoare ceimplica utilizarea unui scanner de film performant sau o solutie mult mai uzuala:fotografierea radiografiilor. Aceasta din urma propunere ar avea toate atuurilede partea ei (cost redus, usurinta ın aplicare, portabilitate), cu conditia ca sase rezolve problema scaderii gamei dinamice. Radiografiile analogice au o gamadinamica de aproximativ 36 dB, ın timp ce o singura imagine, dupa cum amdiscutat, nu are decat 24 dB. Scaderea gamei dinamice conduce la pierdere deinformatie, fapt ce poate avea repercusiuni grave ın diagnostic.

In cadrul cercetarilor metodelor de digitizare al radiografiilor de sold s-aıncercat extinderea gamei dinamice pornind de la o singura imagine. Coltuc siBolon, [25] arata cum este posibil sa extinzi informatia continuta de un pixel prinadaugarea de informatie extrasa din vecinatatea locala. Acesta idee a fost folositaın [46] pentru a extinde gama dinamica la o valoare dorita, eliminand dificultatilealinierii imaginilor. Totusi varianta clasica, care utilizeaza mai multe imagini,produce rezultate mai bune, ın sensul ca este mai informativa.

Algoritmul propus de catre autor, intitulat ”log-bracketing” (combinatie con-vexa a mai multor imagini cu expuneri diferite, cu operatori provenind din modelelogaritmice sau neliniare de prelucrare a imaginilor) a demonstrat ca este capabilsa refaca ın mod real gama dinamica a radiografiilor analogice. Verificarea ca algo-ritmul ”log-bracketing” conduce la rezultate de calitate ın domeniul radiografiilorde sold a fost facuta prin validare ın raport cu parerea medicilor ortopezi ın ca-litate de observatori experimentati. Pasul urmator, din punct de vedere strict almetodei, este standardizarea acesteia pentru a putea fi folosita pe scara larga, iarrezultatele sa fie compatibile ıntre ele.

Odata obtinuta imaginea digitala de calitate, sunt deschise mai multe posi-bilitati. Un sistem de achizitie poate fi urmat de un sistem de analiza al imaginilor.O directie ın care s-au ınregistrat rezultate concrete a fost analiza radiografiilorde sold. Astfel, ulterior digitizarii prin log-bracketing a imaginilor radiografice,ın [46] si ın [45], radiografia este segmentata si se calculeaza un scor al potriviriiprotezei ın vederea prevenirii aparitiei fenomenului de osteoliza. Sistemul com-plet este descris si ın [106] Acelasi obiectiv (potrivirea protezei) este urmarit si

108

Page 114: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

5.6. Extinderea gamei dinamice a radiografiilor analogice

ın [44] prin estimarea unui model tridimensional al femurului protezat, pe bazaparticularitatilor sistemului de radiologie, particularitati conservate prin metodadescrisa aici de extindere a gamei dinamice; ın acest caz gama dinamica maremaximizeaza acuratetea potrivirii. Algoritmilor de estimarea a potrivirii protezeiın canalul medular al femurului mentionati, ın [105] li s-ar putea adauga analizatexturii osului pentru determinarea liniilor de radio-lucenta; ın acest caz gamadinamica mare ar fi necesara pentru pastrarea proprietatilor texelilor.

109

Page 115: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 6

Concluzii

Prin intermediul lucrarii de fata, autorul si-a propus sa ısi concentreze si sa ısi for-malizeze contributiile teoretice si practice aduse ın domeniul prelucrarii de imagini.Aceasta lucrare este un rezumat al muncii depuse ın ultimii ani, ın perioada decautare stiintifica specifica studiilor doctorale.

Punctul de plecare comun al tuturor metodelor si algoritmilor noi descrisipe parcursul acestei lucrari este strans legat de modelele logaritmice de prelu-crare a imaginilor. Din punct de vedere teoretic autorul a urmarit sa raspundala ıntrebarea: ”Se mai pot construi si alte modele de reprezentare si prelucrare aimaginilor ın afara de cele existente?” Pentru a se gasi raspunsul la aceasta dilema,ın cadrul capitolului 2, a fost nevoie sa se faca apel la instrumente matematice dinzona teoriei algebrice a homomorfismelor si a spatiilor vectoriale, instrumente dealtfel destul de simple, deci cu potential mare de impact practic.

Dar cum lucrarea de fata ısi propune a fi o lucrare din domeniul stiinteloringineresti, discutia teoretica despre extinderea modelelor logaritmice ın zona mo-delelor generate de functii non-logaritmice este dublata de doua aplicatii. Ambeleaplicatii, desi la o prima privire sunt diferite ca obiectiv, au drept punct comunfaptul ca sunt dedicate imaginilor achizitionate cu camere fotografice digitale.In fapt, modul ın care este procesata intensitatea luminoasa ın camere, mod careeste profund neliniar, este caracteristica unitara care impune utilizarea unui modelneliniar de prelucrare a imaginilor ın acest gen de aplicatii.

Prima dintre cele doua aplicatii se refera la amplificarea imaginilor achiztionatecu un timp de expunere sub valoare normala. Algoritmul dezvoltat pentru arezolva problema mentionata, algoritm care este descris ın capitolul 4, poate fiutilizat si ca solutie la extrem de presanta problema a degradarii prin blurare(manjire) a imaginilor fotografice din cauza tremuratului manii ce sustin cameradigitala ın cauza. Aceasta aplicatie este dezvoltata de catre un grup de cercetare,

110

Page 116: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

6.1. Contributii personale

printre care se numara si autorul, ın cadrul firmei Tessera. Tehnologia expusaaici este parte integranta din produsul FotoMotion al acestei firme, produs ce afost expus experimental ın cadrul celei mai mari si importante expozitii dedicatetehnicilor fotografice (PMA 2008), unde a fost primit cu un deosebit de interes.Acest produs va fi lansat ca parte integranta ın cadrul sistemului de achizitie alaparatelor digitale de fotografiat obisnuite, probabil, ın cursul anului 2009.

Cea de a doua aplicatie, mai ıntinsa ca si pondere ın cuprinsul lucrarii, sicare, dintr-un punct de vedere (anume cel al impactului asupra calitatii vietiiomului) este mai importanta, se refera la extinderea gamei dinamice a imagini-lor achizitionate de camere digitale. Aceasta aplicatie poate avea ın vedere atatimaginile naturale, color (iar pentru a sublinia importanta acestei aplicatii trebuiementionat ca o cautare pe Internet dupa cuvintele cheie ”high dynamic rangeimage” furnizeza peste patru milioane de rezultate); totusi cele mai importanterezultate sunt asociate procesului de digitizare al radiografiilor analogice. In faptun grup de cercetatori de la Universitatea Politehnica Bucuresti si Universitateade Medicina si Farmacie ”Carol Davila grup care l-a inclus si pe autorul acesteilucrari, a urmarit sa standardizeze o metoda cu cost redus pentru transferarea ınformat digital a informatiei stocata analogic pe filmul radiologic. Un asemeneastandard va deschide drumul algoritmilor digitali de prelucrare si analiza de ima-gini catre bazele de date analogice, acumulate cu truda ın zeci de ani de investigatieclinica a sistemului osos. Mergand mai departe, un asemenea standard, coroboratcu transmisiunea imaginilor digitale prin retelele de date existente, va deschideaccesul populatiei din zone aflate la distanta de centrele de specialitate, dar totusiın raza unor centre medicale dotate cu scanere radiologice pe film, catre specialistiiın radiologie si ortopedie din marile centre universitare.

6.1 Contributii personale

Din punct de vedere stiintific, contributiile originale expuse ın cadrul lucrarii defata sunt urmatoarele:

• Determinarea unui set de conditii suficiente care odata impuse unei functii,denumite functie generatoare, sa conduca la constructia unui model neliniarde reprezentare si prelucrare a imaginilor cu o structura algebrica de spatiuvectorial sau, mai putin complex, cu o structura de con (adica fara elementinversabil la adunare).

• Constructia unor modele neliniare noi de reprezentare si prelucrare a ima-ginilor. Pentru extinderea modelelor cunoscute s-au utilizat rezultate din

111

Page 117: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

6.1. Contributii personale

zona compunerii functiilor care, aplicate inteligent, largesc acest domeniu cepana ın momentul de fata, cuprindea doar trei membrii (Jourlin – Pinoli,Patrascu, Vertan).

• Analiza din punct de vedere algebric a modelului pseudo-logaritmic propusde catre Vertan si extinderea lui de la structura de con la cea de spatiuvectorial.

• Descrierea unui noi propuneri de prelucrare neliniara a imaginilor, care fiindbazat pe functia tangenta (tan), a fost intitulat modelul trigonometric.

• Descrierea unei modalitati de a parametriza modelele neliniare de prelucraresi reprezentare a imaginilor. Adaugarea parametrizarii confera flexibilitate,ıntarind capacitatea acestor modele de face fata cerintelor celor mai diverseaplicatii practice.

• Constructia unei aproximari liniare pe portiuni a modelelor neliniare. Acestlucru a fost realizat prin aproximarea cu segmente de dreapta a unei functiigeneratoare a unui model existent. Alternativ am aratat cum se poate con-strui un model de sine statator, al carui functie generatoare este liniara peportiuni, si care ın plus are avantajul de a reduce complexitatea calculului,complexitate de altfel ridicata ın cazul celorlalte modele cunoscute.

• Modelarea variatiei expunerii imaginilor achizitionate cu camere digitale fo-tografice prin multiplicare cu un scalar. Legea de multiplicare este extrasadintr-un model neliniar de prelucrare a imaginilor. Pentru aceasta situatie,cea mai sigura optiune o ofera modelul Jourlin – Pinoli. Scalarul core-spunzator este valoarea relativa de expunere.

• Constructia unui algoritm de compensare a subexpunerii imaginilor. Re-ducerea timpului de expunere scade probabilitatea ca tremuratul manilorumane sa conduca la degradarea imaginiilor. Algoritmul functioneaza ındoi pasi: unul de amplificare bruta, folosind informatie globala, si unul deamplificare fina, ın care factorul de corectie este extras din vecinatatea lexi-cografica a pixelului curent.

• Demonstrarea necesitatii utilizarii multiplicari conform unui model neliniar(logaritmic) de prelucrare a imaginilor. Amplificarea cu operatori clasiciconduce la aparitia de culori false si la saturarea timpurie a imaginii rezul-tante.

112

Page 118: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

6.2. Perspective

• Simplificarea estimarii functiei de raspuns a camerei prin utilizarea unorponderi de confidenta ın locul valorilor exacte. Aceste ponderi pot fi utilizatepentru a maximiza acuratetea reprezentarii unei imagini cu o valoare nenulaa expunerii relative.

• Constructia unei imagini de gama dinamica extinsa ca si combinatie convexaa unui set de imagini ce au expuneri relative de valori diferite. Fiecare astfelde imagine este ponderata cu informatia de confidenta corespunzatoare.

• Aplicarea operatorilor neliniari ın cadrul sumarii (eventual ponderate) acadrelor pentru a obtine o imagine de gama dinamica extinsa. Am aratat cautilizarea operatorilor neliniari creste ın mod semnificativ numarul de nivelediferite ale imaginii de iesire (conducand la supra–cuantizarea spatiului deiesire), fapt ce nu se poate realiza cu ajutorul sumarii, respectiv multiplicariiclasice.

• Utilizarea entropiei ca masura obiectiva a utilizarii gamei dinamice a uneiimagini. Entropia semnaleaza si identifica ın mod real cresterile de gamadinamica.

• Dezvoltarea unei metodologii de digitizare a radiografiilor analogice. Aceastametodologie porneste de la fotografierea radiografiilor pe film cu cameredigitale si are ın centrul ei algoritmul de crestere a gamei dinamice denumit”log-bracketing”. Acest algoritm se bazeaza pe combinatia convexa a maimultor imagini, combinatie ce implica operatori extrasi din modele nelianiarede reprezentare si prelucrare a imaginilor.

6.2 Perspective

Chiar daca aceasta lucrare are menirea sa consfiinteasca sfarsitul unui ciclu dinviata autorului (si anume cel doctoral, ın care elevul ıntelege ca nu poate sti totul),munca descrisa aici este si ea departe de a se fi ıncheiat.

Granitele care au fost rupte ın cadrul generarii modelelor neliniare de pre-lucrare si reprezentare a imaginilor obliga la investigatii ulterioare suplimentare.Multitudinea de aplicatii dezvoltate pe baza deja consacratelor modele logaritmicesau a mai recentului model pseudo-logaritmic pot beneficia de o flexibilitate maimare prin utilizarea parametrizarii. Viteza de calcul poate fi crescuta fara pierdericalitative daca se utilizeaza modelul liniar pe portiuni. Inlocuirea operatorului deadunare sau de multiplicare cu un scalar dintr-o aplicatie existenta cu cele extrase

113

Page 119: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

6.2. Perspective

dintr-un un model nou sau eventual dintr-unul ce va fi derivat la momentul opor-tun poate conduce la rezultate de o calitate superioara, daca modelul utilizat areproprietati specifice ce sunt mai aproape de cerintele impuse.

Din punct de vedere al analizei teoretice a modelelor neliniare de reprezentarea imaginilor, desi substantiala am spune, contributia lucrarii de fata nu a epuizatsubiectul. Aici nu a fost discutat decat setul de conditii suficient nu si cel nece-sar. Acesta se constituie ıntr-o ıntrebare deschisa, dar mai ales ramane de aflatdaca conditiile necesare identifica mai evident functii utile, ın comparatie cu setulsuficient.

In ceea ce priveste solutia propusa pentru reducerea efectelor blurului ın fo-tografia digitala (moment ın care trebuie reamintit ca aceasta este considerata ceamai mare problema curenta ın domeniul fotografiei digitale), viitorul ei includeo lansare catre publicul larg. Numai timpul ce va veni va arata daca aceastasolutie va avea acelasi impact asupra utilizatorului obisnuit precum a avut asupracomunitatii stiintifice din domeniu.

Metoda propusa de extindere a gamei dinamice a fotografiilor digitale este unpas dintr-un sistem mai complex; mai exact este un pas de la ınceput, din cadrulnivelului de achizitie. Dupa cum se poate vedea si in bibliografia atasata, princi-palele cercetari ale autorului ın acest domeniu au fost strans legate de radiografiazonei de sold. Pentru aceste cazuri modelul logaritmic propus de Jourlin – Pinoli afurnizat baza cea mai elaborata, iar cel propus de catre Vertan compromisul idealıntre complexitate si eficienta a calcului. Pe baza acestor imagini au fost constru-ite sisteme de analiza (segmentare a partilor componente, respectiv de analiza atexturilor din tesutul osos), sisteme ce urmeaza sa ısi demonstreze valoarea dinpunct de vedere medical. Pe de alta parte, daca ın viitor, ın vizor se vor aflaalte parti ale scheletului uman ın afara de zona soldului, este necesara o analizaa sistemului de achizitie astfel ıncat sa se afle ce model este mai potrivit pentru afurniza operatorii ın cadrul extinderii de gama dinamica.

114

Page 120: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Capitolul 7

Cuvant de multumire

O data cu finalizarea formala a textului de fata, autorul simte ca trebuie saımplineasca si din punct de vedere moral aceasta lucrare. In acest sens, el dorestesa multumeasca d-lui profesor Vasile Buzuloiu, ındrumatorul sau pe timpul pe-rioadei doctorale pentru sprijinul stiintific constant acordat si mai ales pentrucontributia dumnealui ın formarea autorului ca om. In continuare, doresc sa ımiexprim gratitudinea fata de membrii comisiei de evaluare a lucrarii de fata pentrusfaturile si sugestiile oferite.

Multumiri trebuie transmise tuturor colegilor din cadrul Laboratorului deAnaliza si Prelucrarea Imaginilor pentru sprijinul punctual acordat de-a lungulvremii ın cercetarea stiintifica. In mod deosebit as dori sa ımi exprim recunostintafata de colegii cu care am colaborat cel mai frecvent, si anume domnul pro-fesor Constantin Vertan, Laura Florea si Alina Sultana. De asemenea, muncacolectiva, ın care fiecare si-a adus aportul sau (desi parca Felix Albu are un locaparte), depusa ımpreuna cu colegii de la FotoNation (actualmente Tessera) apermis constructia unui potential produs comercial novator, descris ın lucrarea defata.

Nu ın ultimul rand doresc sa multumesc familiei pentru sprijinul si ıncurajarilepermanent acordate, chiar daca acest studiu a rapit din timpul pe care puteam saıl petrec alaturi de ei.

115

Page 121: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

Bibliografie

[1] “Wikipedia – Enciclopedie on-line”. http://en.wikipedia.org.

[2] J. Adams, J. Hamilton, E. Gindele, si B. Pilmann. “Method for AutomaticWhite Balance of Digital Images”. Patent S.U.A., (6,573,932), 2003.

[3] M. Aguilar si W.S. Stiles. “Saturation of the Rod Mechanism of the Retinaat High Levels of Stimulation”. Optica Acta, 1(11):59–65, 1954.

[4] F. Albu, C. Florea, A. Zamfir, si A. Drımbarean. “Low Complexity GlobalMotion Estimation Techniques for Image Stabilization”. In Proceedings ofthe International Conference on Consumer Electronics, ICCE, pp. 465–467,Las Vegas, S.U.A, Ianuarie 2008.

[5] F. Albu, E. Steinberg, A. Drımbarean, C. Florea, A. Zamfir, P. Corcoran,si V. Poenaru. “Image Processing Method and Apparatus”. Patent S.U.A,(US 20080219581), Septembrie, 2007.

[6] N. Asada, A. Amano, si M. Baba. “Photometric Calibration of Zoom LensSystems”. In Proceedings of the International Conference on Pattern Recog-nition, ICPR, vol. 1, pp. 186–190, 1996. Viena, Austria.

[7] G.G. Attridge, N. R. Axford, si S. F. Ray. The Manual of Photography.Oxford: Focal Press, 2000.

[8] A. Averbuch si Y. Keller. “FFT based image registration”. In Proceedings ofIEEE INternational Conference on Acoustics, Speech and Signal Processing,ICASSP, vol. 4, pp. 3608–3611, Orlando, Florida, S.U.A., Mai 2002.

[9] K. Barnard, V. Cardei, si B. Funt. “A Comparison of Computational ColorConstancy Algorithms, Part I: Methodology and Experiments with Synthe-sized Data”. IEEE Transactions Image Processing, 11(9):972–983, 2002.

116

Page 122: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[10] K. Barnard, V. Cardei, si B. Funt. “A Comparison of Computational ColorConstancy Algorithms, Part II: Experiments With Image Data”. IEEETransactions Image Processing, 11(9):985–996, 2002.

[11] S. Barnett. “SLR vs All-in-one: Which way to go?”, 2005.http://www.imaging-resource.com/ACCS/SLRvsDIGICAM/SLRA.HTM.

[12] B. Bayer. “Color imaging array”. Patent S.U.A, (3,971,065), 1976.

[13] A. Bell, J. Kaftan, D. Meyer-Ebrecht, si T. Aach. “An Evaluation Frame-work for the Accuracy of Camera Transfer Functions Estimated from Differ-ently Exposed Images”. In Proceedings of 7th IEEE Southwest Symposiumon Image Analysis and Interpretation, SSIAI, pp. 168–172, Denver, S.U.A,2006.

[14] H. R. Blackwell. “Contrast Thresholds of the Human Eye”. Journal of theOptical Society of America, 36(11):624–643, November, 1946.

[15] V. Bockaert. “Site de fotografie digitala”. http:www.dpreview.com/glossary/.

[16] J.C. Brailean, D. Little, M.L. Giger, C.T. Chen, si B.J. Sullivan. “A quanti-tative performance evaluation of the EM algorithm applied to radiographicimages”. In Procceedins of SPIE Biomedical Image Processing, vol. 1450,pp. 40–46, 1991.

[17] A. Briot. “The Eye and the Camera”, November, 2002.http://www.luminous-landscape.com/columns/eye-camera.shtml.

[18] G. Brown. “High Dynamic Range Digital Photography”. Royal PhotographicSociety Journal, pp. 428–431, Noiembrie, 2006.

[19] Recommendation ITU-R BT.500-11. “Methodology for the Subjective As-sessment of the Quality of Television Pictures”, 2002. ITU-R Geneva.

[20] S. Burris si H.P. Sankappanavar. A Course in Universal Algebra. Springer-Verlag, 1981.

[21] A. Can, C. Stewart, B. Roysam, si H. Tanenbaum. “A Feature-Based, Ro-bust, Hierarchical Algorithm for Registering Pairs of Images of the CurvedHuman Retina”. IEEE Transactions on Pattern Analysis and Machine In-telligence, 24(3):347 – 364, 2002.

117

Page 123: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[22] Y. C. Chang si J. F. Reid. “RGB Calibration for Color Image Analysis inMachine Vision”. IEEE Transactions on Image Processing, 5(10):1414–1422,1996.

[23] W. Chen. Linear Algebra. web edition, 2008.http://www.maths.mq.edu.au/ wchen/lnlafolder/lnla.html.

[24] R.N. Clark. Visual Astronomy of the Deep Sky. Cambridge University Pressand Sky Publishing, Cambridge, Marea Britanie, 1990.

[25] D. Coltuc si P. Bolon. “Strict Ordering on Discrete Images and Applica-tions”. In Procceedins of IEEE International Conference on Image Process-ing, ICIP, vol. 3, pp. 150 – 153, Kobe, Japonia, 1999.

[26] P. Corcoran, A. Drımbarean, F. Albu, C. Florea, si A. Zamfir. “Fast MotionEstimation Method”. Patent S.U.A, (US20080309769), Decembrie, 2008.

[27] P. Debevec. “Rendering Synthetic Objects into Real Scenes: Bridging Tra-ditional and Image-Based Graphics with Global Illumination and High Dy-namic Range Photography”. In ACM SIGGRAPH Proceedings of the 24thAnnual Conference on Computer Graphics and Interactive Techniques, pp.189–198, New York, S.U.A, 1998.

[28] P.E. Debevec si J. Malik. “Recovering High Dynamic Range Radiance Mapsfrom Photographs”. In ACM SIGGRAPH Proceedings of the 24th AnnualConference on Computer Graphics and Interactive Techniques, pp. 369–378,Los Angeles, S.U.A, August 1997.

[29] G. Deng, L.W. Cahill, si G.R. Tobin. “The Study of Logarithmic Image Pro-cessing Model and Its Application to Image Enhancement”. IEEE Transac-tions on Image Processing, 4(4):506–512, 1995.

[30] J.G. Dunham. “Optimum Uniform Piecewise Linear Approximation of Pla-nar Curves”. IEEE Transactions on Pattern Analysis and Machine Intelli-gence, 8:67–75, 1986.

[31] T. James (editor). The Theory of the Photographic Process. Macmillan, NewYork, S.U.A, 1977.

[32] A. El-Gamal si H. Eltoukhy. “CMOS Image Sensors”. IEEE Circuits andDevices Magazine, 21(3):7–20, 2005.

[33] G.T. Fechner. Elemente der Psychophysics. Holt, Rinehart, Wilson, NewYork, 1960.

118

Page 124: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[34] J. Feng, K.T. Lo, J. A. Mehrpour, si E. Karbowiak. “Adaptive Block Match-ing Motion Estimation Algorithm Using Bit Plane Matching”. In Proceedingsof Internation conference on Image Processing, ICIP, vol. 3, pp. 496–499,Washington, D.C., Octombrie 1995.

[35] P. Flondor si O. Stanasila. Lectii de analiza matematica si exercitii rezolvate.Editura All, Bucuresti Romznia, 1998. editia a treia.

[36] C. Florea, F. Albu, C. Vertan, si A. Drımbarean. “Logarithmic Tools forIn-camera Image Processing”. In Proceedings of 16th IET Irish Signals andSystems Conference, pp. 394–399, Galway, Irlanda, 2008.

[37] C. Florea, F. Albu, A. Zamfir, si A. Drımbarean. “Handheld Article withMovement Discrimination”. Patent S.U.A, (US 20080231713), 2007.

[38] C. Florea si C. Vertan. “Dynamic Range Enhancement in Digital CameraAcquisition of Prostheses Hip Xrays”. In Proceedings of IEEE InternationalSymposium on Signals, Circuits and Systems, ISSCS, vol. 1, pp. 1–4, Iasi,Romania, 2007. IEEE.

[39] C. Florea si C. Vertan. “Piecewise Linear Approximation of LogaritmicImage Processing Models for Dynamic Range Enhancement”. BuletinulStiintific al Universitatii Politehnica Bucuresti, 2009. acceptat – ın cursde publicare.

[40] C. Florea, C. Vertan, si L. Florea. “Logarithmic Model-based DynamicRange Enhancement of Hip X-ray Images”. In J. Blanc-Talon et al, edi-tor, Advanced Concepts for Intelligent Vision Systems, ACIVS, vol. 4678 ofLecture Notes in Computer Science, pp. 587–596. Springer Verlag, 2007.

[41] C. Florea, C. Vertan, si L. Florea. “Hip Prostheses X-ray Image Processingby LIP Exposure Prediction”. In Proceedings of Communications 2008,vol. 1, pp. 111–114, Bucuresti, Romania, 2008.

[42] C. Florea, C. Vertan, L. Florea, si A. Oprea. “On the Use of LogarithmicImage Processing Models in Total Hip Prostheses X-ray Visualization andAnalysis”. In Proceedings of the Medical Image Understanding and Analysis,MIUA, pp. 127–131, Dundee, Marea Britanie, Ianuarie 2008.

[43] C. Florea, C. Vertan, L. Florea, si A. Sultana. “Non-linear ParametricDerivation of Contour Detectors for Cellular Images”. In Proceedings ofIEEE International Symposium on Signals, Circuits and Systems, ISSCS,Iasi, Romania, 2009. IEEE. acceptat – ın curs de publicare.

119

Page 125: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[44] L. Florea, C. Vertan, si C. Florea. “3D Femoral Bone Approximation inProsthesed Hip Radiographies”. In Proceedings of 2008 IEEE InternationalConference on Intelligent Computer Communication and Processing, ICCP,pp. 75–82, Cluj, Romania, August 2008.

[45] L. Florea, C. Vertan, si C. Florea. “Automatic Fit Estimation of the FemoralComponent of a Hip Prosthses in Digitized Radiographies”. In Proceedingsof Communications 2008, vol. 1, pp. 121–124, Bucuresti, Romania, 2008.

[46] L. Florea, C. Vertan, C. Florea, si A. Oprea. “Digital Acquisition andRemote Investigation of Film Radiographies of Total Hip Prostheses”. InProceedings of European Signal Processing Conference, EUSIPCO, pp. 1103–1106, Poznan, Polonia, Septembrie 2007.

[47] L. Florea, C. Vertan, C. Florea, si A. Oprea. “Dynamic Range Enhancementof Consumer Digital Camera Acquired Hip Prosthesis Xray Images”. In Pro-ceedings of International Conference on Medical Informatics & Engineering,MEDINF, pp. 25–26, Sibiu, Romania, August 2007.

[48] B. Funt, V. Cardei, si K. Barnard. “Learning Color Constancy”. In Proceed-ings of IS&T/SID 4th Color Imaging Conference: Color Science, Systems,and Applications, pp. 58–60, Scottsdale, S.U.A, Octombrie 1996.

[49] G. H. Golub si C. F. Van Loan. Matrix Computations. John Hopkins Uni-versity Press, Baltimore, S.U.A, 1996. 3rd edition.

[50] M. Goodrich. “Efficient piecewise-linear function approximation using theuniform metric”. Discrete Computer Geometry, 14:445 462, 1995.

[51] P. Gremillet, M. Jourlin, si J.C. Pinoli. “LIP Model-Based Three-Dimensional Reconstruction and Visualisation of HIV Infected Entire Cells”.Journal of Microscopy, 174:31–38, 1994.

[52] M. D. Grossberg si S. K. Nayar. “High Dynamic Range from MultipleImages: Which Exposures to Combine?”. In Proceedings of IEEE Workshopon Color and Photometric Methods in Computer Vision at ICCV, Nice,Franta, Octombrie 2003.

[53] B. Gunturk, J. Glotzbach, Y. Altunbasak, R. Schafer, si R. Mersereau. “De-mosaicking: Color Filter Array Interpolation”. IEEE Signal Processing Mag-azine, 14:34–43, 2005.

120

Page 126: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[54] R. J. Handy. “High dynamic range CCD detector/imager”. Patent S.U.A,Noiembrie, 1986.

[55] J. Hedgecoe. The New Manual of Photography. Dorling Kindersley Limited,Londra, 2003.

[56] J. Hefferon. Linear Algebra. web edition, 2008.http://joshua.smcvt.edu/math/hefferon.html.

[57] L. Hodes. “Discrete Approximation of Continuous Convex Blobs”. Journalof Society for Industrial and Applied Mathematics, 19:477–485, 1970.

[58] J.A. Horst si I. Beichl. “A Simple Algorithm for Efficient Piecewise LinearApproximation of Space Curves”. In Proceedings of the 1997 InternationalConference on Image Processing, ICIP, vol. 2, pp. 744–747, Washington,S.U.A, 1997.

[59] H. Imai si M. Iri. “Polygonal Approximation of a Curve (Formulations andAlgorithms)”. In G.T. Toussaint, editor, Computational Morphology, pp.71–86. Elsevier Science Publishers, Amsterdam, Olanda, 1988.

[60] M. Jourlin si J. C. Pinoli. A Model for Logarithmic Image Processing. De-partment of Mathematics, University of Saint-Etienne, Franta, 1985.

[61] M. Jourlin si J. C. Pinoli. “A model for logarithmic image processing”.Journal of Microscopy, 149(1):21–35, 1998.

[62] S. Kilthau, M. Drew, si T. Mller. “Full Search Content Independent BlockMatching Based on the Fast Fourier Transform”. In Proceedings of Interna-tional Conference on Image Processing, ICIP, vol. 1, pp. 669–672, Rochester,S.U.A, Octombrie 2002.

[63] C. D. Kuglin si D. C. Hines. “The Phase Correlation Image AlignmentMethod”. In Proceedings of the IEEE Conference on Cybernetics and Soci-ety, pp. 163–165, Bucuresti, Romania, Septembrie 1975.

[64] Y. Kurozumi si W.A. Davis. “Polygonal approximation by the minimaxmethod”. Computer Graphics and Image Processing, 19:248 264, 1982.

[65] J.S. Lim. Two Dimensional Signal and Image Processing. Upper SaddleRiver, Prentice Hall, New Jersey, 1990.

[66] J.C. Pinoli M. Jourlin and. “Image Dynamic Range Enhancement and Stabi-lization in the Context of the Logarithmic Image Processing Model”. Journalof Signal Processing, 41(2):225–237, Ianuarie, 1995.

121

Page 127: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[67] J.C. Pinoli M. Jourlin and si R. Zeboudj. “Contrast Definition and ContourDetection for Logarithmic Images”. Journal of Microscopy, 156:33–40, 1989.

[68] H. Malvar, L.W. He, si R. Cutler. “Interpolation for Demosaicing of Bayer-Patterned Color Images”. In Proceedings of IEEE International Conferenceon Acoustics, Speech, and Signal Processing, ICASSP, pp. 485–488, Mon-treal, Canada, Mai, 2004.

[69] S. Mann. “Compositing Multiple Pictures of the Same Scene”. In Pro-ceedings of IS&Ts 46th Annual Conference, vol. 1, page 5052, Cambridge,Massachusetts, S.U.A, Mai 1995.

[70] S. Mann si R. Picard. “Being ndigitalith Digital Cameras: Extending Dy-namic Range by Combining Differently Exposed Pictures”. In Proceedingsof IS&Ts 48th Annual Conference, vol. 1, pp. 422–428, Washington D.C,S.U.A, Mai 1995.

[71] R. Mantiuk, G. Krawczyk, K. Myszkowski, si H.P. Seidel. “High DynamicRange Image and Video Compression - Fidelity Matching Human VisualPerformance”. In Proceedings of IEEE International Conference on ImageProcessing, ICIP, pp. 9–12, San-Antonio, S.U.A, September 2007.

[72] T. Mitsunaga si S. K. Nayar. “Radiometric Self Calibration”. In Proceedingsof IEEE Conference on Computer Vision and Pattern Recognition, CVPR,vol. 1, pp. 374–380, Ft. Collins, S.U.A, Iunie 1999.

[73] M. Murakoshi. “Charge Coupling Image Pickup Device”. Patent Japonia,(59-217358), 1994.

[74] S. K. Nayar si T. Mitsunaga. “High Dynamic Range Imaging: SpatiallyVarying Pixel Exposures”. In Proceedings of IEEE Conference on ComputerVision and Pattern Recognition, CVPR, vol. 1, pp. 472–479, Hilton HeadSC, S.U.A, Iunie 2000.

[75] S.K. Nayar si V. Branzoi. “Adaptive Dynamic Range Imaging: OpticalControl of Pixel Exposures over Space and Time”. In Proceedings of IEEEInternational Conference on Computer Vision, ICCV, vol. 2, pp. 1168–1175,Nice, Franta, Octombrie 2003.

[76] A. V. Oppenheim. Superposition in a Class of Non-Linear System. ResearchLaboratory of Electronics, M.I.T., Cambridge MA, 1965.

122

Page 128: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[77] A. Oprea, C. Vertan, C. Florea, si L. Florea. “A Logarithmic-like Image Pro-cessing Framework for Biomedical Image Enhancement”. Buletinul Stiintifical Universitatii Politehnica din Timisoara, 53(67)(1-2):66–69, 2008.

[78] V. Patrascu si V. Buzuloiu. “Edge detection by contrast formulas in thelogarithmic models”. In Proceedings of the 8th International Conference,Exhibition on Optimization of Electrical and Electronic Equipment, OPTIM,pp. 751–756, Brasov, Romania, Mai 2002.

[79] S. Perstel, E. Pozniansky, si O. Meitav. “Camera Optimization TechniquesThat Take Camera and Scene Motion into Account”. Patent S.U.A, (US2007092244), 2007.

[80] ASA PH2.5-1960. “American Standard Method for Determining Speed ofphotographic Negative Materials (Monochrome, Continuous Tone)”, 1960.United States of America Standards Institute.

[81] J.C. Pinoli. “The Logarithmic Image Processing Model: Connections withHuman Brightness Perception and Contrast Estimators”. Journal of Math-ematical Imaging and Vision, 7(4):341 – 358, Octombrie, 1997.

[82] W. H. Press, S. A. Teukolsky, W. T. Vetterling, si B. P. Flannery. NumericalRecipes in C,The Art of Scientific Computing. Cambridge University Press,San Diego, S.U.A, 1992. editia a doua.

[83] V. Patrascu. Modele matematice pentru prelucrarea logaritmica a imaginilor.teza de doctorat, Universitatea ”Politehnica” din Bucuresti, 2001.

[84] V. Patrascu si V Buzuloiu. “Color Image Enhancement in the Frame-work of Logarithmic Models”. In Proceedings of the The 8th IEEE Inter-national Conference on Telecommunications, ICT2001, pp. 199–204, Bu-curesti, Romania, Iunie 2001.

[85] V. Patrascu si V Buzuloiu. “Modeling of Histogram Equalization with Loga-rithmic Affine Transforms”. In Panos Liatsis, editor, Recent Trends in Mul-timedia Information Processing, pp. 312–316. World Scientific Press, Martie2002.

[86] V. Patrascu, V. Buzuloiu, si C. Vertan. “Fuzzy Image Enhancement in theFramework of Logarithmic Model”. In M. Nachtegael si E. Kerre, editors,Fuzzy Filters for Image Processing, vol. 122 of Studies in Fuzziness and SoftComputing, chapter 10, pp. 219–237. Springer Verlag, Martie 2003.

123

Page 129: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[87] V. Patrascu si I. Voicu. “An Algebraical Model for Gray Level Images”. InProceedings of the Exhibition on Optimization of Electrical and ElectronicEquipment, OPTIM, pp. 809–812, Brasov, Romania, 2000.

[88] R. C. Puetter, T. R. Gosnell, si Amos Yahil. “Digital Image Reconstruction:Deblurring and Denoising”. Annual Review of Astronomy and Astrophysics,43:139–194, 2005.

[89] D Pundik. “Hand Motion and Image Stabilization in Hand-held Devices”.IEEE Transactions on Consumer Electronics, 53(4):1508 – 1512, Noiembrie,2007.

[90] R. Ramanath, W. E. Snyder, Y. Yoo, si M. S. Drew. “Color Image ProcessingPipeline”. IEEE Signal Processing Magazine, pp. 34–43, 2005.

[91] E. Reinhard, G. Ward, S. Pattanaik, si P. Debevec. High Dynamic RangeImaging: Acquisition, Display and Image-Based Lighting. Morgan Kauf-mann Publishers, San Francisco, California, S.U.A, 2005.

[92] I. G. Sabac. Matematici speciale. Editura Didactica si Pedagogica, Bu-curesti, Romania, 1981.

[93] D. Sachs, S. Nasiri, si D. Goehl. “Image Stabilization Technology Overview”,c.a. 2005. www.invensense.com.

[94] K. Saito. “Electronic Image Pickup Device”. Patent Japonia, (07-254965),1995.

[95] K. Saito. “Electronic Image Pickup Device”. Patent Japonia, (08-340486),1996.

[96] K. Sauer si B. Schwartz. “Efficient Block Motion Estimation Using Inte-gral Projections”. IEEE Transaction on Circuits, Systems for Video Tech,6(5):513–518, Octombrie 1996.

[97] Y. Y. Schechner si S. K. Nayar. “Generalized Mosaicing: High DynamicRange in a Wide Field of View”. International Journal on Computer Vision,53(3):245–267, Iulie-August 2003.

[98] L. Sırbu, J. Thijssen, C. Florea, V. Buzuloiu, si C. deKorte. “AutomaticSegmentation of the Heart Muscle from Echocardiographic Images”. In Pro-ceedings of the Internation Symposium on Signals, Circuits and Systems,ISSCS, pp. 39–42, Iasi, Romania, Iulie 2005.

124

Page 130: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[99] J. Sklansky si V. Gonzalez. “Fast Polygonal Approximation of DigitizedCurves”. Pattern Recognition, 12:321–331, 1980.

[100] S. Smith. The Scientist and Engineers Guide to Digital Signal Processing.California Technical Publishing, San Diego, S.U.A, 1999.

[101] N. Sorek si I. Vitsundel. “Enhancing Digital Photography”. Patent S.U.A,(2,006,017,837), Ianuarie, 2006.

[102] A. Spataru. Teoria Transmisiunii Informattiei. Editura Didactica si Peda-gogica, Bucuresti, Romania, 1983.

[103] T. Stihi. Algebra liniara. Teorie si probleme rezolvate. Editura All, Bu-curesti, Romania, 1996.

[104] C. Vertan. Prelucrarea si Analiza Imaginilor. Editura Printech, Bucuresti,Romania, 1999.

[105] C. Vertan, L. Florea, C. Florea, A. Oprea, M.V. Popescu, si S. Cristea.“Clinical-radiological Correlation of the Fit of the Femoral Component ofa Hip Prosthesis: THA Follow-up by Digital X-ray Image Processing”. InProceedings of the Medical Congress EFORT, Nice, Franta, Mai 2008.

[106] C. Vertan, L. Florea, C. Florea, A. Oprea, M.V. Popescu, si S. Cristea.“Studiul corelatiei clinico-radiologice al potrivirii componentei femurale aunei proteze totale de sold pe baza monitorizarii cu un sistem automat deprelucrare digitala a filmelor radiologice”. In Simpozionul National pentruExcelenta ın Cercetare Stiintifica Medicala, page 58, Sibiu, Romania, 2008.

[107] C. Vertan, A. Oprea, C. Florea, si L. Florea. “A Pseudo-Logarithmic Frame-work for Edge Detection”. In J. Blanc-Talon et al, editor, Advanced Con-cepts for Intelligent Vision Systems, ACIVS, vol. 5259 of Lecture Notes inComputer Science, pp. 637 – 644. Springer Verlag, 2008.

[108] E. H. Weber. “Der tastsinn und das gemeingefiihl”. In E. Wagner, editor,Handwerterbuch der Physiologie, vol. 3, pp. 481–588. 1846.

[109] F. Xiao, J. Pincenti, si J. Farrell. “Camera Motion and Effective SpatialResolution”. In Proceedings of International Congress of Imaging Science,vol. 1, pp. 33–36, May, 2007.

[110] F. Xiao, J. Pincenti, G. John, si K. Johnson. “Camera Motion and MobileImaging”. In Proceedings of the SPIE-IST Electronic-Imaging, vol. 6502,2007.

125

Page 131: Reprezent˘ari neliniare si operatii punctuale pentru ˆımbun˘at˘atirea ...

BIBLIOGRAFIE

[111] T. Yamada, K. Ikeda, Yong-Gwan Kim, H. Wakoh, T. Toma, T. Sakamoto,K. Ogawa, E. Okamoto, K. Masukane, K. Oda, si M Inuiya. “A ProgressiveScan CCD Image Sensor for DSC Applications”. IEEE Journal of Solid-State Circuits, 35(12):2044–2054, Decembrie 2000.

[112] E. Zaharescu. “Morphological Enhancement of Medical Images in a Log-arithmic Image Environment”. In Proceedings of International Symposiumon Signals Circuits and Systems, ISSCS, vol. 1, pp. 377–380, Iasi, Romania,Iunie, 2007.

[113] Q. Zheng si R Chellappa. “A Computational Vision Approach to ImageRegistration”. In Proceedings of 11th IAPR International Conference onPattern Recognition, vol. 1, pp. 193–197, Haga, Olanda, 1992.

[114] B. Zitova si J. Flusser. “Image Registration Methods: A Survey”. Journalof Image and Vision Computing, 21(11):977–1000, 2003.

126


Recommended