1 / 20

Evaluering af punktfindere ved indholdsbaseret billedsøgning

Evaluering af punktfindere ved indholdsbaseret billedsøgning. Speciale – Jacob Rohde. Plan. Hvad er indholdsbaseret billedsøgning? De 4 punktfindere Beskrivelse af lokale gradientretninger med SIFT deskriptoren Segmentering ved K-means Resultat/Konklusion.

dimaia
Télécharger la présentation

Evaluering af punktfindere ved indholdsbaseret billedsøgning

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Evaluering af punktfindere ved indholdsbaseret billedsøgning Speciale – Jacob Rohde

  2. Plan • Hvad er indholdsbaseret billedsøgning? • De 4 punktfindere • Beskrivelse af lokale gradientretninger med SIFT deskriptoren • Segmentering ved K-means • Resultat/Konklusion

  3. Indholdsbaseret billedsøgning (IBBS) • IBBS: indeksere og finde billeder på baggrund af deres visuelle indhold. • Forskningsområde siden 1979. • Ordinær tekstbaseret søgning ikke altid nok: • Billedmængden eksploderet, især siden Internettets kommen. • Tekstuel annotation præget af menneskelig subjektivitet.

  4. Indholdsbaseret billedsøgning • Forespørgelsesbillede: • Resultatbilleder:

  5. Indholdsbaseret billedsøgning • IBBSer kan kategoriseres: målsøgning, kategorisøgning eller associativ søgning. • Målsøgning: Søgning efter et specifik objekt/billede, f.eks. i kunstkatalog. • Kategorisøgning: Billeder repræsentative for en specifik kategori. • Associativ søgning: Simpel ”browsing”, tit interaktivt.

  6. Indholdsbaseret billedsøgning • Et billede repræsenteres ved dets egenskaber: • Farve. • Tekstur. • Form. • Etc. • Søgning: Sammenlign input-billedets egenskaber med egenskaber fra basens billeder.

  7. Indholdsbaseret billedsøgning • En eller flere egenskabsvektor(er) konstrueres. Repræsenterer billedets egenskaber kvantitativt. • Egenskabsvektoren kan være lokal eller global. • Egenskaber: farve, tekstur, form, etc.

  8. Indholdsbaseret billedsøgning • Mål: Sammenlign fire punktfindere i et setup: IBBS. • Anvend dokumenterede og anerkendte metoder. Indeksering: K-Means SIFT deskriptor Egenskabsvektor: Harris Hessian Hessian SIFT Pedersen Punktfindere:

  9. Punktfindere • Finder interessante punkter: • Punkter med en klar, gerne matematisk, definition. • Oprindeligt brugt ved objekt tracking og til at finde interessante områder (blob detektion). • Nu også billede-matching og udsyns-baseret objekt genkendelse. • Vi ser også gerne at et sådanne punkt detekteres med en tilknyttet skala.

  10. Skala? • Ting i den virkelige verden består af forskellige strukturer ved forskellige skalaer. • Skalarumsteori gør det muligt at håndtere repræsentationer af billeder ved flere skalaer, og derved anvende skala-invariante metoder. • Skalaen repræsenteres ved en parameter: σ. • Detaljer ”undertrykkes” ved højere skalaer. • Et billedes skalarepræsentation findes ved foldning med en Gauss:

  11. Punktfindere – Harris • Harris klassiske hjørne- og kantfinder. Vi holder os til hjørnerne. • Vi betragter et vindue omkring en pixel og sammenligner dette vindue med omkringliggende vinduer. • Ved at udregne summen af kvadraterne af intensitetsændringerne (SSD) kan vi udtale os om ligheden mellem vinduerne. • Høj SSD i alle retninger: hjørnepunkt. • Auto-korellations matricen beskriver første ordens intensitetsstruktur i et lokalt område: • To høje egenværdier = hjørnepunkt.

  12. Punktfindere - Pedersen • Anvender en statistisk model for et billede: billederne udfald i en stokastisk generisk model for billeder. Interessante punkter er punkter der er usandsynlige under modellen. • Anvender skalarumsteori: punkter skala-invariante. • Finder normaliserede skalarums afledte og konstruerer et 2-jet i hvert punkt: • Find punkter og deres skala, der minimerer modellens sandsynlighedsfunktion:

  13. Punktfindere - Lowe • Bruger også skalarumsteori. • Difference-of-Gaussian: • Lowe konstruerer en pyramide af DoG billeder. Pyramideformen fremkommer ved jævnligt at ”downsample” billedet. • Punkterne i DoG billederne sammenlignes med dens naboer i et 3x3x3 område. Detekteres som et interessant punkt hvis det er højere/lavere end de andre punkter. • Lowe ”forfiner” punkterne ved at ”fitte” dem til en 3D kvadratisk funktion, og ved at fjerne kantpunkter.

  14. Punktfindere - Hessian • En Hessian matrix er en kvadratisk matrix af alle andenordens partielt afledte af en funktion af flere variabler. • I vores tilfælde en 2x2 matrix: • Interessante punkter detekteres som lokale maksima i matricens determinant:

  15. Hvad med skala i Harris og Hessian? • Harris og Hessian har ikke skalaselektion ”indbygget” som i Lowe og Pedersen. • Vi skal derfor udføre en ”ekstern” skalaselektion. • Til det benyttet Laplace operatoren: • For hvert punkt finder vi Laplace operatorens maksima.

  16. SIFT deskriptor • Beskriver den lokale struktur omkring et punkt. Baseret på gradient data. • 128-dimensionel vektor! • Invariant overfor visse billedtransformation, herunder skala. • Rotationsinvarians opnås ved at beregne deskriptoren i forhold til punktets (gradient) retning, så hvert punkt tildeles først en retning. • Skalainvarians opnås ved at benytte skalarumsbilleder.

  17. Indeksering/Søgning • Vi segmenterer egenskabsvektorerne i homogene klynger. • K-means: • Vælger klyngernes centrum. • Tildeler objekterne til de nærmeste klynger • Udregner nyt centrum • Færdig? • Problemer med K-means: • Stærkt afhængig af den første ”seedning” af klyngecentrumerne. • At vælge et fornuftigt klyngeantal kan være svært. • Resultatet skrevet til en ”inverted” fil. • Ved søgning: • Find punkter, udregn egenskabsvektorer, find nærmeste klyngecentrum. • Find billeder fra basen med fælles klynger.

  18. Resultater • Anvender en ”ground-truth” billedsamling. • Følgende mål evalueres: • Rangen af første relevante billede. • Præcision (forholdet mellem antallet af relevante returnerede billeder og det totale antal returnerede billeder); siger noget om støjen. • ”Recall” (forholdet mellem antallet af relevante returnerede billeder og det totale antal relevante billeder); siger noget om hvor meget vi gik glip af. • Normaliserede rang: gennemsnitlige rang af relevante billeder (en værdi på 0 betyder at alle relevante billeder blev returneret først mens en værdi på ½ betyder tilfældig returnering).

  19. Resultater • Selvom om Harris detektoren er overlegen hvad angår rangen af første relevante billeder, og Pedersen detektoren har en generelt bedre normaliseret rang af alle punktfinderne. Så står ingen af detektorerne frem som markant bedre end resten! • Variationen i den normaliseret rang var større ved anvendelse af forskellige klyngestørresler ved indekseringen end den var anvendelsen af de forskellige punktfindere!

  20. Konklusion • Ingen af punktfinderne synes at være markant bedre end resten. • Noget kunne tyde på at elementer som indekseringen kan have en større indflydelse på en endelige ”performance”. • Masser af muligheder for forbedringer: • Bedre indeksering (ny metode, bedre parameterestimation). • Prøv flere billeddatabaser. • Eksperimenter med vægtene. • Eksperimenter med stop-lister.

More Related