410 likes | 845 Vues
Stereovizijski sustavi. Kruno Kantoci. Sadržaj. Uvod Osnove fotogramentrije Strojni stereo vid Primjeri. Uvod - ljudski vid. Za percepciju udaljenosti objekata od nas, potrebna su nam 2 oka. Testirajte se:. Uvod - ljudski vid. Slike koje vidimo lijevim i desnim okom nisu potpuno
E N D
Stereovizijski sustavi Kruno Kantoci
Sadržaj Uvod Osnove fotogramentrije Strojni stereo vid Primjeri Stereovizijski sustavi
Uvod - ljudski vid Za percepciju udaljenosti objekata od nas, potrebna su nam 2 oka Testirajte se: Stereovizijski sustavi
Uvod - ljudski vid Slike koje vidimo lijevim i desnim okom nisu potpuno jednake mali razmak između ljudskih očiju Stereovizijski sustavi
Uvod – ljudski vid • Na toj se činjenici temelji strojni stereo vid Stereovizijski sustavi
Uvod - strojni stereo vid Stereovizijski sustavi • 2 ili više kamera omogućuju percepciju 3D svijeta • Osnovni pojmovi: • Kalibracija • Koordinatni sustavi • Projekcijska geometrija • Epipolarna geometrija • Paralelne i konvergirane kamere • Korespondencija • Segmentacija slike • Korelacija • Strukturirano svijetlo
Uvod - ljudski vs strojni vid Ljudski vid • Strojni vid Stereovizijski sustavi
Osnove fotogrametrije Stereovizijski sustavi
Osnove fotogrametrije Stereovizijski sustavi • Fotogrametrija je umjetnost, znanost i tehnologija za dobivanje pouzdanih informacija o objektima realnog svijeta i okruženja kroz proces snimanja, mjerenja i interpretacije fotografskih slika • Područja primjene: • Blokaerotriangulacija • Arhitektura i zaštita spomenika • Građevinarstvo • Arheologija • Industrija i strojarstvo • Medicina • Fotorealistična vizualizacija i animacija • ...
Osnove fotogrametrije Stereovizijski sustavi • Prednosti • Raznovrsni podaci • Velike mogućnosti automatizacije • Veliki raspon točnosti • Velika pouzdanost • Jednostavna mogućnost naknadnih mjerenja • Široka spektralna osjetljivost (IC, termalno ...)
Osnove fotogrametrije Stereovizijski sustavi • Tipovi obrade • Metrička fotogrametrija • Interpretativna fotogrametrija • Tipovi snimanja • Terenska i bliskopredmetna fotogrametrija • Aerofotogrametrija • Satelitska fotogrametrija • Tehnologije obrade • Analogna fotogrametrija • Analitička fotogrametrija • Digitalna fotogrametrija
Osnove fotogrametrije – primjena u strojarstvu Stereovizijski sustavi • Beskontaktna digitalizacija • Usporedba s CAD modelima • Kontrola kvalitete • Inverzno inženjerstvo • Pakiranje • Virtualna stvarnost • ...
Osnove fotogrametrije – primjena u strojarstvu • Prostorno mjerenje • Izmjera točaka, provrta, bridova • Određivanje deformacija • Definiranje koordinatnih sustava • ... Stereovizijski sustavi
Osnove fotogrametrije – primjena u strojarstvu Stereovizijski sustavi • Analiza deformacija • Prostorno mjerenje deformacija i naprezanja • Testiranje materijala • Dimenzioniranje komponenata • Određivanje svojstava materijala • Eksploatacija u industrijskoj sredini • …
Osnove fotogrametrije – primjena u strojarstvu • Praćenje dinamičkih deformacija • Mjerenje 3D deformacija i vibracija • Dinamičko testiranje materijala • Analiza relativnog gibanja • … Stereovizijski sustavi
Strojni stereo vid Stereovizijski sustavi
Strojni stereo vid Stereovizijski sustavi
Strojni stereo vid - kalibracija Stereovizijski sustavi • Koordinate piksela koordinate slike • Ekstrinsični parametri – definiraju lokaciju i orijentaciju koordinatnog sustava kamere u odnosu prema poznatom referentnom koordinatnom sustavu svijeta • Intrinsični parametri – povezuju koordinate piksela s korespodentnim slike s korespodentnim točkma u referentnom sustavu kamere • Procjena parametara kamere • Fotogrametrička kalibracija • Samokalibracija
Strojni stereo vid – koordinatni sustavi Stereovizijski sustavi Koordinatni sustav svijeta (w) Koordinatni sustav kamere (c) Koordinatni sustav slike – euklidski (i) Koordinatni sustav slike – afina (a)
Strojni stereo vid – koordinatni sustavi Koordinatni sustav slike Koordinatni sustav kamere Stereovizijski sustavi
Strojni stereo vid – perspektivna projekcija • Odnos (X, Y, Z) i (x, y) određuje se preko omjera trokuta • Jednadžbe perspektivne transformacije: • f – fokalna duljina kamera Stereovizijski sustavi
Strojni stereo vid – perspektivna projekcija • Virtualna slika • Slika u kameri je invertirana potrebna prilagodba • Za prikazivanje slike na ekranu • Geometrija ista kao i prije • Nalazi se ispred kamera Stereovizijski sustavi
Strojni stereo vid – paralelne kamere • B – duljina osnovne linije kamera • f – fokalna duljina kamera • Z – dubina (udaljenost) točke: • Koordinate točke: Stereovizijski sustavi
Strojni stereo vid – paralelne kamere • Često korištenje “Cyclopean” koordinatnog sustava • Izrazi za konverziju: • Geometrija paralelnih kamera se izbjegava Stereovizijski sustavi
Strojni stereo vid – konvergirane kamere • Mnogo češći slučaj • - dubina fiksacijske točke • Izraz da dubinu glasi: Stereovizijski sustavi
Strojni stereo vid – epipolarna geometrija • Omogućava epipolarno ograničenje koje smanjuje dimenzije prostora u • kojem tražimo korespodenciju između točke viđene različitim kamerama • sa cijele slike na ograničeni prostor • Epipolarna ravnina definirana je sa OP i O’P • li l’- epipolarne linije • e i e’ –epipolovi tj. virtualne slike optičkog centra prve kamere viđene drugom kamerom Stereovizijski sustavi
Strojni stereo vid - korespondencija Određivanje ekvivalentnih točaka iz dvije slike iste scene Pretpostavke: Odgovarajuća područja slika su slična Točka u jednoj slici može odgovarati samo jednoj točki u drugoj slici Ako su dva odgovarajuća elementa blizu na slici tada je u većini slučajeva njihova nepodudarnost ista jer okoliš predstavlja kontinuirana površina omeđena granicama Osnovne metode: Segmentacija Korelacija Stereovizijski sustavi
Strojni stereo vid – segmentacija slike • Provodi se u nekoliko koraka: • Ekstrakcija značajki pojedinog segmenta • Odabir segmenta na lijevoj slici • Usporedba sa svakim segmentom desne slike • Odabir segmenta koji najbolje odgovara traženom segmentu sa lijeve slike • Iteracija prijašnjih koraka Stereovizijski sustavi
Strojni stereo vid – korelacija slike Stereovizijski sustavi
Strojni stereo vid – ograničenja korespondencije • Epipolarno ograničenje • Ograničenje jedinstvenosti • Fotometričko ograničenje • Ograničenje geometrijskih sličnosti • Ograničenje istih značajki • Ograničenje rasporeda • Obostrana korespondencija Stereovizijski sustavi
Strojni stereo vid – strukturirano svjetlo • Za rješavanje problema korespondencije • Za scene bez dovoljno detalja za usporedbu • Izbjegavanje kalibracije stereopara • Daje gustu mapu udaljenosti Stereovizijski sustavi
Strojni stereo vid – strukturirano svjetlo • Binarno kodiranje • Sinusni val Stereovizijski sustavi
Primjeri Stereovizijski sustavi
Primjeri – bušenje tiskanih pločica • Zbog nepravilnog pozicioniranja • Kamere snimaju pločicu i svrdlo • 2 kamere udaljenost svrdla od pločice • Paralelne kamere Stereovizijski sustavi
Primjeri – bušenje tiskanih pločica • 4 referentne podloge • Razlika CAD modela i obrađenih slika stvarna pozicija svrdla • Nije potrebna kalibracija stereopara Stereovizijski sustavi
Primjeri – bušenje tiskanih pločica pogreška pogreška ispravljena Stereovizijski sustavi
Primjeri – mapiranje mobilnim robotom • Višerezolucijski stereovizijski sustav • Jeftina integrirana stereo glava • Stereo algoritam pokretan na PC-u • Cilj: autonomnost robota pri prepoznavanju okoline Stereovizijski sustavi 37
Primjeri – mapiranje mobilnim robotom • Dinamička promjena rezolucije • Rezolucije od 320x60, 160x60 i 80x60 piksela • Svaka slika pojedine rezolucije se posebno obrađuje Stereovizijski sustavi
Primjeri – mapiranje mobilnim robotom Traženje širine hodnika Kreirana mapa hodnika Stereovizijski sustavi
Prijedlog pitanja za kolokvij • Na kojoj se prirodnoj činjenici temelji strojni stereo vid? • Zbog malog razmaka između ljudskih očiju, slike koje vidimo pojedinim okom nisu potpuno jednake • Koje tehnologije obrade slika poznajete u fotogrametriji? • Analogna fotogrametrija • Analitička fotogrametrija • Digitalna fotogrametrija • Koje su dvije metode kalibracije za procjenu parametara kamere? • Fotogrametrička kalibracija • Samokalibracija • Koji se koordinatni sustav najčešće koristi pri geometriji paralelnih kamera te gdje mu je ishodište? • Cyclopean – ishodište je na polovici udaljenosti između kamera • Koji su najčešći oblici strukturiranog svjetla? • Binarno kodiranje • Sinusni val