B i g I m a g e s – Visuele Communicatie

B i g I m a g e s – Visuele Communicatie • De vormenlaag: • vormen, randen en dimensie • ontvanger: • detecteren van randen en andere singulariteiten • detecteren van singulariteiten op verschillende schalen • het segmentatieprobleem • zender: • natuurlijke systemen: de oorzaak van randen in beelden • het realiseren van gekleurde vormen in computer graphics • een korte weg naar betekenis: vormen als visuele symbolen Kees van Overveld -1-

B i g I m a g e s – de vormenlaag beelden die op elkaar lijken in de textuurlaag en/of samplinglaag kunnen sterk verschillen in de vormenlaag, en omgekeerd erg gelijkend op de samplinglaag; erg gelijkend op de textuurlaag; erg verschillend op de vormenlaag erg verschillend op de sampling laag; Erg gelijkend op de textuurlaag erg gelijkend op de vormenlaag Kees van Overveld -2-

B i g I m a g e s – de vormenlaag poging om “vorm” te definiëren vorm is een invariant die gedefinieerd is door textuurverschillen maar niet alle textuurverschillen introduceren een vorm. probleem 1: de overgang tussen twee texturen hoeft niet discreet te zijn probleem 2: een gegeven textuur bestaat slechts over een beperkt schaalinterval Kees van Overveld -3-

Q P B i g I m a g e s – de vormenlaag vormen, randen en dimensie P heeft in zijn omgeving alleen maar punten met één textuur. P kan zich in 2 onafhankelijke richtingen bewegen: {P} vormt een 2-dimensionale verzameling Q heeft in zijn omgeving punten met 2 verschillende texturen. Q kan zich in 1 ‘onafhankelijke’ richting bewegen: {Q} vormt een 1-dimensionale verzameling Kees van Overveld -4-

B i g I m a g e s – de vormenlaag detectie van randen met detectoren van de samplinglaag In 1-D, randen scheiden ‘convexe’ en ‘concave’ gebieden Randen treden op bij nuldoorgangen van de 2e afgeleide. Kees van Overveld -5-

B i g I m a g e s – de vormenlaag detectie van randen met detectoren van de samplinglaag Toepassen van de Mexicaanse hoed detector op een signaal geeft nuldoorgangen waar de 2e afgeleide van teken omslaat Kees van Overveld -6-

B i g I m a g e s – de vormenlaag detectie van randen met detectoren van de samplinglaag De breedte van de Mexicaanse hoed bepaalt de breedte van de features waarvoor de convex-concaaf omslag gezien wordt Een Mexicaanse hoed met breedte  negeert convex-concaaf overgangen die veel smaller of veel breder zijn dan . Kees van Overveld -7-

B i g I m a g e s – de vormenlaag detectie van randen met detectoren van de samplinglaag • Conclusie voor 1-D: • segmenten zijn gedefinieerd d.m.v. randen • randen kunnen optreden op willekeurige schalen • de plaats van nuldoorgangen van de Mexicaanse hoed met breedte  geeft de plaats aan van een rand op schaal . • Open problemen: • generalisatie naar 2D werkt niet: bij 3-landenpunten komen 3 gebieden bij elkaar, maar convex-concaaf-overgangen vergen een even aantal incidente segmenten • de interactie tussen de textuur-feature vectoren en de nuldoorgangen is niet helder Kees van Overveld -8-

B i g I m a g e s – de vormenlaag de oorzaak van randen Alle randen zijn 1-dimensionale zijn singulariteiten tussen 2-dimensionale reguliere gebieden van gereflecteerd licht. Wat veroorzaakt die singulariteiten? d2Eretina=P cos i cos4l AP d2R / 32 3ri2b2 cos u • in : • golflengte-afhankelijke verschillen in reflectiviteit • hoek-afhankelijke verschillen in reflectiviteit • in P: • schaduwen • caustics • (partiële) occlusie • in i : • (“discrete” sprongen in) plasticiteit • in u : • silhouetten Het wiskundige verschil tussen ‘continu’ en ‘niet-continue’ betekent weinig. ‘Singulier’of ‘regulier’ … …is alleen maar een kwestie van schaal) -9-

B i g I m a g e s – de vormenlaag de oorzaak van randen golflengte-afhankelijke verschillen in reflectiviteit: schilderen, drukken, materiaal kleuren, … Kees van Overveld -10-

randen tussen twee reflectiviteiten kleine  (diffuse reflectie) grote  (spiegelende reflectie) B i g I m a g e s – de vormenlaag de oorzaak van randen hoek-afhankelijke verschillen in reflectiviteit: discrete verschillen tussen grote en kleine  Kees van Overveld -11-

B i g I m a g e s – de vormenlaag de oorzaak van randen het mechanisme van schaduwen Kees van Overveld -12-

B i g I m a g e s – de vormenlaag de oorzaak van randen caustics: gekromde reflecterende of brekende oppervlakken werken als ‘lenzen’ die meerdere, scherp begrensde beelden van lichtbronnen op een oppervlak projecteren Kees van Overveld -13-

B i g I m a g e s – de vormenlaag de oorzaak van randen • occlusie ontstaat als lichtstralen (gedeeltelijk) geblokkeerd worden, • tussen de lichtbron en het reflecterend oppervlak: slagschaduwen • tussen het reflecterend oppervlak en de detector: verborgen oppervlakken • “gedeeltelijk” kan betekenen: • een gedeelte van de energie van de lichtstraal wordt geabsorbeerd, of • een gedeelte van de lichtstralen wordt geabsorbeerd (halfschaduwen – penumbrae) Waarom zijn er wel halfschaduwen maar geen ‘ half’ silhouetten? Kees van Overveld -14-

silhouette helderheids sprong  scherpe rand helderheids singulariteit  scherpe rand glad helderheidsverloop  ronde ‘rand’ B i g I m a g e s – de vormenlaag de oorzaak van randen verwarring ontstaat als randen meerdere interpretaties toestaan Kees van Overveld -15-

object 1 object object object 2 B i g I m a g e s – de vormenlaag de oorzaak van randen • silhouetten: gereflecteerde lichtstralen (=zichtlijnen) loodrecht op oppervlakte normaal • intern silhouet (I): correspondeert niet met dieptesprong (singulier geval!) • intern silhouet (II): correspondeert met dieptesprong • extern silhouet: correspondeert met dieptesprong Kees van Overveld -16-

B i g I m a g e s – de vormenlaag intentionele vs. extensionele vormen; visuele symbolen Vorm draagt betekenis; te onderscheiden in cultuur-onafhankelijke en cultuurgebonden betekenis; onderscheid denotatie en connotatie (resp. formele betekenis en associatieve betekenis)

B i g I m a g e s – de vormenlaag intentionele vs. extensionele vormen; visuele symbolen -18-

B i g I m a g e s – de vormenlaag intentionele vs. extensionele vormen; visuele symbolen Kees van Overveld -19-

flowers’shapes and colors develop in co-evolution process with sensory systems in insects … … even primitive visual detectors (say, few Mexican hat detectors with “correct” spectral sensitivity) can detect appropriate radial contrasts B i g I m a g e s – de vormenlaag intentionele vs. extensionele vormen; visuele symbolen • did flowers develop round shapes because mexican hat detectors exist, or • did mexican hat detectors develop because round flowers exist, or • is this all just coincidence? Kees van Overveld -20-

B i g I m a g e s – de vormenlaag intentionele vs. extensionele vormen; visuele symbolen ceci n’est pas une peinture de René Magritte ceci n’est past un paradox Kees van Overveld -22-

B i g I m a g e s – Visuele Communicatie