Quelques contributions en reconnaissance de symboles

1. Quelques contributions en reconnaissance de symboles Mathieu Delalandre DAG Group, CVC, Barcelone, Espagne LaBRI, Bordeaux, France 5 Mai 2009

2. RechercheIntroduction • reconnaissance de graphiques • reconnaissance, interprétation, • indexation, recherche • évaluation de performance • prétraitement d’images • extraction de caractéristiques • approches structurelles et statistiques • géométrie algorithmique • systèmes à base de connaissances • interaction homme-machine • etc. plan technique logo caractère script symbole ClipArt lettrine

3. RechercheIntroduction • reconnaissance de graphiques • reconnaissance, interprétation, • indexation, recherche • évaluation de performance • prétraitement d’images • extraction de caractéristiques • approches structurelles et statistiques • géométrie algorithmique • systèmes à base de connaissances • interaction homme-machine • etc. plan technique logo caractère script symbole ClipArt lettrine

4. RechercheExtraction, appariement (1/3) Occlusion ligne ligne point de connexion arc de connexion jonction T arc T Filtrage Zernike Base FT (14 plans, 103 symboles) Kppv Graphe de voisinage, filtrage Appariement

5. RechercheExtraction, appariement (2/3) Base GREC’03 (900 symboles) Filtrage Marquage Graphe d’inclusion Graphe de voisinage Graphe Hybride Appariement

6. p2 l1 l2 p1 Score 1 11.4 0 0 Score 2 1 1 2 2 5.1 3 3 Delta 4 4 5 5 6.4 6 6 7 7 8 8 0 0 1,4 1,4 1 1 0,4 0,4 2 2 1,1 1,1 3 3 0,1 0.1 p2 4 4 15 12 41 12 p1 L 5 5 1,1 1,1 6 6 43 0.1 7 7 12 7 41 7 l2 l1 RechercheExtraction, appariement (3/3) detected vectors Base GREC’03 (900 symboles) Détection de ligne (HT) Appariement de templates vectoriels model vectors simple 4 division 2 fusion 1 detected vectors manqué 0 fausse détection 0 Taille 7 vecteurs détectés vecteurs modèles model vectors

7. RechercheIntroduction • reconnaissance de graphiques • reconnaissance, interprétation, • indexation, recherche • évaluation de performance • prétraitement d’images • extraction de caractéristiques • approches structurelles et statistiques • géométrie algorithmique • systèmes à base de connaissances • interaction homme-machine • etc. plan technique logo caractère script symbole ClipArt lettrine

8. RechercheApproche Système (1/3) • ACTI_VA • DocMining Visualisation, navigation • analyse de structure • séparation texte/graphique • vectorisation • reconnaissance optique de caractères • reconnaissance d’objets • etc. Moteur XQuery Base de scenario (XML) Interface de commande Moteur XSLT Appariement de graphes

9. 0.* Graphique Og 0.* composante inclusion Opérateur Opérateur contraintes opérateurs représentations objets Liste l Graphe g Bitmap Point Ligne bitmap base d’objets graphiques marquage se specialise classe bitmaps association comprend comprend vecteur jonction appariement de contours quadrilatère côte à côte adjacence composantes reconstruction jonction extrémité jonction axe médian ligne quadrilatères adjacents angle Recherche Approche Système (2/3) Opérateurs Spécifications Extraire le raster ou les composantes, les substituer par leurs squelettes. squelettisation marquage et squelettisation marquage, voisinage et squelettisation Représentation niveau procédural Représentation niveau déclaratif Extraction/Substitution

10. Règles Fait Fait Opérateur Opérateur Opérateur Vers Objet Opérateur de contrôle Spécialisation Partie de • Graphe de reconstruction • implicite • explicite Recherche Approche Système (3/3) graphe (biparti) de reconstruction Exécuter opérateur adaptation sur objet image avec paramètre 0.3 si fait adapter • stratégie • reconstruction Base FT (14 plans, 103 symboles) Base GREC’03 (900 symboles) • contrôle • événement opérateur objet paramètre règle

11. RechercheIntroduction • reconnaissance de graphiques • reconnaissance, interprétation, • indexation, recherche • évaluation de performance • prétraitement d’images • extraction de caractéristiques • approches structurelles et statistiques • géométrie algorithmique • systèmes à base de connaissances • interaction homme-machine • etc. plan technique logo caractère script symbole ClipArt lettrine

12. System Groundtruthing Results Results Results Characterisation Groundtruth Performance evaluation Groundtruth Groundtruth constraint stack empty ? RechercheEvaluation de performance (1/3) use building no yes C1 M1 (1) model and constraint selection c1 C2 M2 selection on constraint selection on model M3 c2 C3 reproduction of domain-rules cleaning M4 model and constraint C4 symbol loader (2) symbol loader symbol and constraint symbol control (3) symbol control control shapes new loop shape positioning (4) shape positioning positioned symbol p yes L overflow ?  symbol model (5) constraint checking p1 no bounding box and control point loaded symbol full ? yes building failure no p2 yes overlap ? (6) Space management L1 L2 θ2 θ1 no (7) Stopping criterion continue ? yes alignment no building end document generation symbol positioning

13. y s [0,1] x 0 v vmax RechercheEvaluation de performance (2/3) Symbol Models (2) run Building Engine (1) edit (3) display Background Image

14. RechercheEvaluation de performance (3/3) Domain definition of ROI Sampling Shifting Signature tub Rendre homogène les ROI fournit par les systèmes Problème de précision et de complexité θ(n) Limiter les problèmes de sur- détection Labels door skin door sofa Ranks QBE Learning Spotting/Recognition System groundtruth ROI localization point r1 r2 r3 overlayed ROI Region Of Interest Groundtruth Mapping Characterization truthresults Mapping cases Single : a model line matches only with one detected line. Split : two model lines match with one detected line. Merge : a model line matches with two detected lines. False alarm : a detected line doesn't match with any model lines. Miss : a model line doesn't match with any detected lines. Base SESYD (6 fonds, 100 plans, 2521 symboles) truthresults

15. RechercheIntroduction • reconnaissance de graphiques • reconnaissance, interprétation, • indexation, recherche • évaluation de performance • prétraitement d’images • extraction de caractéristiques • approches structurelles et statistiques • géométrie algorithmique • systèmes à base de connaissances • interaction homme-machine • etc. plan technique logo caractère script symbole ClipArt lettrine

16. <rect x="400" y="100" width="400“ height="200" fill="yellow" stroke="navy" stroke-width="10" /> RechercheOptimisation (1/3) Déformatage Filtrage Recherche intersection L1 Recherche des régions L4 L5 L2 L3 α(2-1) d2 Adjacence, inclusion L1 L2 L1 d1 ϴ α(1-2) d1 and d2 are the two lines’ directions in [0- 2π] ϴ L5 L4 L2 L2 d2 L3 crossing pointmerged lines

17. 0.95 impréssion 1 0.88 impréssion 2 0.75 x1 x1 x1 x1 ligne (y) de l’image 1 tampon 1 tampon 2 tampon 3 ligne (y) de l’image 2 Tampon (de dessous) x x2 x2 x2 x2 x2 pointeur 1555-1578 accumulateur Printing house plug 1511-1542 exchange duplicate 1531-1548 1497-1507 RechercheOptimisation (2/3) Vascosan 1555 Marnef 1576 Printings produced by a same plug with a 21 year gap Wood plug duplicate Query(s) Raster RLE Min 176.67 22.32 Mean 337.06 41.68 tant que x2 x1parcourir image 2 tant que x1 x2parcourir image 1 Max 903.62 137.06

18. 2 1 RechercheOptimisation (3/3) Taille (hauteur, largeur) Densité (forme, fond) Compression (forme, fond) requête présélection Courbes cumulatives Approximation RLE Dérivées 1er et 2sd Pics de décroissance Étage 2 Étage 1 Sélection des n points if 1 - 2 < 0 push x, cluster while1 - 2 < 0 next

19. Conclusion ISRC’09, EPEIRES Franchir la barrière de la localisation De l’aide à l’interprétation vers l’adaptation au contenu Robustesse vs. généricité, images basse résolution, couleur