Soutenance de thèse

1. Michel Narozny Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz Soutenance de thèse ANALYSE EN COMPOSANTES INDÉPENDANTES (ACI) ET COMPRESSION DE DONNÉES Soutenance de thèse de Michel Narozny

2. Deux domaines de recherche… • Un sujet de thèse à la charnière entre deux domaines de recherche: • Analyse en composantes indépendantes • Séparation aveugle de sources, • Analyse de données (images, bourses), • Modélisation du cortex visuel, • Astronomie,… • Compression de données • Photos numériques, • Vidéos, • Images médicales, • Musique,… Mon sujet de thèse Soutenance de thèse de Michel Narozny

3. BUT: réduire la complexité des codeurs ACI: outil pour réduire la redondance dans les données Pourquoi associer ACI et compression? Réduction de redondance dans les données Compression de données: on cherche à réduire/éliminer la redondance dans les données Soutenance de thèse de Michel Narozny

4. Redondance résiduelle exploitée par les codeurs SPIHT Exploite la redondance entre des coefficients d’ondelettes situés au même endroit dans des sous-bandes différentes ● ● EBCOT (JPEG2000) Exploite la redondance entre des coefficients d’ondelettes situés dans une même sous-bande ● ● ● Soutenance de thèse de Michel Narozny

5. L’ACI diminue la redondance • Images de la galaxie 3C120 prises avec 4 filtres différents • Images obtenues après ACI (algorithme FastICA) Référence: D. Nuzillard and A. Bijaoui. Blind source separation and analysis of multispectral astronomical images. Astron. Astrophys. Suppl. Ser. 147, 129-138 Soutenance de thèse de Michel Narozny

6. Travaux précédents (1/2) • Principe de réduction de redondance pour expliquer la stratégie de codage de l’information visuelle dans le cortex visuel primaire (V1) • L’ACI modélise bien les champs récepteurs des cellules simples de V1 Localisation dans l’espace et en fréquence + orientation Olshausen BA. Principles of Image Representation in Visual Cortex. In:  The Visual Neurosciences, L.M. Chalupa, J.S. Werner, Eds.  MIT Press,  pp. 1603-15, 2003 Soutenance de thèse de Michel Narozny

7. Travaux précédents (2/2) • Codage par transformée classique1 (Puga et Alves, 98) • l’ACI est moins performante que la transformée de Karhunen-Loève en codage à bas débit d’images en niveaux de gris • Codage prédictif2 (Marusic et Deng, 99) • Les performances de l’ACI varient selon la méthode de quantification utilisée • Matching pursuit3 (Ferreira et Figueiredo, 03) • Publié au milieu de ma thèse • Gain de la méthode par rapport à JPEG de 2,3 dB à 0.62 bpp 1) A. T. Puga and A. P. Alves. An experiment on comparing PCA and ICA in classical transform image coding. ICA’98 2) S. Marusic and G. Deng. ICA-FIR based image redundancy reduction. ICA’99 3) A. J. Ferreira and M. A. T. Figueiredo. Class-adapted image compression using independent component analysis. ICIP’03 Soutenance de thèse de Michel Narozny

8. Objectif et contributions • Objectif: • Comprendre le lien qui existe entre les performances en compression et la réduction de redondance dans les données • Contributions • Évaluation des performances de l’ACI “standard” en codage par transformée (codage par blocs) • Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié • Proposition de deux nouveaux algorithmes d’ACI modifiés: • GCGsup: calcul de la transformation linéaire optimale • ICAorth: calcul de la transformation orthogonale optimale Soutenance de thèse de Michel Narozny

9. Plan de la présentation • Introduction • Présentation du schéma de codage étudié • Évaluation des performances de l’ACI en compression • Proposition de transformations optimales obtenues à partir d’algorithmes d’ACI modifiés • Conclusion et perspectives Soutenance de thèse de Michel Narozny

10. Présentation du schéma de codage étudié • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Choix du type de transformation • Choix des quantificateurs • Choix du codeur entropique • Choix des mesures de distorsion et de débit • Choix de la méthode d’allocation de débit Soutenance de thèse de Michel Narozny

11. Structure d’un codeur par transformée Soutenance de thèse de Michel Narozny

12. Structure d’un décodeur Inverse mathématique Soutenance de thèse de Michel Narozny

13. Choix du type de transformation Q1 Transformation linéaire (matrice de dimension 64×64) Q2 Q64 Découpage de l’image en blocs de 8×8 pixels Balayage de chaque bloc de haut en bas et de gauche à droite Vecteur de 64 composantes Quantification Soutenance de thèse de Michel Narozny

14. Choix des quantificateurs • Différents types de quantificateurs: scalaires, vectoriels • Notre choix: quantificateur scalaire uniforme infini • simplicité, souvent utilisé, • caractérisé seulement par son pas de quantification: q • optimal pour une source sans mémoire, sous l’hypothèse haute résolution et à condition d’être suivi par un codeur entropique • Rappel: hypothèse haute résolution • Le nombre de niveaux de quantification est élevé • La ddp des données à quantifier est constante dans chaque intervalle de quantification • Les représentants sont pris au milieu des intervalles Soutenance de thèse de Michel Narozny

15. Choix du codeur entropique • Dernière étape de la chaîne de codage (sans perte) • But: exploiter la redondance résiduelle présente dans les coefficients après quantification • Idée: représenter un coefficient quantifié (ou un ensemble de coefficients quantifiés) à l’aide d’un mot de code dont la longueur dépend de sa probabilité d’occurrence • Exemples: codeurs de huffman, arithmétique, mais aussi… EBCOT • Notre choix: ne pas utiliser de codeur entropique Soutenance de thèse de Michel Narozny

16. Choix des mesures de distorsion et de débit • Mesure de distorsion • Erreur quadratique moyenne (EQM) entre le signal d’entrée et le signal reconstruit • Pic du rapport signal sur bruit en compression d’images (PRSB) • Mesure de débit • Débit de compression (bpp) • Ri = débit de la ième composante • Compression à haut et moyen débits:entropie d’ordre 1 des coefficients quantifiés lorsque l’hypothèse haute résolution est vérifiée • Compression à bas débit: entropies d’ordres 2, 4 et 9 dyn = 8 pour une image codée sur 8 bits Soutenance de thèse de Michel Narozny

17. L’allocation de débit (1/2) • Présentation du problème • Trouver les pas de quantification des N quantificateurs qui minimisent la distorsion D sous la contrainte d’un débit cible Rcible • ou, d’une manière équivalente, qui minimisent le débit R sous la contrainte d’une distorsion cible Dcible • Approximation de la distorsion • Validité de l’approximation (1) • lorsque l’hypothèse haute résolution est bien vérifiée • ou, lorsque les vecteurs colonnes de la transformation inverse sont orthogonaux ou quasi-orthogonaux • ou, lorsque les composantes transformées sont deux à deux indépendantes wi: carré de la norme de la ième colonne de la transformation inverse Soutenance de thèse de Michel Narozny

18. L’allocation de débit (2/2) • Méthode analytique • optimale lorsque l’hypothèse haute résolution est bien vérifiée (compression à haut et moyen débits) • Formule d’allocation de débit: • Algorithme de Shoham et Gersho • Méthode d’optimisation numérique utilisant des couples débits-distorsions obtenus expérimentalement (voir rapport de thèse) • optimal quelque soit le débit, utilisé à bas débit dans nos tests (1) et où Soutenance de thèse de Michel Narozny

19. Conclusion de la première partie • Proposition d’un dispositif expérimental simple pour évaluer les performances d’une transformation linéaire à haut, moyen et bas débits • Partie suivante: évaluation des performances de l’ACI Soutenance de thèse de Michel Narozny

20. Performances de l’ACI en compression • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Algorithmes d’ACI testés • Signaux testés • Réduction de redondance obtenue avec l’ACI • Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny

21. Définition du modèle d’ACI Sources indépendantes (au plus une source gaussienne) S1 S2 S3 S4 Mélange linéaire instantané: X = AS Observations X1 X2 X3 X4 Séparation Y=BS, B=DPA-1 Sources estimées Y1 Y2 Y3 Y4 Soutenance de thèse de Michel Narozny

22. Trois approches théoriques célèbres • Approche du maximum de vraisemblance • Les ddp des sources sont supposées a priori connues • On peut relâcher cette hypothèse en choisissant des ddp a priori quelconques (on ne recouvre pas toujours les sources d’origine) • Minimisation de l’information mutuelle • Connaissance a priori des ddp des sources n’est pas nécessaire • Les algorithmes sont plus lourds à mettre en œuvre • Infomax (approche de type réseaux de neurones) • Équivalent au maximum de vraisemblance Soutenance de thèse de Michel Narozny

23. Algorithmes d’ACI testés • Minimisation d’une approximation de l’information mutuelle • ACI, FastICA, jadeR, SANG • Minimisation directe de l’information mutuelle • ICAinf • Exploitation des statistiques d’ordres 2 et 4 des données • EVD24 • Algorithmes de séparation aveugle de sources qui exploitent les statistiques d’ordre 2 des données • SOBI, AMUSE, EVD2 Soutenance de thèse de Michel Narozny

24. Signaux testés • Image Lena (composante rouge), image médicale, signal musical • Résolution et taille des signaux testés Soutenance de thèse de Michel Narozny

25. Réduction de redondance obtenue avec l’ACI Coefficient de corrélation Information mutuelle Soutenance de thèse de Michel Narozny

26. Coefficients de corrélation avant transformation • Les valeurs des coefficients de corrélation sont élevées avant transformation (ex: Identité, image médicale, N = 64) Soutenance de thèse de Michel Narozny

27. Coefficients de corrélation après transformation • Hormis ICAinf, tous les autres algorithmes d’ACI testés décorrèlent les composantes (exemple: jadeR, image médicale, N = 64) Coefficient de corrélation Soutenance de thèse de Michel Narozny

28. Coefficients de corrélation après transformation • ICAinf, image médicale, N = 64 Soutenance de thèse de Michel Narozny

29. Réduction d’information mutuelle • Définition de la réduction d’information mutuelle • Exemple: image médicale, N = 64 (bpp) Précision: ±0,01 bpp I (bpp) Soutenance de thèse de Michel Narozny

30. Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny

31. Performances à haut et moyen débits • Pour l’image médicale et N=64, les performances de la TKL sont meilleures d’environ 1,5 dB par rapport à celles de la meilleure transformation d’ACI (sur cet exemple, ICAinf) ICAinf TKL Soutenance de thèse de Michel Narozny

32. Performances à bas débit • Image médicale, N=64, débit = entropie d’ordre 4 Soutenance de thèse de Michel Narozny

33. Performances à haut et moyen débits (signaux synthétiques) • Signaux synthétiques Gain(ICAinf/TKL)  2,72 dB Soutenance de thèse de Michel Narozny

34. Conclusion de la deuxième partie • Les performances de la TKL sont meilleures que celles de l’ACI sur des signaux réels • Cependant il existe des signaux synthétiques (non gaussiens) pour lesquels les performances de l’ACI sont meilleures que celles de la TKL • Par conséquent, ni l’ACI ni la TKL ne sont optimales pour compresser des signaux non gaussiens • Les critères d’optimalité de l’ACI et de la TKL ne sont pas adaptés au problème de la compression  il faut reformuler le problème Soutenance de thèse de Michel Narozny

35. Transformations optimales obtenues à partir d’algorithmes d’ACI modifiés • Plan • Introduction • Présentation du schéma de codage étudié • Performances de l’ACI en compression • Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés • Conclusion et perspectives • Présentation du problème d’optimisation • Lien avec l’ACI • Algorithmes GCGsup et ICAorth • Résultats expérimentaux Soutenance de thèse de Michel Narozny

36. Hypothèses • Cadre de l’étude • Aucune hypothèse sur le caractère gaussien ou non des signaux • L’hypothèse haute résolution est vérifiée • Allocation de débit optimale entre les composantes • Distorsion asymptotique en fonction du débit cible: • Débit asymptotique en fonction de la distorsion cible: (1) (2) Soutenance de thèse de Michel Narozny

37. Gain de codage généralisé • Gain de codage généralisé • Réduction de débit généralisée (1) (2) (3) Soutenance de thèse de Michel Narozny

38. Transformation optimale • Critère d’optimisation proposé Nouveau point de vue: Le problème de la recherche de la transformation linéaire optimale en codage par transformée peut se ramener à un problème d’ACI modifié Critère utilisé en ACI Mesure de distance à l’orthogonalité de A Soutenance de thèse de Michel Narozny

39. Algorithme GCGsup • Version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation linéaire A qui minimise C(A) • L’algorithme (de type quasi-Newton) consiste à calculer à chaque itération une matrice ε par la résolution de (M = A-tA-1): (i,j=1,…,N), puis à déplacer le point courant en A+εA. • Hypothèses simplificatrices: • Les composantes transformées sont proches de l’indépendance • La solution du problème est une matrice proche d’une matrice dont les colonnes sont deux à deux orthogonales Soutenance de thèse de Michel Narozny

40. Algorithme ICAorth • Autre version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation orthogonale A qui minimise C(A) • L’algorithme (de type quasi-Newton) consiste à calculer les éléments de la matrice ε de la manière suivante: (i,j=1,…,N), puis à déplacer le point courant en A+εA. • lorsqueε est antisymmétrique A+εA coïncide au second ordre avec la matrice eεA qui est orthogonale. Soutenance de thèse de Michel Narozny

41. Réduction de redondance obtenue avec GCGsup et ICAorth Coefficient de corrélation Réduction d’information mutuelle Soutenance de thèse de Michel Narozny

42. Coefficients de corrélation après transformation • Les nouvelles transformations décorrèlent moins bien que la TKL (ex: GCGsup, image médicale, N=64) Corrélations résiduelles Soutenance de thèse de Michel Narozny

43. Réduction d’information mutuelle • GCGsup et ICAorth permettent d’obtenir des composantes transformées plus indépendantes que celles obtenues avec la TKL Lena Image médicale Résultats proches de ceux obtenus avec ICAinf Soutenance de thèse de Michel Narozny

44. Performances à haut, moyen et bas débits Soutenance de thèse de Michel Narozny

45. Performances à haut et moyen débits Lena Image médicale Gain (GCGsup/TKL)  0,43 dB Gain (ICAorth/TKL)  0,37 dB Gain (GCGsup/TKL)  0,8 dB Gain (ICAorth/TKL)  0,9 dB Soutenance de thèse de Michel Narozny

46. Performances à bas débit  PRSB = PRSB(GCGsup/ICAorth) – PRSB TKL Lena Image médicale Soutenance de thèse de Michel Narozny

47. Lien entre indépendance, orthogonalité et performances en compression Soutenance de thèse de Michel Narozny

48. Rappel: réduction de débit généralisée Réduction d’information mutuelle Distance à l’orthogonalité Réduction de débit généralisée Soutenance de thèse de Michel Narozny

49. Indépendance et orthogonalité TKL Soutenance de thèse de Michel Narozny

50. Vecteurs de base (Lena, N=64) TKL GCGsup Soutenance de thèse de Michel Narozny