Bao LY VAN Doctorant – INT Bao.Ly_Van@int-evry.fr

1. secure contracts signed by mobile phone IST-2002-506883 Bao LY VAN Doctorant – INT Bao.Ly_Van@int-evry.fr France Télécom R&D - Avril 2005

2. Plan de Présentation • Introduction au projet SecurePhone • Modalités utilisées • Signature, voix, visage et visage parlant • Fusion • Base de données: • Scénario d’Imposture • PKI et Carte à Puce • Mise en œuvre sur une plateforme choisie • Quelques problèmes à résoudre France Télécom R&D - Avril 2005

3. SecurePhone • Projet européen de 30 mois, démaré en janvier 2004 • Coût total: plus de 3M euros • 8 partenaires européens • Objectifs: • Signer un document à distance en utilisant l’infra-structure PKI sur un SmartPhone • La biométrie est utilisée pour débloquer la carte SIM d’où vient la clé privée • Utiliser des modalités non-intrusives: signature, voix, visage et visage parlant • Fusion de plusieurs modalités pour avoir un système plus robuste • Produire une application conviviale, facile à utiliser et efficace • www.secure-phone.info France Télécom R&D - Avril 2005

4. Partenaires France Télécom R&D - Avril 2005

5. Les partenaires académiques: Algorithmes de vérification biométrique Les partenaires industriels: Mise en œuvre sur les plateformes SmartPhone: interface, PKI… Dissémination France Télécom R&D - Avril 2005

6. Modalités Biométriques Utilisées • Signature manuscrite en-ligne • Fusion d’informations de vraisemblance et de chemin de Viterbi données par HMM • Voix • GMM avec MFCC et ondelettes • Dépendant du texte • Visage • PCA, ondelettes, Contour des lèvres, GMM… • Visage Parlant => adaptater aux condition de SmartPhone France Télécom R&D - Avril 2005

7. Problématique de Fusion de Modalité France Télécom R&D - Avril 2005

8. Problématique de Fusion de Modalité: Techniques • Fusion au niveau des paramètres • Synchroniser les paramètres de deux modalités pour construire un seul modèle: ex. visage parlant • Méthodes de fusion au niveau des scores: • Support Vector Machine • Réseaux de neurones • Moyenne Arithmétique... • Méthodes de fusion au niveau des décisions • Règle ET, OU, vote France Télécom R&D - Avril 2005

9. Problématique de Fusion de Modalité: Stratégies • Définir des stratégies de fusion en fonction de l’application, de l’utilisateur, de l’environnement et des modalités... • Fusionner à quel niveau? • Comment fusionner: en parallèle ou en série… • AND, OR... • Combien de modalités, quand...? • Ne pas pouvoir utiliser la voix quand il y a beaucoup de bruit France Télécom R&D - Avril 2005

10. Exemple d’un Scénario de Fusion Signature rejetée: REJET Demander la signature Signature Acceptée: SUIVANT Voix rejetée: REJET Voix Acceptée: ACCEPTATION Demander la voix Règle AND: authentication forte France Télécom R&D - Avril 2005

11. Base de Données • Adaptation des bases de données aux conditions de SmartPhone • BANCA pour audio-visuel • BIOMET, Philips, SVC2004 et MCYT pour la signature • Acquisition d’une nouvelle base de SmartPhone: • Vidéo • Signature France Télécom R&D - Avril 2005

12. Scénario d’Imposture • Voix: transformation de fréquence • Visage parlant: synthèse des séquences de vidéo • Signature: • Imitation de l’image de la signature • Imitation de la dynamique, du geste France Télécom R&D - Avril 2005

13. PKI et Carte à Puce • Clé privée sauvegardée sur la carte • Signature digitale créée sur la carte • La biométrie est utilisée pour accéder à la clé privée Réalisé sur la carte à puce France Télécom R&D - Avril 2005

14. Mise en Œuvre de la Biométrie sur SmartPhone • Plateforme choisie: QTEK 2020, système d’exploitation PocketPC • Plusieurs fonctions ont été mises en œuvre: • Ondelettes, FFT, HMM.. • Acquisition de signatures et de séquences de vidéo • Versions exécutables pour la signature manuscrite: • GINAS (Graphic Identification aNd Authentication using Signature): login pour le SmartPhone • SecureSign: démonstration académique France Télécom R&D - Avril 2005

15. Quelques Problèmes • Problème de synchronisation entre la voix et l’image • Carte à puce à puissance limitée: • Le calcul de signature digitale sur la carte est-il possible? • Complexité des algorithmes biométriques: la vérification biométrique sur la carte à puce est-elle faisable? • Si la carte n’est utilisée que pour sauvegarder des modèles biométriques  la taille totale de tous les modèles doit être inférieure à 64 Ko • Le SmartPhone a aussi une puissance limitée France Télécom R&D - Avril 2005

16. secure contracts signed by mobile phone IST-2002-506883 Merci de votre attention! Pour plus d’information Bao.Ly_Van@int-evry.fr Bernadette.Dorizzi@int-evry.fr France Télécom R&D - Avril 2005

17. Online Handwritten Signature Verification France Télécom R&D - Avril 2005

18. Likelihood Score output 1 Fusion Score Fusion input output 2 HMM Test Signature Viterbi Score Fusion of two Complementary Information of the HMM • Original approach: fusion of HMM likelihood and Viterbi path scores for on-line signature verification • HMMs with parameter normalization techniques which improve the performance. • Scores are normalized into [0, 1] before fusion • Simple arithmetic mean for fusion (no extra training) France Télécom R&D - Avril 2005

19. Likelihood Score vs Viterbi Path Score • Important overlap between clients (+) and impostors (●) when using only one score • Viterbi and Likelihood scores complementary France Télécom R&D - Avril 2005

20. State-of-the-art Result • Detection error trade-off curves for test on BIOMET database • Fusion performs better • Comparison with state-of-the-art: 2nd/12 teams and 6th/15 teams in two SVC2004 tests France Télécom R&D - Avril 2005