IHM de demain ?

1. IHM de demain ? Interfaces Post-Wimp M2-IFL/DU-TICE, UPMC Elisabeth.Delozanne@upmc.fr http://www.lutes.upmc.fr/delozanne/2009-2010/M2-IFL-DU-TICE-09-Accueil.htm

2. IHM post Wimp ? Des besoins nouveaux et des technologies récentes… exemples De nouveaux paradigmes d’IHM « Au-delà du bureau », interfaces post-WIMP L’ordinateur évanescent, invisible , l’informatique diffuse, pervasive Les interfaces multimodales La réalité augmentée, mixte, les interfaces tangibles Ingénierie des interfaces et méthodes de conception et d’évaluation De la conception centrée-utilisateur à la conception centrée sur le contexte Les trois U : Utilité, Utilisabilité, Universalité Conception participative, études de terrains

3. Des besoins nouveaux… • Support à des activités humaines collectives, diversifiées, situées • Informatique de communication (MédiaSpace), Collecticiel • « au-delà du bureau » • Vie quotidienne, santé, culture • Passage à l’échelle • Masses gigantesques d’informations • Hypermédia planétaire • Diversité extrêmes des publics, des cultures • Plateformes diversifiées • Informatique mobile • Intégration entre les mondes physiques et informatiques • « Le meilleur des deux mondes »

4. Quelques repères • AFHIM : association francophone d’interaction Homme-Machine • http://www.afihm.org/ • Un congrès annuel • IHM’2003 à Caen • IHM’2004 à Namur • IHM’2005 à Toulouse • IHM’2006 à Montréal • Une revue scientifique : • RIHM : Revue d’Interaction Homme-Machine • ACM Special Interest Group on Computer-Human Interaction • SIGCHI • http://portal.acm.org • Une conférence principale annuelle : CHI • Beaucoup de conférences spécialisées • Des revues

5. …Des problématiques nouvelles • Inventer de nouveaux paradigmes d’interaction • Informatique disséminée, diffuse (UbiComp) • Interface tangible, réalité mixte et augmentée • Approche Design • Informatique sociale • CSCW (Computer Supported Cooperative Work) • Trouver • de nouvelles méthodes de conception et d’évaluation • de nouveaux cadres théoriques pour les fonder • Informatique située (Mackay & Beaudoin LafonA) • Ethnométhodologie (Suchman) • Interaction incarnée (Dourish) • Action instrumentée (Rabardel)

6. Ubiquitous computing • Mark Weiser (96) • Inventeur du terme • Ubiquitous computing • Le 3ième paradigme (Alan Kay) • Avant : Gros systèmes partagés par de nombreuses personnes • Maintenant : Informatique personnelle • Les gens et les machines se font face à travers le "bureau" • Futur immédiat : L'informatique ubiquitaire • La technologies tranquille ou la technologie disparaît en toile de fond de nos vies • http://www.ubiq.com/hypertext/weiser/UbiHome.html • « Some Computer Science Issues in Ubiquitous Computing » • http://www.ubiq.com/hypertext/weiser/UbiCACM.html

7. UbiComp 2002 Idées de base • réalité augmentée • Au lieu d’apporter son travail sur son ordinateur de bureau, pourquoi ne pas introduire de l’informatique là où on en a besoin : dans les murs, les tables les stylos, les montres, le papier etc. • seamless interaction • Il s’agit d’introduire l’informatique dans des objets familiers avec lesquels l’ordinateur interagit sans rupture . • l’informatique pervasive • L’idée est que l’on ne voit plus d’ordinateurs nulle part (l’ordinateur invisible) mais que l’informatique soit partout

8. « Ubiquitous Computing » • Les utilisateurs • ne sont plus devant leur écran • mais interagissent dans le monde • entre eux • et avec de nombreux appareils qui embarquent de l’informatique • Notions équivalentes • Pervasive computing (latin pervadere se répandre partout) • Invisible computer • Disappearing computer (programme Européen) • En français : informatique pervasive • Conséquences : Informatique tangible

9. UbiComp : • http://www.viktoria.se/ubicomp/video-program.html • "The computer has evolved from a solitary, desk-bound box that demanded the user’s entire attention to a collection of smaller, ubiquitous information and communication appliances connected to a host of other such appliances and users, approaching Weiser’s vision of the pervasive and invisible computer. • At the same time, users want these devices to be both highly informative and ecologically unobtrusive, keeping the user aware what is going on in various ways without unduly disrupting the current social or environmental context. "

10. Exemples : • Une activité distribuée sur plusieurs types d’appareils informatiques • pick and drop (prendre et lâcher) • Hyperdraging • Écrans muraux • La réalité augmentée • les objets physiques support à la collaboration • le contrôle aérien • le meilleur des deux mondes • Cahier d’expérimentation augmenté

11. Pick and Drop • Métaphore • Comme des baguettes prendre de la nourriture d’un plat à l’autre • transférer des données d’un ordinateur à l’autre. • technique de manipulation • étend le concept du « drag and drop » aux environnements d’utilisation d’ordinateurs multiples. • Jun Rekimoto. Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments. In Proceedings of UIST’97, pp. 31-39, October 1997. • http://www.csl.sony.co.jp/person/rekimoto.html

12. Pick and drop • « With Pick-and-Drop, the user first picks up an computer object by tapping it with the pen tip and then lifts the pen from the screen. After this operation, the pen virtually holds the object. Then, the user moves the pen tip towards the designated position on the screen without contacting display surface. When the pen tip comes close enough to the screen, a shadow of the object appears on the screen as a visual feedback showing that the pen has the data. Then, the user taps the screen with the pen and the object moves from the pen to the screen at the tapped position. » • « In our design, each pen is assigned a unique ID. This ID is readable from the computer when a pen is closer enough to its screen. We are currently using a combination of modifier buttons (attached to the pen as a side switch) to represent IDs. We also assume that all computers are connected to the network (either wired or wireless). There is a server called the ‘‘pen manager’’ on the network. »

13. Pick an drop

14. La palette du peintre • L’utilisateur se sert d’un ordinateur de poche comme d’une palette de peintre pour écrire sur un tableau blanc. • Il peut se servir de son crayon aussi bien pour travailler sur la palette que sur le tableau. • On peut aussi travailler à plusieurs sur le tableau.

15. « Hyperdragging » • surfaces augmentées par video : • environnement hybride formé d’une table digitale, d’un mur électronique et d’ordinateurs portables • créer un espace de travail continu entre les écrans d’ordinateurs portable, la table et le mur. • Technique de manipulation directe pour déplacer l’information au-delà des limites des ordinateurs et des surfaces • Fondée sur un système de reconnaissance d’objets à partir de marqueurs

16. Nouveaux besoins : support à l’activité • Au travail : • Activité collective : Les strips papier des contrôleurs aériens • Activité multimédia :Le cahier d’expérimentation augmenté • Activité nomade : Les ingénieurs en génie civil, en agriculture • Activité de création : La conception architecturale • Dans la vie quotidienne • Émotions, affectivité, partage • Gaver, Kinetic Typography • Habitat intelligent • comHome • Consommation • La mode : Miralab, Igrashi • Welbo, Rekimoto • Divertissement, éducation : tableau interactif

17. Strips papier des contrôleurs aériens • Mackay 97 • « De nombreux projets d'automatisation ou de semi-automatisation se sont soldés par des échecs magistraux. • Par exemple, l'administration des impôts américaine a récemment annoncé qu'elle a dépensé 4 milliards de dollars pour un nouveau système informatisé qui a finalement été abandonné car il ne fonctionnait pas. • L'histoire de l'automatisation est pleine d'exemples similaires où des systèmes très coûteux sont abandonnés ou maintenus bien qu'ils diminuent la productivité des utilisateurs. »

18. Strips papier des contrôleurs aériens (Mackay 97) • « Les contrôleurs gèrent le trafic essentiellement à l'aide de trois outils : • le radar qui leur fournit une image de la situation dans un secteur donné, • la radio qui leur permet de communiquer avec les pilotes et • les strips des vols (voir figure 1). • Les strips • des bandes de papier sur lesquelles sont imprimées les informations sur • l'avion et son plan de vol • sont rangés dans un tableau de strips organisé selon un ordre qui varie selon les individus. • les strips correspondant à des conflits sont souvent rangés côte à côte. Les strips des avions dont il faut se souvenir sont décalés. • Les contrôleurs • annotent les instructions données aux avions sur les strips. • S’en servent d'aide-mémoire et de moyen de communication entre les contrôleurs. • permettent aux autres contrôleurs de savoir quelles instructions ont été données au pilote par le contrôleur radariste sans avoir à déranger celui-ci. • Le rôle essentiel des strips est revendiqué par les contrôleurs • Les strips sont cependant éliminés des projets d'automatisation, du moins sous leur forme papier • Ainsi, un système sans strips papiers a déjà été implémenté à Maastricht, mais seulement pour les secteurs supérieurs et le trafic en route, qui constituent un type de trafic plus simple. »

19. Strips papier des contrôleurs aériens (Mackay 97)

20. Le cahier d’expérimentation (Mackay 2002) • Le cahier d’expérimentation (institut Pasteur ) • outil pour la recherche et document légal • avantages • multimédia : post-it, photos, séquences d’ADN,radios etc • simple à utiliser et flexible, rapide à utiliser, portable • Permanent : les cahiers d’expérimentation de la fin du XIX siècle /documents informatiques des années 70 (les formats des fichiers ne sont plus lisibles) • inconvénients • pas de fonctionnalités d’indexation, de création de table de matières, recherche dans le cahier mais aussi dans les archives, références en général • idée : un cahier augmenté • pour avoir le meilleur des deux mondes

21. Le cahier d’expérimentation (Mackay 2002)

22. La réalité augmentée • Def : • augmente les objets physiques dans le monde réel avec la technologie informatique • Environnements qui intègrent des capacités informatiques dans des objets physiques • « Des objets familiers mais radicalement nouveaux » • « the computer in the real world » • Comment augmenter ? • L’utilisateur • L’objet • L’environnement • http://www-ihm.lri.fr/~mackay/

23. La réalité mixte • L’utilisateur manipule à la fois des objets virtuels et des objets physiques • IHM : Interaction des Humains avec des Mondes à la fois physiques et virtuels • Exemples : • WELBO • Développé au R Systems Laboratory, Kodak, Japon par H. Tamura et son équipe. • http://www.mr-system.co.jp/project/index_e.html

24. Welbo

25. Création : Esquisse • Pierre Leclerc, Interface esquisse en ingénierie de conception, Démonstration IHM’2002 http://139.165.122.58/Lucid/Projects_Virtual_desktop.php • Disappearing computer : • L’architecte utilise gomme et crayon et travaille sur un bureau où il trace des croquis et des plans à la main et pas sur un écran avec des menus.

26. Création : Esquisse

27. Interface tangible • Exemples • Le métre augmenté (CHI’2000) • Marble answering machine (Bishop 95) • IO/Brush • Il s’agit • de remplacer l’interaction avec des objets virtuels • icône, menu etc • par une interaction avec des objets physiques • Métre, bille, piéces d’échec • Informatique tangible = UbiComp + Design • « Graspable interfaces »

28. Les émotions • Gaver : • Explore la transmission de sentiments amoureux • Transmettre des rêves • Des émotions (plumes, musiques etc.) • Kim Bisted • HyperMask, Des masques projetés sur des visages pour des créations théatrales • Pervasive computing & magic

29. Kinetic Typography • Johnny C. Lee, Jodi Forlizzi, Scott E. , The Kinetic Typography Engine: An Extensible System for Animating Expressive Text, UIST’2002 • Absolument voir la vidéo pour comprendre le pouvoir évocateur • http://www.cmu.edu/cfa/design/kdg/kt/ • Kinetic typography : text that uses movement or other temporal change – • Kinetic typography – text that uses movement or other temporal change – has recently emerged as a new form of communication. As we hope to illustrate in this paper, kinetic typography can be seen as bringing some of the expressive power of film – such as its ability to convey emotion, portray compelling characters, and visually direct attention – to the strong communicative properties of text. Although kinetic typography offers substantial promise for expressive communications, it has not been widely exploited outside a few limited application areas (most notably in TV advertising). One of the reasons for this has been the lack of tools directly supporting it, and the accompanying difficulty in creating dynamic text. This paper presents a first step in remedying this situation – an extensible and robust system for animating text in a wide variety of forms. By supporting an appropriate set of carefully factored abstractions, this engine provides a relatively small set of components that can be plugged together to create a wide range of different expressions. It provides new techniques for automating effects used in traditional cartoon animation, and provides specific support for typographic manipulations.

30. Salon d’essayage virtuel

31. Habitat intelligent • Dans le cadre du projet européen : Disappearing Computer • Projet comHome • http://www.disappearing-computer.net/ • Video CHI • les réfrigérateurs intelligents qui vous téléphonent à votre bureau pour vous rappeler de passer prendre du lait avant de rentrer, • le banc sur lequel vous vous asseyez et qui vous donne les nouvelles de la communauté • Le miroir qui vous dit que vous êtes la plus belle… • Une introduction à l’ « ambient intelligence » en français : • http://www.limsi.fr/Individu/jps/enseignement/examsma/2003/BASKIOTIS_FEREY/ambientintelligence.htm

32. Manipulation directe • coups de cœur • Clothing manipulation UIST 2002 • Smart skin (Rekimoto)

33. Clothing manipulation

34. Concepts "Pervasive computing”, Diseappearing computer, invisible computer Information appliance Everyday technology Affective computing Qualités ergonomiques et hédoniques des interfaces Augmented Reality Graspable interfaces Tangible interfaces Seamless interfaces Traversable interfaces Situated Computing, Embodied interaction Context aware computing Wearable computing

35. Application à l'éducation Story telling et CHI Kids shoulder to shoulder collaboration (vs distributed collaboration) Video cours multimédia Interactif Textbook Les simulateurs en formation professionnelle Le tableau Magique (Berard, Clips) etc… Smart classroom Le papier, les livres et cahiers augmentés

36. Les problèmes ouverts • Techniques • Plasticité etc… • Design Patterns • Dourish : • Information appliances/convergence • Interface invisible/ interface médiatrice • Rôle des sciences sociales • Relations entre les représentations physiques et symboliques et la notion de représentation

37. Références • Video : http://insitu.lri.fr/~roussel/digital-library • Mot de passe spécial pour paris5 • Actes de conférences : • Proceedings of the CHI’2000,ACM, The Hague, Netherlands 1-5 April 2000,A-W ISBN 0-201-48563-X • Ann Blandford, Jean Vanderdonckt, Phil Gray (Eds), People and computers-Interaction without Frontiers, Joint Proceedings of HCI’2001 and IHM’2001, Lille, France, Springer, 592 p., ISBN 1-85-235-51567 • Proceedings of UIST 2002, ACM Symposium on User Interface Software and Technology, Paris, France, CHI Letters 4(2), ISBN 1-58113-488-6 • Proceedings of IHM’2002, International Conference Proceedings Series, ACM 2002, Poitiers, France. ISBN 1-58113-615-3/02/0011

38. Références (suite) • Un livre de réflexion : • Paul Dourish, Where the Action Is : the Foundations of Embodied Interaction, Bradford Book, MIT Press, 233 p., 2001,ISBN 0-262-04196-0 • Un livre panoramique et collectif : • John M. Caroll (ed), Human Computer Interaction in the new Millennium, Addison Wesley, 2001, 700 pages.

39. Take Home messages • Une vision aborigène du monde : • le monde est l’interface avec l’informatique (pas une souris ou un clavier (Jakup Wejchert, Commission Européenne) • La conception s’organise autour de trois axes • La technologie • Les gens • Le Design • Conception centrée sur l’activité des gens, le contexte plus sur l’ordinateur • L’activité peut être distribuée sur plusieurs appareils et requiert l’utilisation coordonnée de plusieurs artefacts sans que les utilisations soient séquentielles