1 / 35

Tracking Technology for Interactive Environments

Explore distributed user tracking concepts for augmented reality applications in "The Kidsroom". Discover various tracking methods, sensor integration, and immersive story environments. Learn about intelligent systems and the perceptually-based interactive experience.

tessa
Télécharger la présentation

Tracking Technology for Interactive Environments

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Intelligente Umgebungen Grundlagen, Konzepte und der KidsRoom Frederik Fischer - Distributed User Tracking Concepts for Augmented Reality Applications - - The Kindsroom: A Perceptually-Based Interactive and Immersive Story Environment -

  2. Ein Überblick... • Einführung in intelligente Umgebungen • Tracking • Intelligente Systeme • „The Kidsroom“ • Zusammenfassung & Ausblick

  3. Einführung in intelligente Umgebungen

  4. Einführung in intelligente Umgebungen Was ist eine Intelligente Umgebung? • Fest in die Umgebung integrierte Sensorik • Abhängigkeit von Benutzer, Ort, Rolle und Aufgabe • Freie Interaktion mit physikalischen Gegenständen

  5. Einführung in intelligente Umgebungen • Tracking • Intelligente Systeme • „The Kidsroom“ • Zusammenfassung & Ausblick

  6. Tracking • Wo befindet sich der Anwender ? • Wohin schaut er ? • Welche Aktionen / Gesten führt er aus ? • Welche persönlichen Einstellungen sind vorhanden ? (Wer ist der Anwender) • Was will er?

  7. Tracking Möglichkeiten zur Benutzererfassung und -Verfolgung • Tracking per Magnetismus • - Sehr ungenau • Ungenügende Möglichkeiten • Hardware am Objekt

  8. Tracking Möglichkeiten zur Benutzererfassung und -Verfolgung • Aktive LED Systeme • - relativ ungenau • Sehr aufwendig • Hardware am Objekt

  9. Tracking

  10. Tracking Möglichkeiten zur Benutzererfassung und -Verfolgung • Computer Vision • + keine Zusatzhardware nötig • + relativ genau • relativ Kompliziert • benötigt große Rechnerkapazität

  11. Tracking

  12. Tracking - Technik Object Tracking • Verwendung von Background-Substraction um ein „Blob Image“ zu erstellen. • Objekte werden wie Personen erfasst. VIDEO

  13. Tracking - Technik Action Recognition • crouching : Blob Characteristics • Einfachste Technik • Verwendung des Rahmens des Background-Difference Blob. • Vergleich mit stehenden Blobs. • throw yours arms up and make a Y : Pose Recognition • Pattern Recognition • flap your arms : Action Understanding - Pattern Recognition auf ein Bild welches über einem längeren Zeitraum aufgezeichnet wird

  14. Tracking - Technik Movement Detection • Aufzeichnung der Differenz aufeinander folgender Frames • Berechnung der Bewegungsstärke

  15. Tracking – Verteilte Sensoren Verteilte Sensoren • Aufteilung auf verschiedene Sensoren in der Umgebung • Aufteilung der Sensorik auf Umgebung und mobile AR-Einheit • Drahtloser Austausch zwischen mobiler und stationärer Einheiten

  16. Tracking – Verteilte Sensoren • Aufnahme der unterschiedlichen Sensor-Daten • Zusammenführung und Auswertung der Ergebnisse • Mobile Einheit erhält Informationen über die Umgebung und grobe Daten relevanter Eigenschaften sowie ihre Genauigkeit. • Daten werden durch Tracking-System auf der AR-Einheit verfeinert. • Rückführung der Daten an die Sensor-Infrastruktur zur Rekalibrierung.

  17. Einführung in intelligente Umgebungen • Tracking • Intelligente Systeme • „The Kidsroom“ • Zusammenfassung & Ausblick

  18. Intelligente Systeme Aufbau einer Intelligenten Umgebung • Verteilung der Auswertung auf mehrere Systeme nötig. • Aufteilung der Umgebung in verschiedene Zellen • Teilauswertung der Daten auf der AR-Einheit + Unabhängigkeit von der Anzahl der Einheiten - Erhöhter Datenverkehr zischen Umgebung und Einheit • Möglichst sparsamer Datenverkehr • Kommunikation über ein einheitliches Protokoll • Intuitive Bedienung

  19. Intelligente Systeme • Automatisches Hinzufügen und Entfernen von Sensoren im Treckingprozess einer Person. • Möglichkeit zur Darstellung von Sensorabdeckung. • Erkennung von ungenügend oder übermäßig Abgedeckten Bereichen. • Erstellen und übermitteln von Informationen über Verlagerung und Neukalibrierung von Sensoren. • Erkennen analysieren und tracken von Veränderungen in der realen Welt. Betrieb einer Intelligenten Umgebung

  20. Einführung in intelligente Umgebungen • Tracking • Intelligente Systeme • „The Kidsroom“ • Zusammenfassung & Ausblick

  21. A Perceptually-Based Interactive and Immersive Story Environment MIT Media Laboratory

  22. The Kidsroom Ziele: • Handlung im physikalischen Raum • Erweiterung durch Verwendung von Video, Ton und Licht. • Reale Welt wird nicht durch ein virtuelles Gegenstück ersetzt. • Keine Verwendung von tragbaren Sensoren , HMDs, Kopfhörer der anderen speziellen Notwendigkeiten. • Positionserfassung, Gestenerkennung und die Möglichkeit den Raum zu jederzeit betreten oder verlassen zu können sollen durch Bildbasierter Algorithmen ermöglicht werden. • Keine Notwendigkeit von Hilfe von außerhalb.

  23. The Kidsroom Aufbau: • 8 x 6 x 9 Meter großer Raum • 2 feste Wände und 2 Projektionsschirme • 6 Computer • Beleuchtung und Tonausstattung • 4 Kameras in verschiedenen Positionen • Einige wenige feste Möbel • Ein bewegliches Bett • 4 farbige Fußmatten

  24. The Kidsroom Ablauf – The Story • 4 verschiedene Handlungsplätze • The bedroom world • The forest world • The river world • The monster world

  25. The Kidsroom The Story – The bedroom world • Kinder betreten eins nach dem anderen den Raum •  Erkennen von Personen und Zuordnung einer Identität • Beginn des Abenteuers durch lautes Ausrufen eines „magischen“ Wortes •  Spracherkennung

  26. The Kidsroom The Story – The forest world • Teilnehmer folgen einem „Pfad“ durch das Zimmer •  Positionstracking • Verstecken hinter dem Bett •  Erkennen von Position, Körperhaltung und Gruppenbildung

  27. The Kidsroom The Story – The river world • Bewegen des Betts in die Raummitte •  Positionserkennung • Versammeln auf dem Bett/Boot •  Gruppenerkennung • Bewegung des Boots entlang des Flusses • Erkennen von Ruderbewegungen • Erkennen von Gruppenabspaltungen • Ausweichen eines Felsblocks • Erkennen von Ruderstärke • Landen •  Positionserkennung

  28. The Kidsroom The Story – The monster world • Beruhigen der Monster •  Lautstärkemessung • Positionierung auf den farbigen Matten • Positionstracking • Nachtanzen • Gestenerkennung • Versammeln auf dem Bett •  Position, Gruppe VIDEO

  29. The Kidsroom Technik: Überblick • Servertypen • Object Tracker Server • Motion Detector Server • 2 Action Recognition Server • Scream Detector Server • Directional Sound File Player Server • Music Server • Lights Server • 2 Display Server

  30. The Kidsroom Probleme • Positionen sind eindeutig bestimmbar, Identitäten nicht. • System arbeitet Ablauf-Sensitiv. • Nur ausgeprägte Bewegungen werden erkannt. • Tracking funktioniert nur bei gleich bleibenden Lichtverhältnissen • Schwierige Background-Substraction bei Projektionswänden • Unterschiedliche Kamerapositionierung bei unterschiedlich großen Personen • Nur Einzelaktionen erkennbar

  31. Einführung in intelligente Umgebungen • Tracking • Intelligente Systeme • „The Kidsroom“ • Zusammenfassung & Ausblick

  32. Zusammenfassung & Ausblick Welchen Nutzen bringt eine Intelligente Umgebung? • Bequemlichkeit • Zeitersparnis • Arbeitsbefähigung • Kosteneinsparungen

  33. Zu Risiken und Nebenwirkungen fragen Sie bitte den Vortragenden.

More Related