Adaptive Music & Real-Time Sound Synthesis

1. Adaptive Music & Real-Time Sound Synthesis

2. Inhahltsverzeichnis: Adaptive Music • Ausdruckskraft von Musik • Definition • Vorgehensweise: Music Design Document • Grenzen der Adaptive Music • Adaptive Audio Technology • The Music System • Music System und Game Engine • Beispiel: nicht Spielwelt

3. Ausdruckskraft von Musik • Vermittelt Inhalt auf emotionaler und unbewusster Ebene • Kann Spannung erzeugen oder beseitigen • Assoziation bestimmter Musik mit Charakteren Vorgriff möglich Ausdruckskraft, Feinsinn, Tiefe

4. Definition- Adaptive Music • Wann und wie welche Ereignisse Ausführungszeitraum • Auswahl von Eingabeparametern generiert Variationen von umgebenden Interaktionen gesteuert • Adaptive Music System: Spezifikation der Ereignisse „Handlungsvorschrift“ • Kleine Variationen der Eingabe große Auswirkungen auf Musik • Soll klingen als wäre es linear komponiert • große Unterschiede in individuellen Ausdrucksformen

5. Das Music Design Document • Zusammenarbeit zwischen Komponist und Game Designer • Eigenschaften des Komponisten: • Hat stilistische Ideen und Techniken • Erkennt wie, wann und wo und warum Musik Sinn hat • Fokus auf Vision des Game Designers „feedbackloop“ möglich kreative Vision wird zur technischen Lösung

6. Das Music Design Document • Aufkommende Fragen: • Welche Teile des Spiels sollten Musik enthalten? • Welcher Musikstil ist am besten für das Spiel? • Wann soll die Musik im Hintergrund, wann intensiv sein? • Wie sollen die Übergänge der Musik sein? • Sind “characterthemes“ angemessen?

7. Adaptive Audio Technologies • Adaptive Audio = Ton und Musik reagieren auf Gameplay • Noch immer relativ frühe Phase der Entwicklung • Vor Auswahl des Music Systems, bestimmen der zu verwendenden Techniken

8. Grenzen von Adaptive Music • Spektrum von Musik die linear und pre-renderedist bis Musik, die vollständig game-rendered ist • Welche Technik verwendet wird hängt ab von: • Dem Spiel selbst • Entscheidungen des Komponisten und des Game Designers

9. Vergleich Wave-MIDI • Wave-files: • lineare Eigenschaft • Alle Instrumente, Tools und Techniken möglich in Wavedatei aufzunehmen hohe Produktionswerte • Zerlegung in “wavelets“ höhere Anpassungsfähigkeit • MIDI-files: • Note als manipulierbares Datenteil • Geschwindigkeit, Harmonie und Instrumentation schnell änderbar Anpassungsfähiger als wave-files leichte Übergänge • Plattformabhängige “custom instrument banks“ Bei guter Anwendung derzeit dynamischste Musikerlebnis Kombination möglich

10. Adaptive Audio Technologies NoOneLivesForever 2 • Jeder Zustand der Musik wurde in individuelle wave –files der Maßlänge 1 bis 4 eingeteilt, zu Beginn einer Datei: transitionpoint => Übergang in anderen Zustand möglich, Dateien überlappen oder sind aufeinander abgestimmt

11. Adaptive Audio Technologies Mark ofKri Verwendung von custom instrument banks und MIDI-files

12. Adaptive Audio Technologies • Koordinierung und Synchronisation von “music cues“ • music cues geschichtet oder sequentiell Einsatzzeitpunkt essentiell Starten einer music cue nur zu bestimmten rhythmischen Grenzen Vermeidung von Kollision

13. Adaptive Audio Technologies Übergänge zwischen music cues • Festhalten am Gameplay • abhängig von Spielszenario: • Stille • cross-fade • direkte Verbindung • eine extra cue zur Überlappung • music system muss immer bereit sein

14. Übergangstechniken • cue-to-cuetransission: • Aktuelle cue spielt bis zu einer Grenze, dann Beginn der Nächsten sehr einfach, kann abrupt wirken • Layering: • Vergrößerung/Verkleinerung der Anzahl an Instrumenten Kontinuität, jedoch keine schnellen Übergänge • Übergangsmatrix: • Übergänge zwischen beliebigen Paaren von music cues der Matrix möglich gut für spezielle Situationen

15. Adaptive Audio Technology • Harmonic System: • Ändern der Tonart einer music cue in Echtzeit durch gameengine Variation, Stimmungswechsel • Verfolgung der harmonischen Änderungen einer music cue • Neue cues können in Harmonie zur aktuellen beginnen

16. Adaptive Audio Technology • Run-time mixingandeffects: • Verändern der Lautstärke • Wechsel zwischen Instrumenten • Hall, Verzögerung sollten vom music system kontrolliert werden

17. Adaptive Audio Technology • Musical variation: • Game engine ruft music cue auf Music system wählt ein zufälliges wave-file • Jedes Instrument hat mehrere mögliche parts ein part wird wahllos ausgewählt “replayvalue“

18. Music System and Engine • Entwicklung von eigenen “interactive music engines“ Zusammenarbeit mit Komponisten hilfreich • VerfügbareEngines: Direct Music, Miles Sound Sytem Mühsames einarbeiten notwendig • Adaptive Audio Technology im Entstehen • Keine stimmige Programmiersprache Unternehmen wie Sony, Electronic Arts, LucasArts besitzen eigene Engines und Technologien

19. Music System und Game Engine • Zusammenarbeit zw. Game Engine und Music Engine Effektivität • Game Engine: Anweisungen an Music System • Music System: Übermittelung des eigenen Status • Game Engine ändert die Musik durch: • Locationbasedtriggers • Game-statetriggers • NPC AI triggers • Player charachtertriggers • Event triggers Kombination möglich

20. Beispiel – nicht aus der Spielwelt • Mozarts musikalisches Würfelspiel: • Tisch mit verschiedene Versionen • Würfel wird geworfen riesige Anzahl an Variationen

21. Inhaltsverzeichnis: Real-Time Sound Synthesis • Begriffsklärung • Anforderungen • Spring-Mass System • Spring-MassSystem`sEquationof Motion • Vibration Mode • Mode Compression • Quality Scaling • Beispiele

22. Begriffsklärung Pro: • einfach und schnell Contra: • mühsame Aufnahme • Interaktion mit Umgebung in einer Szene • Anwendung der Physik • Simulation der Entstehung von sounds • Verfolgung der Ausbreitung von Schallwellen + Oberflächenvibration • Bisher üblich: „Recorded Soundclips“:

23. Anforderungen • Abhängig davon, wie Objekte kollidieren und wo der Aufprall stattfindet • Abhängig von Eigenschaften der Materialien, der Geometrie der Objekte • Automatisches Abfangen kleiner Änderungen von Tönen und Klangfarben Anforderungen an Physicallybased Sound Synthesis: • Physics Engine: Sound system muss über Kollisionsgeometrie informiert werden • Hohe Rechenleistung

24. Entstehung von Sounds • Schallwellen prallen auf Oberflächen Vibrationen • Modellierung dieser Vibrationen: • Direkte Anwendung der Bewegungslehre diskrete Annäherungen an die Geometrie eines Objekts

25. Spring-Mass System • Diskretisierung eines Objekts • Eingabe: Netzt bestehend aus Eckpunkten und verbindenden Kanten Die Eckpunkte des Netzes werden durch Punktmassen die Kanten durch gedämpfte Federn ersetzt Durch Anwendung der klassischen Bewegungslehre erhält man eine Gleichung:

26. Spring-MassSystem`sEquationof Motion: M= diagonale Matrix der Masse, Einträge: Punktmassen; K = symmetrische Matrix; federartigen Verbindungen zwischen den Teilchen; y= Flüssigkeitskonstante n= viskoelastische Konstante r = Abstandsvektor zwischen den Teilchen f = extern einwirkende Kraft

27. Spring-MassSystem`sEquationof Motion: • Konstante der Schwingungsdämpfung, der Feder und die Teilchenmasse materialabhängig charakteristischer Klang verschiedener Materialien • M, K: Kodierung der Geometrie des Objekts Bestimmung der Klangfarbe • Diagonalisieren der Matrix K Lösungsweg wird vereinfacht Zerlegung in Vibrationsmodi repräsentierende Gleichungssysteme

28. Vibration Mode • Sounds eines Objekts = Mischung der Vibrationmodizu bestimmten Anteilen • „Diagonalisierung“ wird offline berechnet • Zur Laufzeit müssen „nur“ die Anteile bestimmt werden • Abhängig von Kollisionsimpulsen und Position des Aufpralls

29. Vibration Mode

30. Vibration Mode • Naiver Ansatz: Mischung allerVibrationmodizu passenden Anteilen • Objekt mit ein paar tausend Eckpunkten = ein paar tausend Vibrationsmodi • Probleme bei der Ausführung (Knack- und Klickgeräusche) Anzahl der Vibrationsmodi verringern Ausschöpfen der menschlichen auditiven Wahrnehmung

31. Mode Compression Studie: nahe beieinander liegen Frequenzen können vom Menschen nicht unterschieden werden • Zusammenfassung mehrerer Frequenzen, die nahe • beieinanderliegen • Erhöhung der Effizienz bei der Synthese der Sounds eines Objekts

32. Quality Scaling • Anzahl der Objekte zu groß => Mode Compression nicht ausreichend • Wichtiger für Gameplay: Variation der Qualität in bestimmten zeitlichen Rahmen • Idee:Aufmerksamkeit auf Objekten aus dem Vordergrund • Skalierung der Soundqualität der Objekte • Zuordnung von Zeitquoten • Kontrollieren der Anzahl an zu mischenden Vibrationsmodi und der Lautstärke Objekte im Vordergrund -> hohe Qualität

33. Beispiel: Position Dependent Sounds

34. Zu den Beispielen Xylophon: • ProduktionderTönemitmehrals 500 FPS • Generierungder Sounds benötigt 10% der CPU, beieinem 3.4GHz Pentium-4 Laptop mit 1GB RAM Ringe: • Mehrals 100 Ringe fallen auf Holztisch • Audio Simulation mitmehrals 200 FPS • Application Frame Rate 100 FPS

35. Audio Simulation: Ringszene

36. Beispiel: Theater

37. Ausbreitug der Schallwellen 2 GHz Laptop Bis zu 4 Reflektionen Mehr als 95000 Strahlen werden 2 Mal die Sekunde gesendet

38. Vielen Dank für eure Aufmerksamkeit!