diff --git a/_works/2025-gerwing-leander/01-resarch-area-analysis/README.md b/_works/2025-gerwing-leander/01-resarch-area-analysis/README.md new file mode 100644 index 0000000..8311bbc --- /dev/null +++ b/_works/2025-gerwing-leander/01-resarch-area-analysis/README.md @@ -0,0 +1,3 @@ +# Themenfeldanalyse + +Bitte legen Sie Ihre Concept Map zur Themenfeldanalyse hier als PDF ab. Die Datei sollte nicht größer als 2 Mbyte sein. \ No newline at end of file diff --git a/_works/2025-gerwing-leander/01-resarch-area-analysis/expose presentation.pdf b/_works/2025-gerwing-leander/01-resarch-area-analysis/expose presentation.pdf new file mode 100644 index 0000000..3f16bb0 Binary files /dev/null and b/_works/2025-gerwing-leander/01-resarch-area-analysis/expose presentation.pdf differ diff --git a/_works/2025-gerwing-leander/02-titles-and-research-questions.md b/_works/2025-gerwing-leander/02-titles-and-research-questions.md new file mode 100644 index 0000000..f02aef7 --- /dev/null +++ b/_works/2025-gerwing-leander/02-titles-and-research-questions.md @@ -0,0 +1,95 @@ +# Titel und Forschungsfrage + +## 10 Titel-Vorschläge + +1. **Dezentrales Orchester: Explorative Entwicklung eines WebRTC-basierten Peer-to-Peer-Systems zur Live-Orchestrierung von audiovisuellen Erlebnissen** +2. **Live-Sensorchoreographie: Entwicklung eines visuellen Programmier-Interfaces für die Live-Orchestrierung kollaborativer audiovisueller Smartphone-Performances** +3. **Von Sensoren zum Sound: Gestaltung eines Real-time Mapping-Systems für verteilte mobile Geräte als Musikinstrumente** +4. **Das Smartphone als Instrument: Untersuchung niedrigschwelliger Zugänge zum kollaborativen Musizieren durch browser-native Sensor-Integration** +5. **Bidirektionale Partizipation: Konzeption eines Browser-basierten Systems zur haptisch-visuell-auditiven Publikumsintegration in Live-Performances** +6. **DecentraBand : Konzeption und Implementation von Benutzeroberflächen für die Echtzeitsteuerung audiovisueller Inhalte in einem dezentralen, kollaborativem Szenario** +7. **Distributed Embodied Performance: Erforschung multimodaler Feedback-Mechanismen für webbasierte kollaborative Sensor-Orchestration** +8. **Strudel meets WebRTC: Erweiterung des Strudel-Frameworks zur Integration von WebRTC für dezentrales audiovisuelles Live-Coding** +9. **Programmable Peers: Entwicklung eines Systems zur dynamischen Generierung und Live-Distribution adaptiver Benutzeroberflächen für kollaborative webbasierte Musikperformances** +10. **10. Remote Interface Orchestration: Konzeption eines bidirektionalen Systems zur Laufzeit-Gestaltung verteilter Eingabe-Interfaces für sensor-basierte audiovisuelle Performances** + +--- + +## 5 Forschungsfragen + +### Frage 1: WebRTC als Basis für drahtlose Musik-Controller + +**Hauptfrage:** +Lässt sich mittels WebRTC ein System realisieren, mit welchem sich Endgeräte (z.B. Smartphones) als Musikinstrument oder MIDI-Controller nutzen lassen? + +**Teilfragen:** +- Ist die Latenz bei der Übertragung von Steuerdaten über WebRTC für musikalische Anwendungen ausreichend gering? +- Welche Herausforderungen ergeben sich bei der Synchronisation von mehreren Endgeräten in Echtzeit? +- Falls die Latenz zu hoch ist, welche Optimierungen oder Alternativen zu WebRTC gibt es, um die Performance zu verbessern, oder lässt sich das Problem durch Design-Entscheidungen (z.B. Quantisierung) im System umgehen? +- Wie lässt sich eine benutzerfreundliche Oberfläche gestalten, die es Nutzern ermöglicht, ihre Endgeräte einfach zu koppeln und intuitiv als Musikinstrumente zu verwenden? +- Kann durch Rückmeldungen über WebRTC an die Endgeräte die Nutzererfahrung verbessert werden, z.B. durch haptisches Feedback oder visuelle Signale? +- Wie unterscheidet sich die wahrgenommene Latenz zwischen unidirektionaler (nur Sensor → Host) und bidirektionaler Kommunikation (Sensor → Host → Feedback), und welchen Einfluss hat sofortiges Feedback auf die musikalische Ausdrucksfähigkeit? + +--- + +### Frage 2: Verarbeitung dezentral gesammelter Daten zu Klang und Bild + +**Hauptfrage:** +Was für Möglichkeiten gibt es, Daten von mehreren verteilten Endgeräten zu sammeln und in einem zentralen System zu verarbeiten, um daraus Klang- und Bildinhalte zu generieren? + +**Teilfragen:** +- Ist WebRTC dafür geeignet, kontinuierliche Datenströme von mehreren Clients zu einem Server zu übertragen, auch bei einem hohen Datenaufkommen? +- Wie können Sensordaten (z.B. Beschleunigungssensoren, Klicks bzw. Touch-Ereignisse) genutzt werden, um musikalische Parameter (Generierung von Sounds, Abspielen von Samples etc.) zu steuern? +- Ist es möglich, die Sensordaten auch für die Generierung von visuellen Inhalten (z.B. Projektionen, Visuals auf dem Host-Screen) zu verwenden? +- Was sind in diesem Kontext Stärken und Schwächen von sensorbasierten Eingaben im Vergleich zu traditionellen Eingaben über Benutzeroberflächen? +- Wie könnte eine Oberfläche gestaltet werden, mit dem Ersteller solcher Erlebnisse die gesammelten Daten sinnvoll zu Klang- und Bildinhalten verarbeiten können? +- Welche Herausforderungen ergeben sich bei der Synchronisation und Verarbeitung der Datenströme in Echtzeit, und wie können diese gelöst werden? +- Welche kreativen Möglichkeiten ergeben sich durch die Nutzung von verteilten Endgeräten für die Generierung von Klang- und Bildinhalten? +- Kann der Host Audio-Streams oder synthesierte Sounds zurück an einzelne oder alle Peers senden, um verteilte Spatial-Audio-Installationen zu ermöglichen, bei denen jedes Smartphone zum Lautsprecher wird? + +### Frage 3: Gestaltung einer Nutzeroberfläche zur Live-Steuerung audiovisueller Inhalte + +**Hauptfrage:** +Wie kann eine leicht zugängliche Oberfläche gestaltet werden, die es Performern ermöglicht, audiovisuelle Inhalte in Echtzeit auf Basis von Sensordaten von mehreren Endgeräten zu orchestrieren? + +**Teilfragen:** +- Wie kann die Komplexität der Steuerung mehrerer Endgeräte übersichtlich und intuitiv in einer Oberfläche abgebildet werden? +- Können Design-Patterns aus der DAW- und Live-Coding-Welt (z.B. Node-basierte Programmierung, Clip-Launchers) auf die Steuerung von verteilten Endgeräten übertragen werden? +- Welche visuellen Rückmeldungen sind notwendig, damit Performer den Status und die Beiträge der einzelnen Endgeräte nachvollziehen können? +- Wie kann die Oberfläche so gestaltet werden, dass sie sowohl für Anfänger als auch für erfahrene Performer zugänglich ist? +- Wie kann einem Performer das Mapping von Sensordaten zu Klang- und Bildparametern erleichtert werden (z.B. durch Drag-and-Drop, Presets, visuelle Hilfen)? +- Welche Rolle spielen Voreinstellungen und anpassbare Templates, um den Einstieg in die Nutzung des Systems zu erleichtern? +- Wie lässt sich die Bidirektionalität der Kommunikation für Performer nutzbar machen, um audiovisuelles Feedback an die Peers zu senden oder deren Beiträge in Echtzeit zu modifizieren? +- Gibt es eine Möglichkeit für Performer, für die Peers variable Interfaces zu erstellen, um diese an unterschiedliche Performance-Szenarien anzupassen? Beispielsweise, einem Nutzer, der ein Klavier-Layout auf seinem Smartphone angezeigt bekommt, während ein anderer Nutzer ein XY-Pad sieht. + +### Frage 4: Partizipative Performance und Publikumsrolle + +**Hauptfrage:** +Wie verändert sich die Dynamik zwischen Performer und Publikum, wenn Zuschauer durch eigene Smartphones aktiv am audiovisuellen Erlebnis teilnehmen können? + +**Teilfragen:** +- Welche Strategien ermöglichen es, dass viele Teilnehmer (50+) sinnvoll zur Performance beitragen, ohne dass Chaos entsteht? +- Wie kann ein "Conductor Mode" gestaltet werden, der dem Host die Kontrolle über den kreativen Output behält, während Peers Input liefern? +- Welche psychologischen und sozialen Effekte ergeben sich, wenn Publikum von passiven Konsumenten zu aktiven Mitgestaltern wird? +- Inwiefern unterscheidet sich die Experience zwischen kontrollierten Workshops (z.B. 10 Teilnehmer mit Einweisung) und spontanen Public Installations (z.B. 50+ unvorbereitete Besucher)? +- Können durch gamifizierte Elemente oder visuelle Rückmeldung auf dem Host-Screen Teilnehmer motiviert werden, spezifische Gesten oder Bewegungen auszuführen? +- Welche Rolle spielt multimodales Feedback (Vibration, Display-Farben, Audio-Returns) für das Gefühl der Agency und Co-Authorship bei Teilnehmern? Fühlen sich Peers mehr als "Instrumente" oder als "Mitmusiker", wenn sie direktes Feedback erhalten? +- Lässt sich durch verteiltes Spatial Audio (jedes Smartphone als Lautsprecher) ein immersiveres räumliches Klangerlebnis schaffen als mit zentraler Beschallung, und wie beeinflusst dies die Partizipationsbereitschaft? + +--- + +### Frage 5: Barrierefreiheit und Zugänglichkeit digitaler Musikinstrumente + +**Hauptfrage:** +Inwiefern kann ein browserbasiertes, sensor-gesteuertes System die Zugangshürden zu musikalischem Ausdruck und Kollaboration im Vergleich zu traditioneller Hardware senken? + +**Teilfragen:** +- Welche Zielgruppen (Kinder, Menschen mit Behinderungen, Musikanfänger, professionelle Performer) profitieren am meisten von einem installationsfreien, hardware-unabhängigen Ansatz? +- Wie können unterschiedliche motorische Fähigkeiten durch flexible Sensor-Mappings (z.B. große vs. feine Bewegungen) berücksichtigt werden? +- Eignet sich das System für musikpädagogische Kontexte (Schulen, Workshops), und welche didaktischen Konzepte lassen sich damit umsetzen? +- Welche Limitationen ergeben sich durch die Abhängigkeit von Smartphone-Besitz und stabiler Internetverbindung, und wie könnten diese adressiert werden? +- Kann das System als "Gateway" dienen, um Interesse an tiefergehenden Musik-Technologien (DAWs, Hardware-Controller, Live-Coding) zu wecken? +- Inwiefern ermöglicht multimodales Feedback barrierefreiere Zugänge zu musikalischer Expression (z.B. für Gehörlose durch Haptic-Only-Mode, für Sehbehinderte durch Audio-Cues)? +- Welche kreativen und technischen Herausforderungen ergeben sich, wenn Peers nicht nur Input-Devices, sondern gleichzeitig Output-Devices (Lautsprecher) sind? Wie beeinflusst das die Latenzwahrnehmung? + +--- \ No newline at end of file diff --git a/_works/2025-gerwing-leander/03-expose.md b/_works/2025-gerwing-leander/03-expose.md new file mode 100644 index 0000000..a03e6d3 --- /dev/null +++ b/_works/2025-gerwing-leander/03-expose.md @@ -0,0 +1,152 @@ +# Exposé: Masterarbeit von Leander Gerwing + +## Arbeitstitel: Live-Sensorchoreographie: Entwicklung eines visuellen Programmier-Interfaces für die Live-Orchestrierung kollaborativer audiovisueller Smartphone-Performances + +### Problemfeld und Kontext + +Fortschritte in der Informatik ermöglichen immer wieder neue Möglichkeiten und Formen der künstlerischen Ausdrucksweise. +Software ist dabei ein zentrales Werkzeug für die Erstellung und Aufführung digitaler audiovisueller Kunstwerke. +Geläufig sind hier Digital Audio Workstations (DAWs) wie Ableton Live und grafische Programmierumgebungen wie Max/MSP +für die Musikproduktion, +sowie Game Engines wie Unity oder Unreal Engine oder Tools wie TouchDesigner für die Erstellung visueller Inhalte auf +Basis von Audio. Viele +der genannten Tools wie Max/MSP, die Unreal Engine oder TouchDesigner bieten dazu sogenannte "Node-based +Programming"-Interfaces an, die es Nutzer:innen erlauben, komplexe Abläufe durch das Verbinden von modularen +Bausteinen zu erstellen. + +Eine weitere Form der Erstellung von audiovisuellen Performances hat sich in den letzten Jahren etabliert: das Konzept +des Live-Codings. +Hierbei schreiben Performer während der Aufführung Code, der in Echtzeit Klang- und Bildinhalte generiert oder +verändert. Bekannte Umgebungen hierfür sind Sonic Pi, Strudel oder Hydra. Letztere beide sind webbasiert und ermöglichen +das +Nutzen neuartige Web-APIs +wie Sensor- und MIDI-Zugriff direkt im Browser. + +Parallel dazu öffnen sich durch mobile Endgeräte neue Räume für kollaborative Performances. Projekte wie das Stanford +Mobile Phone Orchestra (MoPhO) [[1]](#1-)[[2]](#2-)demonstrierten bereits 2008, dass Smartphones nicht nur +Kommunikationsgeräte, sondern +auch ernstzunehmende Instrumente innerhalb komplexer Klangensembles sein können. Neuere Arbeiten wie "Speakers, More +Speakers!!!" [[3]](#3-) zeigen zudem, wie sich Smartphone-Sensorik, WebRTC und verteilte Interaktion zu neuartigen +audiovisuellen +Erfahrungen verweben lassen, inklusive experimenteller Setups wie dezentraler stochastischer Musik oder kollaborativ +erzeugten Gemälden [[4]](#4-). + +Trotz dieser Entwicklungen fehlt ein Werkzeug, das Live-Coding-Ansätze und kollaborative dezentrale Performances +vereint, insbesondere in einer gemeinsamen, zugänglichen Oberfläche vereint. Zwar existieren Bibliotheken wie " +Soundworks", +die den technischen Unterbau für kollaborative mobile Web-Performances bereitstellen [[5]](#5-), jedoch bleibt die +kreative Ebene +dort nur Programmieraffinen Nutzer:innen vorbehalten. + +An genau dieser Lücke setzt das geplante Projekt an: Es untersucht, wie sich eine visuelle, leicht zugängliche +Orchestrierungsoberfläche gestalten lässt, die es Performer erlaubt, Sensordaten mehrerer Smartphones in Echtzeit +für audiovisuelle Prozesse zu nutzen. Das Tool soll benutzbar sein ohne programmieren zu müssen, aber dennoch genug +Flexibilität bieten, um das Erstellen komplexer Performances zu ermöglichen. +Angelehnt an das Konzept des Live-Codings soll dieses Tool designt sein für Live-Performances, es steht allerdings kein +Code im Zentrum, sondern ein grafisches Interface, das die Spontanität und Expressivität einer Live-Performance mit der +technischen Komplexität eines +verteilten Systems zusammenführt. + +### Forschungsfrage (provisorisch) + +Die Forschungsfrage, die dieses Projekt leiten soll, lautet: +**Wie kann eine leicht zugängliche Oberfläche gestaltet werden, die es Performern ermöglicht, audiovisuelle Inhalte in +Echtzeit auf Basis von Sensordaten von mehreren Endgeräten zu orchestrieren?** + +Teil der Beantwortung dieser Frage sind unter anderem folgende Unterfragen: + +- Wie kann die Komplexität der Steuerung mehrerer Endgeräte übersichtlich und intuitiv in einer Oberfläche abgebildet + werden? +- Können Design-Patterns aus der DAW- und Live-Coding-Welt (z.B. Node-basierte Programmierung, Clip-Launchers) auf die + Steuerung von verteilten Endgeräten übertragen werden? +- Welche visuellen Rückmeldungen sind notwendig, damit Performer den Status und die Beiträge der einzelnen Endgeräte + nachvollziehen können? +- Wie kann die Oberfläche so gestaltet werden, dass sie sowohl für Anfänger als auch für erfahrene Performer zugänglich + ist? +- Wie kann einem Performer das Mapping von Sensordaten zu Klang- und Bildparametern erleichtert werden (z.B. durch + Drag-and-Drop, Presets, visuelle Hilfen)? +- Welche Rolle spielen Voreinstellungen und anpassbare Templates, um den Einstieg in die Nutzung des Systems zu + erleichtern? +- Wie lässt sich die Bidirektionalität der Kommunikation für Performer nutzbar machen, um audiovisuelles Feedback an die + Peers zu senden oder deren Beiträge in Echtzeit zu modifizieren? +- Gibt es eine Möglichkeit für Performer, für die Peers variable Interfaces zu erstellen, um diese an unterschiedliche + Performance-Szenarien anzupassen? Beispielsweise, einem Nutzer, der ein Klavier-Layout auf seinem Smartphone angezeigt + bekommt, während ein anderer Nutzer ein XY-Pad sieht. + +### Zielsetzung + +Ziel dieser Arbeit ist die Entwicklung eines webbasierten Tools zur Liveorchestrierung dezentraler Peers über einen +zentralen Host in ein audiovisuelles Erlebnis. +Teil ist ein Editor, in welchem Daten von Sensoren der Peers als Parameter verwendet werden können, +um Visualisierungen zu erstellen und Klänge zu erzeugen, und auch von Nicht-Programmierer:innen genutzt werden kann. + +### Meilensteine und Zeitplan + +Hier ein vorläufiger Zeitplan für die Masterarbeit mit groben Aufwandsschätzungen: + +#### Vertiefende Anforderungsanalyse und Exploration bestehender Systeme (2 Wochen) + +- Genauere Sichtung relevanter Arbeiten (Live-Coding, TouchDesigner, kollaborative Webmusik, Smartphone-Orchester) +- Ableitung funktionaler sowie gestalterischer Anforderungen. + +#### Konzeption des Gesamtsystems (2 Wochen) + +- Definition des Interaktionsmodells, Datenflusses und der zentralen Komponenten (Host, Peers, Node-Editor, + audiovisuelle Engine). + +#### Implementierung der technischen Basis (3 Wochen) + +- Aufbau der WebRTC-Kommunikation, Sensorstreaming, Peer-Management und QR-basiertem Pairing. +- Umsetzung erster Klang- und Visualisierungsbausteine (z.B. via Tone.js, P5.js oder Three.js) sowie + Mapping-Mechanismen. + +#### Entwurf des visuellen Programmierinterfaces (2 Wochen) + +- Entwicklung eines prototypischen Editors, der Sensordaten einbindet und mit welchem sich erste Performances erstellen lassen. + +#### Weitere Iterative Entwicklung und Usability-Optimierung (3 Wochen) + +- Erweiterung des Editors, Implementierung von Presets/Templates, Gestaltung von Feedback-Mechanismen und + UI-Optimierungen. +- Durchführung und Auswertung von Testsessions zu Bedienbarkeit, Verständlichkeit und Performance-Tauglichkeit. +- Fertigstellung eines stabilen Demonstrators für eine Beispielperformance. + +#### Verschriftlichung der Masterarbeit (2 Wochen) + +- Verfassung der schriftlichen Ausarbeitung und weiterer Artefakte (Bilddokumentation, Abschlussvideo, etc.). + +#### Pufferzeit (3 Wochen) + +### Formales + +Geplanter Start: Anfang Dezember 2025 +Sperrvermerk: Nein +Externer Kooperationspartner: Nein + +### Literaturverzeichnis + +#### [1] + +Wang, G., Essl, G., & Penttinen, H. (2008, August). Do mobile phones dream of electric orchestras?. In _ICMC._ + +#### [2] + +Oh, J., Herrera, J., Bryan, N. J., Dahl, L., & Wang, G. (2010, June). Evolving The Mobile Phone Orchestra. In _NIME (pp. +82-87)._ + +#### [3] + +Forgette, A., Manaris, B., Gillikin, M., & Ramdsen, S. (2022, June). Speakers, More Speakers!!!–Developing Interactive, +Distributed, +Smartphone-Based, Immersive Experiences for Music and Art. In _Proceedings of the International Symposium on Electronic +Art._ + +#### [4] + +Manaris, B. (2025). Research. _https://blogs.charleston.edu/manaris/research/#Memory_of_Wind_2025_ + +#### [5] + +Robaszkiewicz, S., & Schnell, N. (2015). Soundworks–a playground for artists and developers to create collaborative +mobile web +performances. In _WAC-1st Web Audio Conference._ \ No newline at end of file diff --git a/_works/2025-gerwing-leander/04-results/README.md b/_works/2025-gerwing-leander/04-results/README.md new file mode 100644 index 0000000..7742390 --- /dev/null +++ b/_works/2025-gerwing-leander/04-results/README.md @@ -0,0 +1,3 @@ +# Ergebnisse + +Bitte legen Sie Ihre Ergebnisse hier ab. Achten Sie bitte auf moderate Dateigrößen. Bitte legen Sie nur geschlossene Dokument, z.B. PDF statt *.doc ab. \ No newline at end of file