Talking with Hands and Feet

Ethnomusikoreologische Perspektive: Wir stellen die Hypothese auf, dass Kathak-Tänzer und Tabla-Spieler durch Körper- und Augenbewegungen sowie durch musikalische und choreografische Interpretationen einen reichhaltigen Dialog führen, um die Kunst, die sie gemeinsam schaffen, zu synchronisieren und zu improvisieren. Während teilnehmende Beobachtung und Interviews Einblicke in diesen Prozess gewähren, wird eine zusätzliche externe, datengestützte Perspektive wahrscheinlich dazu dienen, die Hypothese zu bestätigen. Das Auffinden von zeitlich verschobenen Korrelationen zwischen Mustern in Musik und Tanz, aber auch zwischen Mustern in der Bewegung von Körper und Auge und Musik und Tanz, würde Brennpunkte liefern, von denen aus die Frage der Kausalität im Dialog mit den Künstlern untersucht werden könnte. Eine erfolgreiche digitale Forschungsmethodik käme auch der weiteren Untersuchung zahlreicher anderer Kunstformen mit ähnlicher Struktur zugute.

Digitale Perspektive: Die Bewegungserfassung übersetzt die Bewegung von Objekten im Raum, insbesondere von kinetischen Modellen des menschlichen Körpers, in digitale Trajektorien, die in Anwendungen von der Unterhaltung über die Medizin bis hin zu Design und digitaler geisteswissenschaftlicher Forschung genutzt werden können. Herkömmliche markerbasierte Bewegungserfassungsmethoden haben mit komplexen Strukturen wie detaillierten Fingergelenken zu kämpfen, und die Notwendigkeit, Marker zu platzieren, bringt die Probanden immer in eine ungewöhnliche Situation. Markerlose Motion-Capture-Methoden stützen sich auf Kameradaten von RGB-Kameras und hochentwickelte maschinelle Lernmodelle, um biomechanische Modelle direkt aus Bildern zu erfassen. Audioaufnahmen können erfasst und mit den Bildern synchronisiert werden, um die aufgezeichnete Bewegung genau zu treffen. Augenbewegungen können durch Nachbearbeitung von Videodaten oder durch spezielle Eye-Tracker erfasst werden, die nicht unbequemer oder künstlicher sind als eine Brille. Die nachträgliche Datenanalyse kann zeitlich verschobene Korrelationen zwischen den Mustern in den verschiedenen Kanälen, einschließlich Audio, Trajektorien und Blicken, aufdecken.

Experiment: Das geplante Experiment sieht eine Tabla- und Kathak-Performance in einem traditionellen Rahmen vor, bei der die Künstler auf dem Boden stehen und sitzen, während das Publikum ebenfalls auf Kissen auf dem Boden sitzt. Der Künstler Haider Khan wird Tabla spielen und die Tänzerin Sumedha Bhattacharyya wird Kathak tanzen. Die Aufführung findet am Montag, dem 24. Juni 2024, um 17 Uhr im Motion-Capture-Labor des IT:U, Altenberger Straße 66c, SCP4, OG1 statt. Ein öffentliches Publikum wird anwesend sein. Die gesamte Aufführung wird in Audio und Video aufgezeichnet und mit Motion Capture versehen. Der resultierende Datensatz wird zwischen KUG und IT:U geteilt und in einer gemeinsamen Forschungsarbeit analysiert.

Forschung: Forscher von IT:U und KUG werden den Datensatz gemeinsam analysieren und nach den oben beschriebenen Korrelationen suchen. Jede Seite ist für ihren eigenen Aufwand verantwortlich. Der bereinigte und formatierte Datensatz wird zusammen mit einem Forschungspapier veröffentlicht und als Open Source zur Verfügung gestellt. Studentische Projekte sowohl der KUG als auch der IT:U werden auf den Daten basieren und neue Erkenntnisse entwickeln.