Mixed-initiative music making. Collective agency in interactive music systems

Abstract

Sammendrag - Begrepet mixed-initiative (blandet initiativ) hentyder til brukergrensesnitt der både menneske og datamaskin bidrar proaktivt til en prosess. Et mixed-initiative kreativt brukergrensesnitt er samme prinsipp overført til domenet computational creativity support (datastøttet kreativitet), som for eksempel i digital musikkproduksjon eller elektronisk kunst. Tittelen «Mixed-Initiative Music Making» innebærer dermed en form for musikkskaping som plasserer menneske og maskin i en tett interaktiv sløyfe, og der begge påvirker hverandres bidrag. Improvisasjonsbasert kollektiv musikkskaping omtales ofte som «jamming». Denne avhandlingen fokuserer på jamming-orienterte tilnærminger til musikkskaping som drar nytte av den fremvoksende nyskapingen som skjer i gruppedynamikk. Forskningsspørsmålet er: Hvordan kan et mixed-initiative interaktivt musikksystem hjelpe musikere i den tidlige idemyldringsfasen av musikkskaping? Med et utgangspunkt i dynamisk systemteori har jeg tatt fatt på dette spørsmålet ved å bruke en Research through Design-tilnærming innenfor et metodologisk rammeverk med triangulering mellom teori, observasjon og design. Jeg har opprettholdt et fokus på kollektiv musikkskaping som aktivitet gjennom fire studier over en toårsperiode, der den gradvise utviklingen av et mixed-initiative interaktivt musikksystem har blitt informert av funn fra disse studiene. Den første studien var en fokusgruppe med musikere erfarne i kollektiv musikkskaping. Her var målet å etablere fellestrekk i musikksamspill og ideutvikling med tanke på gunstige konseptuelle rammeverk for påfølgende studier. Den andre studien var en case studie av to improviserende musikere som spilte et improvisert stykke musikk. De ble adskilt i to forskjellige rom, og kunne kun kommunisere via instrumentene eller gjennom forhåndsdefinerte beskjeder via en dataskjerm. Samspillet ble analysert i forhold til hvordan musikerne dynamisk konvergerte og divergerte, og på den måten skapte musikalsk progresjon. I den tredje studien ble flere musikere invitert til å jamme med en prototype av et interaktivt musikksystem. Uten at de var klare over det hadde de blitt rekruttert til en såkalt Wizard of Oz studie – bak fasaden var det et menneske på elektroniske tangenter som simulerte en data-musiker. Formålet med dette oppsettet var å skaffe empirisk data på hvordan musikere erfarer samskaping med en datamaskin før programmeringen av det interaktive systemet hadde blitt påbegynt. I den siste studien ble to forskjellige implementasjoner av et mixed-initiative interaktivt musikksystem utviklet til en komparativ studie, der avveining mellom brukerkontroll og system-autonomi var et grunnleggende premiss. Til sammen viser funn fra studiene at et mixed-initiative interaktivt musikksystem tilbyr musikere frihet fra å bli kritisk vurdert og frihet til å utforske sin egen kreativitet i relasjon til et ukjent aktørskap. Sosiale faktorer gjør denne typen friheter vanskelige å oppnå med andre musikere. Dermed kan det å spille med interaktive musikksystemer føre til andre typer musikksamspill enn man får til mellom mennesker. Det å akseptere maskinens estetikk kan føre til overraskende kreative resultater. Gjentakende eksponering til mixed-initiative interaktive musikksystemer kan bidra til å kultivere holdninger som er verdifulle for kollektiv musikkskaping generelt, som for eksempel det å opprettholde en prosessorientert tilnærming og akseptere tap av idemessig eierskap.

Abstract - A mixed-initiative user interface is one where both human and computer contribute proactively to a process. A mixed-initiative creative interface is the same principle applied in the domain of computational creativity support, such as in digital production of music or visual arts. The title “Mixed-Initiative Music Making” therefore implies a kind of music making that puts human and computer in a tight interactive loop, and where each contributes to modifying the output of the other. Improvisational collective music making is often referred to as jamming. This thesis focuses on jamming-oriented approaches to music making, which takes advantage of the emergent novelty created by group dynamics. The research question is: How can a mixed-initiative interactive music system aid human musicians in the initial ideation stage of music making? Starting from a vantage point of dynamical systems theory, I have addressed this question by adopting a Research through Design approach within a methodological framework of triangulation between theory, observation, and design. I have maintained a focus on the activity of collective music making through four studies over a period of two years, where the gradual development of a mixed-initiative interactive music system has been informed by findings from these studies. The first study was a focus group with musicians experienced in collective music making, where the goal was to establish commonalities in musical interaction and idea development with a focus on viable conceptual frameworks for subsequent studies. The second study was a case study of two improvising musicians engaged in an improvised session. They were separated in two rooms, and could only communicate instrumentally or through preset commands on a computer screen. The session was analyzed in terms of how the musicians dynamically converged and diverged, and thus created musical progression. In the third study, several musicians were invited to jam with a prototype of an interactive music system. Unbeknownst to them, they had been recruited to a Wizard of Oz study—behind the scenes was a human keyboard player pretending to be a computational agent. The purpose of this arrangement was to obtain empirical data about how musicians experience co-creativity with a perceived computational agent before the implementation of the computational agent had begun in earnest. In the final study, two different implementations of a mixed-initiative interactive music system were developed for a comparative user study, where the tradeoff between user control and system autonomy was a central premise. Combined, the studies show that a mixed-initiative interactive music system offers musicians freedom from judgement and freedom to explore their own creativity in relation to an unknown agency. Social factors make these kinds of freedom difficult to attain with other musicians. Hence, playing with interactive music systems can lead to different kinds of musical interaction than can be achieved between people. An acceptance of machine aesthetics may lead to surprising creative results. Repeated exposure to mixed-initiative interactive music systems could help cultivate attitudes that are valuable for collective music making in general, such as maintaining a process-oriented approach and accepting the loss of idea ownership.