Ljud kan användas för att förenkla förståelsen av en visuell representation av forskningsdata, eller för att förbättra resultatet av en interaktion mellan människa och maskin. Att använda ljud på detta sätt kallas för sonifiering.
Vi forskar om musikalisk sonifiering. Sonifiering innebĂ€r att ljud lĂ€ggs till som ett komplement till en visuell representation för att förenkla förstĂ„elsen av denna, eller för att avslöja nya samband i forskningsdata, eller för att öka utbytet av en interaktion. Fokus för vĂ„ra studier Ă€r att utforska anvĂ€ndandet av medvetet designade och komponerade musikaliska ljud i sonifiering. Sonifiering kan anvĂ€ndas till mĂ€tdata om klimatfoÌraÌndringar, biosensordata inom medicinsk vetenskap, processtyrning och transportledning, och mycket annat. För att sonifiering ska bli lyckad krĂ€vs ett nĂ€ra samarbete med domĂ€nexperter för tillĂ€mpning och utvĂ€rdering av sonifieringen. Vi vĂ€lkomnar samarbeten och förslag pĂ„ omrĂ„den och applikationer för sonifiering.
Sonifiering och informationsvisualisering
Forskning producerar data inom mÄnga olika forskningsomrÄden, frÄn medicin via beslutstöd för flygledare till klimatförÀndringar. Dessa forskningsresultat presenteras för andra forskare och för allmÀnheten genom vetenskapliga texter och visuella representationer. Ofta kan dessa visuella representationer vara svÄrtolkade och belastar det visuella kognitiva systemet. Genom att anvÀnda ljud som en kompletterande modalitet kan tolkningen av den visuella informationen underlÀttas. Exempelvis kan sonifiering undvika visuella feltolkningar pÄ grund av simultan ljushetskontrast, förenkla förstÄelsen av densitet i en visualisering, eller skilja pÄ olika datamÀngder som visas i en och samma visualisering.
Sonifering och beslutsstöd
Sonifiering kan ocksÄ anvÀndas i samband med automation och beslutsstöd. Inom flygledning, till exempel, kan sonifiering ge perifer information som flygledaren inte har tillgÀnglig pÄ den visuella displayen. Vidare skulle sonifiering kunna ge auditiv information om exempelvis maskiners status, nÄgot som tekniker och maskinoperatörer förr fick direkt pÄ verkstadsgolvet men som idag inte Àr tillgÀnglig i tysta kontrollrum. Sonifiering kan i dessa exempel skapa en ljudatmosfÀr som ger konstant tillgÀnglig statusinformation i bakgrunden, utan att tvinga operatören att skifta fokus frÄn pÄgÄende arbetsuppgifter.
Sonifiering och interaktion
I en situation dÀr en mÀnniska interagerar med en maskin, kan sonifiering anvÀndas för att ge information till anvÀndaren. Denna information kan överföras genom kort auditiv feedback, sÄ kallade interfaceljud, eller genom förÀndringar i en mer holistisk ljudatmosfÀr. Sonifieringen kan pÄ sÄ sÀtt anvÀndas för att pÄverka ett beteende hos en anvÀndare, eller skapa en immersiv miljö dÀr anvÀndarens upplevelse av en interaktion förstÀrks.
Musikaliska element i sonifiering
Grundforskning inom sonifiering inkluderar utforskning och utvÀrdering av musikaliska element och strukturer, som exempelvis harmonik, tonhöjd, amplitud och tempo. Vi undersöker vilka musikaliska element som Àr lÀmpliga att anvÀnda i sonifiering, samt hur dessa upplevs av anvÀndare. Vidare studerar vi vilka visuella eller interaktiva element som Àr lÀmpliga att sonifiera, samt hur kopplingen mellan dessa och ljudförÀndringar i sonifieringen görs, för bÀsta resultat och anvÀndarupplevelse.
