Schets idee synesthesie

Omdat ik tijdens de les een visueel idee kreeg, ben ik het gelijk gaan tekenen om in beeld te laten zien wat mijn idee was. Het idee komt voort uit het onderwerp synesthesie.

De bedoeling is dat één persoon tegelijk deelneemt aan de installatie. Hierbij krijgt de persoon 2 Wii remotes waarmee hij op het scherm eigen unieke beelden kan creëren. Doordat de persoon beweegt met de remotes verandert het beeld op het scherm. Aan de hand van de snelheid en bewegingen verschilt het dus wat voor soort beeld je krijgt. Naast het beeld zal er geluid plaatsvinden die ook synchroon verandert aan de hand van de snelheid en bewegingen van de remotes.

De  achterliggende gedachte is om via geluid en beeld een speler te laten waarnemen hoe synethesie werkt wanneer geluid en beeld op hetzelfde moment geprikkeld worden. 

Zoals het plaatje al laat zien, staat de persoon voor een groot scherm vanaf een bepaalde afstand. 

Doordat de snelheden en bewegingen van de remotes verschillend kunnen zijn, heb ik hieronder uitgebeeld wat voor beeld je krijgt bij wat voor muziekstijl. Ook de muziektest van Evianne heeft mij tot dit idee geleid.

Rustig, Raggae

Druk, Drum & Bass

Rustig, Klassiek

Druk, House

Testje letters + kleuren

Deze week zijn we druk bezig geweest met dieper op het onderwerp synesthesie in te gaan. Omdat we testjes gingen verzinnen die van belang konden rondom dit onderwerp heb ik een test uitgevoerd waarbij ik simpelweg vraag wat voor kleur mensen combineren met alle letters van het alfabet.

Zo is er uit gekomen dat bij sommige letters zelfs 3 mensen hetzelfde dachten. Verder is het ook opmerkelijk dat bij de letter X 2 mensen geel dachten en 3 mensen zwart. Daarnaast zijn er nog enkele letters waarbij nog 2 of 3 mensen hetzelfde dachten.

Wat ik uit het onderzoek kan halen is dat sommige letters wel degelijk invloed hebben op de kleur die je kiest. Zo kan je concluderen dat de X een vrij duistere letter is en dus met zwart geassocieerd wordt. Ook de letter K krijgt 2x zwart, waarschijnlijk ook omdat die bijna dezelfde vorm heeft als de letter X.

Wat een vervolgstap zou kunnen zijn is letters ook geassocieerd kunnen worden met geluiden.

Voor ik deze test heb gedaan heb ik nog bij 2 mensen uit het groepje de zogeheten ‘stroop-test’ gedaan. Hierbij is het de bedoeling zo snel mogelijk de kleur van het woord te noemen ipv de tekst.

Achteraf ben ik hier niet op verder gegaan omdat het niks heeft te maken met kleuren maar juist met multitasken.

Onderzoeksvraag: Hebben geuren associatieve, niet-olfactorische eigenschappen?

Inleiding

Om verder te gaan op synesthesie hebben we deze week enkele testen gedaan om te kijken of er verbanden bestaan tussen zintuiglijke waarnemingen. Zoals eerder gesteld zijn de verbindingen tussen de hersendelen die verantwoordelijk zijn voor het percipiëren van prikkels bij synestheten nog intact, waardoor er een vermenging van zintuigen is.

We wilden weten of geuren bepaalde associaties kunnen oproepen die niet met geur te maken hebben. Ook vroegen we ons af of deze associaties voor iedereen dezelfde zijn.

De onderzoeksvraag hebben we geformuleerd als:
Hebben geuren associatieve, niet-olfactorische eigenschappen?

Terugblik

De afgelopen dagen hebben we het in grote lijnen over synesthesie gehad. Dit thema sprak ons zodanig aan dat we veel onderzoek, allerlei testjes en ideevormingen hebben uitgevoerd. Sta mij toe om even een korte samenvatting te vormen van mijn perceptie van de huidige richting van het project.

Het thema van de installatie is synesthesie. Synesthesie is een overvloeiing van de zintuigen. Dat betekent dat wanneer er één zintuig geprikkeld wordt er een automatische onwillekeurige vertaling wordt gemaakt naar een ander zintuig. Dat kan bijvoorbeeld betekenen dat je geluid kan zien of bij bepaalde letters of cijfers een kleur kan voorstellen.

We willen de gebruiker interactie laten hebben met de installatie via sensoren. Daarbij kwam digitale synesthesie om het hoekje kijken. Digitale synesthesie is wanneer je aan de hand van een computer een vertaling maakt van de attributen van een sensatie in het ene zuiglijk domein naar het andere, e.g. de vertaling van digitaal geluid in digitaal beeld door binaire code.

Met de installatie willen we bij niet synesthetische mensen een synesthetische ervaring teweegbrengen. Dat wil zeggen dat we hen op een of andere manier iets willen laten voelen dat tegelijkertijd iets invoert in een systeem dat vervolgens dit vertaalt en iets genereert dat de gebruiker op andere zintuigen prikkelt.

Vragen die bij mij direct opkomen:

• Welk zintuig willen we prikkelen bij de gebruiker?
• Hoe willen we de gebruiker zich laten prikkelen?
• Wat voor vertaling maakt de invoer door?
• Wat krijgt de gebruiker voor reactie?
• Welke modaliteiten worden er teruggezonden?
• Zijn er ander soort zintuigen of cognitieve paden die we kunnen prikkelen? (mentale representaties of elektroreceptie)
• Hoe engageren we de gebruiker spelenderwijs?
• Kunnen meer gebruikers tegelijkertijd de installatie besturen?

Associaties en vormen bij kleuren

Gezien onze focus gedurende deze week heeft gelegen op het onderwerp synesthesie, wilde ik een kleine test doen om te kijken of mensen die niet aan synesthesie ook bepaalde vormen of associaties hebben bij bepaalde kleuren.

Vooraf heb ik een testprotocol opgezet. Vanwege het feit dat deze test vrij simpel uit te voeren was is dit geen heel uitgebreid protocol geworden. Wel heb ik duidelijk gesteld wat ik wilde weten.

 Test opzet: Van kleur naar vorm

Uit onderzoek naar synesthesie is gebleken dat de zintuigen samensmelten tot een geheel. Om te testen of mensen die niet aan synesthesie leiden ook associaties met kleuren hebben wil ik met behulp van een Philips Living Color lamp kijken welke vormen zij tekenen bij het zien van verschillende kleuren. Het onderzoek is gericht op het vinden van bepaalde overeenkomsten in patronen rondom kleur. Dit kan ik later toepassen in bijvoorbeeld projecties in het uiteindelijke installatie ontwerp.

Testprotocol

1.     Ik leg de gebruiker uit wat er gaat gebeuren en geef hem een A4 en een potlood.

2.     De ruimte verduisteren en de lamp aanzetten op een random kleur.

3.     De gebruiker de tijd geven om de kleur in zich op te nemen.

4.     Vragen of de testpersoon zijn associaties bij deze kleur wil opschrijven binnen 2 minuten. (het gaat hierbij om de eerste associaties, ook moet de kleur boven aan het papier worden geschreven.)

5.     De testpersoon twee minuten met rust laten. (de ruimte blijft de kleur die gekozen is)

6.     Als de testpersoon klaar is, vraag ik hem om de kleur nogmaals te bestuderen en hier een geometrische vorm aan te koppelen.

7.     De testpersoon neemt even rust.

8.     Dit proces wordt herhaald met twee andere kleuren. (deze kleuren zijn voor alle testpersonen hetzelfde, zodat patronen kunnen worden ontdekt.)

Uiteindelijk heb ik deze test uitgevoerd bij vier testpersonen. Al deze personen gaven bij de drie kleuren vergelijkbare antwoorden. Dit is te verklaren vanuit de tijd die ze bijvoorbeeld hebben gekregen voor het associëren na het zien van de kleur. Binnen twee minuten komen alleen de associaties naar boven die het eerste in de persoon opkomen. Een interessante vraag die ik mezelf hierna stelde was: 'Hoe werkt dit bij mensen die leiden aan synesthesie? Leggen deze dezelfde associaties bij een bepaalde kleur? Of liggen deze associaties veel dieper?'

Wat ik zelf erg interessant vond was de overeenkomst in de antwoorden op de vraag over de geometrische vormen die men linkt aan een bepaalde kleur. Dit had ik vooraf nooit kunnen voorspellen. Natuurlijk moet je het onderzoek veel groter uitvoeren om daadwerkelijk harde conclusies te trekken, maar het feit dat vier mensen van de vier bij in ieder geval twee van de kleuren hetzelfde antwoord geven, wijst wel op een interessant punt. Dit in relatie tot synesthesie zou wederom kunnen leiden tot de vraag of deze mensen dezelfde vormen koppelen aan deze kleuren of dat ook dit verschilt per 'patiënt'.