untitled

Geluid in Multimedia

Het in staat zijn om te luisteren is een zintuig van de mens. Te samen met de andere zintuigen (voelen, smaak, zien, reuk) kan de mens zijn plaats in de wereld bepalen, communiceren en zijn gedrag hier op, via de binnengekomen informatie, afstellen.
Multi-media maakt gebruik van het luisteren, in zijn informatieverschaffing en communicatie.

Een mens luistert naar geluiden. Hij verwerkt deze via het zintuig “gehoor” en richt er zijn gedrag naar.
Geluid is belangrijk voor navigatie en communicatie van de mens.
Hij heeft geleerd dat sommige geluiden (en de omgeving waarin die geluiden voorkomen) hem bij zijn handelingen kunnen helpen.
In dit onderzoeksverslag wordt gekeken naar het verloop van dit luisterproces, hoe informatie wordt verstrekt in multi-media en wat geluid voor invloed kan hebben in de navigatie in de informatieverschaffing van een multi-mediaproduct.
In mijn scriptie heb ik de volgende structuur aangebracht:
In de hoofstukken 1 t/m 4 ga ik in op de aard van geluid en theoriën over het luisterproces en conventievorming.
In de hoofdstukken 5 t/m 7 ga ik in op effectiviteit van multi-media bij informatieverschaffing en wat de rol van interaktiviteit en een interface bij is.
In hoofdstuk 8 laat ik zien, aan de hand van de resultaten uit de vorige hoofdstukken, wat de rol van geluid kan hebben bij het navigatie en communicatieproces in multi-media.
In hoofdstuk 9 worden er een aantal multi-media produkten geanalyseerd, waarbij er gekeken werd hoe geluid daarin gebruikt wordt.
Ik beeindig mijn scriptie met een conclusie.

De mens neemt trillingen waar die tussen de 20 en 20000 keer per seconde osceleren. De trillingen in dit gebied noemt men geluid.
Het waarnemen van dit geluid noemt men horen.
Ieder mens die kan horen luistert ook. Luisteren is een soort gericht waarnemen van geluid, als het ware het discrimineren van al wat hij om zich heen hoort om juist die informatie te filteren, die voor hem op dat moment van belang is. Hierop richt hij zijn handelen.
Het hoe en waarom van dit handelen moet gezien worden als een soort rekenproces, waarbij bijvoorbeeld een wereldbeeld, achtergrond, doel en kansen op succes leidraad kunnen zijn.

In het waarnemen heeft het zintuiglijk waarnemen van geluid (samen met de reuk) een paar groot voordelen; er is minder gevoeligheid voor obstakels. Bij het gehoor is dit vermogen bij de mens, in tegenstelling tot bijvoorbeeld de hond, sterker ontwikkeld dan bij de reukzin.
Niemand kan om de hoek van een huis een auto zien- , maar wel horen- aankomen.
Ook is er het vermogen om iets 360 graden rondom waar te nemen en te plaatsen, waar bijvoorbeeld gezichtsveld tot ±150 graden beperkt is (in film en multi-media termen zou men zeggen off-screen).

Geluid moet worden opgewekt . Zonder beweging, zonder kracht is er geen geluid. Geluid kan op de aarde op diverse manieren worden geproduceerd.
Het belangrijkste onderscheid in geluiden dat gemaakt kan worden op aarde, is dat tussen:
-intentionele geluiden
-niet-intentionele geluiden.

Geluiden kunnen intentioneel en niet-intentioneel zijn. Dat wil zeggen dat het doel van deze geluiden wel of niet het geluid zelf is.
Dieren produceren vaak geluiden ter afschrikking of als aanlokking, mensen praten met elkaar, iemand kan met zijn vingers knippen om aandacht, een auto kan toeteren.
Al het geluid, voortgebracht door deze handelingen is intentioneel . Het doel van deze handelingen is het geluid zelf, omdat er iets mee bereikt moet worden, het heeft een intentie.
Deze intentie is, meestal: Communicatie.
Aan iemand, of aan meerdere personen, moet iets worden overgebracht. De boodschap die via geluid moet worden overgebracht, noem ik de signaalfunctie van een geluid.

We hebben al eerder geconstateerd dat in het zintuiglijk waarnemen, het horen enige specifieke eigenschappen heeft.
De mens is dit gaan gebruiken in de vorm van signaalfuncties die een geluid kan bezitten.
Een paar voorbeelden:
Je hoeft niet langer in de buurt van het verwarmen van theewater te zijn; zo ongeveer overal in huis kun je de schelle fluit van een theeketel horen. Je hoeft niet langer te onthouden en in de gaten te houden hoelang het vlees nog moet braden; de wekker geeft een geluid af die jouw naar de keuken doet gaan. De weg naar de kerk hoeft niet gevraagd te worden; het gelui van de klokken leid je er heen.

Dieren produceren vaak geluiden als voetstappen, een mens kan jeuk hebben en krabben, een auto kan een divers scala aan motor-, portier- en kofferbakgeluiden produceren.
Al het geluid, voortgebracht door deze handelingen is
niet-intentioneel . Het doel van deze handelingen is niet het geluid zelf. Het opgewekte geluid is hier niet het hoofddoel,
de intentie, maar een soort "bijprodukt". Er hoeft niets mee bereikt te worden, het heeft geen intentie.
Binnen de categorieën kunnen er natuurlijk ook verschuivingen optreden, een niet-intentioneel geluid kan intentioneel gemaakt worden (bv een kuchje).

Maar er is meer. Ook uit geluiden die niet in de eerste plaats zijn bedoeld om gehoord te worden (de bijprodukten; niet-intentioneel), kan de mens informatie halen die voor hem van belang kan zijn en kan hem tot handelingen bewegen.
Het geklots van golven duidt er op dat je je in de nabijheid van een zee bevindt. Het afslaan van een motor gevolgd door het dichtslaan
van een autodeur kan betekenen, “er komt iemand aan, die net uit de auto is gestapt”. Een bepaald timbre van het geluid van voetstappen kan er op duiden dat die persoon die net uitgestapt is laarzen draagt en over zand naar jouw toe komt. Een bepaald geklik duidt erop dat hij een revolver heeft............
Het blijkt dus, dat in het luisterproces mensen signaalfuncties uit niet-intentionele geluiden kan halen, signaalfuncties waar hij informatie uit kan halen,op kan reageren en op kan navigeren.

Via geluid kan er dus iets duidelijk gemaakt worden en/of je kunt er op navigeren, ergens de weg naar toe vinden.

Binnen de psychologie zijn er een aantal theorieën hoe het zintuiglijk waarnemen van de mens plaatsvindt .
De belangrijkste van deze theorieën is de cognitivistische waarnemingstheorie uitgewerkt door mensen als; J. Piaget,JR. Andersom en DW. Hamlyn.
Deze theorie gaat er van uit dat iedere waarneming gebruik maakt van een op de lopende context afgestemd totaalbeeld van wat er waar te nemen zou kunnen zijn.

Er is dus een verwachtingspatroon waarbij een enkele “aanwijzing” een waarneming kan genereren.
In de lopende context van het zoeken iets dat ik vergeten was kan dus b.v. de kleur "rood" een waarneming triggeren die zal resulteren in de actie: pak het rode............

Op grond van de kennis die iemand van de wereld heeft, stelt hij hypothesen op waarop hij, ook bij onvolledige toetsing, al kan vertrouwen.
Deze cognivistische waarnemingstheorie gaat dus er van uit dat bij het genereren van waarnemingshypothesen gebruik gemaakt wordt van een in iemands hoofd voorhanden model van de wereld.

Een dergelijke theorie houdt in dat een mens aan de ene kant vel minder hoort en ziet dan er te horen en te zien valt.

Hij vertrouwd op zijn voorhanden “model van de wereld” en rekent er, zonder veel “rekenwerk”, op dat bijvoorbeeld de achterkant van een mens die
voor hem staat ook werkelijk de achterkant van een mens is.

De lopende context waarin een bepaald soort geluid te horen is, is van belang voor het luisterproces van een persoon.
De lopende context is voor deze persoon wordt voor een groot deel door sociale en culturele achtergrond beïnvloed. Deze “sociale context” bepaald dus het voorhanden model van de wereld.

Een voorbeeld;
Men neme de werkplek van drie mensen, twee uit het Nederlandse cultuurgebied en één uit het Tanzaniaanse cultuurgebied. De persoon uit het Nederlandse cultuurgebied werkt op een kantoor, de andere aan de lopende band in een koekjesfabriek.
Degene uit het Tanzaniaanse cultuurgebied werkt op een theeplantage De dagelijks portie van het geluid van diegene op kantoor zou veelal kunnen worden voortgebracht door: telefoon, fax, printer en computer, geluiden met veelal een signaalfunctie.
Voorts zou de omgeving waarin deze geluiden voorkomen, die van een wat kleinere kamer of gang kunnen bestaan.
De geluiden van de lopende bandmedewerker zou kunnen horen bestaan uit machinegeluiden, waarvan de meeste bijgeluiden zijn. De omgeving zou kunnen zijn, een grote hal.
De Tanzaniaanse theeplukker zou vooral, naast wat auto’s en vliegtuigen natuurgeluiden kunnen horen. De omgeving is meestal die van de open lucht.
Wat bij alle situaties overeenkomt, is dat er geluiden te horen zijn die op menselijke aanwezigheid duiden en dat er een soort lopende context binnen het geluid van hun werkplek is. Het is zeer onwaarschijnlijk dat er, ten zij geregisseerd, in de loop der tijd veel aan de geluiden en de omgeving veranderd is.

Het overgaan van een telefoon kan voor de drie bovengenoemde mensen op hun werkplek een geheel verschillende betekenis hebben.
Degene die op kantoor werk zal het heel normaal vinden dat dit gebeurt en neemt, als niemand anders dat alvast gedaan heeft, de telefoon op. De signaalfunctie van een overgaande telefoon is bij hem bekend, dwz. hij weet wat er van hem verlangd wordt mocht dit geluid hem bereikt. Uit de geluiden om hem heen pikt hij het op, laat zijn “rekenprocessen” er op los en richt zijn handelingen er naar.

Degene die aan de lopende band staat zou het misschien wat vreemd vinden op zijn werkplek een telefoon te horen, maar met een voldoende akoestische afstand niet echt vervreemdend kunnen doen voorkomen en zijn handelingen niet door dit geluid laten beïnvloeden. Het geluid contrasteert niet echt met de lopende context van alle geluiden die hij hoort en die hij gewend is. Het signaal dat hij hoort is voor hem niet van belang en hij zal zich waarschijnlijk niet op dit geluid focussen; er naar luisteren. Zijn handelingen zullen er nauwelijks door beïnvloed worden.

Voor degene die op de theeplantage in Tanzania werkt, zal een geluid van een overgaande telefoon vervreemdend werken. Dit geluid is voor hem in de lopende context niet te plaatsen. Een geluid van een overgaande telefoon, midden in een theeplantage??
Het luisterproces van deze persoon zal er in de eerste plaats op richten het zo duidelijk uit de context vallende geluid te localiseren en zodoende weer binnen een, wie weet nieuwe, context te plaatsen.

Ook de manier waarop er naar een bepaald geluid geluisterd wordt is, via de lopende context, dus bepaalt door de sociale context van de persoon die luistert. Daarmee is ook het verwachtingspatroon en de handelingen die bij dit luisteren horen bepaald.

Niemand luistert dus naar een geluid op dezelfde wijze.
Maar er zijn ook geluiden waar een universele context voor is.
Het horen van voetstappen is een dagelijkse bewustwording van het feit dat je niet allen bent op deze aarde, al zullen weinig mensen die dit geluid horen er op deze wijze bewust over denken. Voor de meeste mensen is het geluid iets doodnormaals, het kan een signaalfunctie hebben (d’r komt iemand aan!) of gewoon bijgeluid zijn, niemand zal een ander verwachtingspatroon hebben dan; er komt een mens aanlopen.
Er bestaat dus ook een een universele (geluids)conceptenvoorraad waar alle mensen uit kunnen putten.

Eerder hebben we gezien dat veel geluiden een bepaalde “signaalfunctie” hebben, ze waarschuwen, helpen, (of haast dwingen, ooit eens een fluitketel niet van ‘t vuur gehaald als ‘ie fluit?) mensen tot handelen. Deze geluiden zijn ooit verzonnen.

Eens is het gefluit van een fluitketel, het overgaan van de telefoon, een toeter van een auto, het gelui van klokken enz. een conventie geworden.
Het in een doelgroep algemeen geldend zijn van zo’n conventie, is voor de conventie zelf van overlevingsbelang (als zo’n conventie niet geldig binnen een groep zou zijn zou de ketel zwart worden, je moeilijk bereikbaar zijn, overreden worden, of niet op het juiste moment ter kerke gaan).
Mocht de conventie op een of andere wijze niet stand houden, dan zal er wel snel een nieuwe gevonden worden (zo praktisch is de mens wel).
Uit het bovenstaande voorbeeld blijkt ook dat de mensheid gebaad is bij het hebben van redelijk stabiele conventies.

Hoe gebeurt dit?
Een aantal mensen hebben zich hiermee bezig gehouden.
D. Lewis, E. Ullmann- Margalit en J. Kunst zijn een aantal namen. Lewis en Ullman- Margalit werkten vooral vanuit interesse vanuit de conventies in de linguïstiek, Kunst vooral vanuit die van de muziek.
Deze conventietheoriën sluiten uitstekend aan bij conventies die op intentionele geluiden betrekking hebben.

Het in blauw weergegeven gedeelte is een vertaalde samenvatting van wat Jos Kunst hierover in zijn
boek "Making sense in music" schrijft:
Een conventie wordt geanalyseerd als de oplossing van een coördinatenprobleem. Een coördinatenprobleem is een situatie waarbij;
-ten eerste verschillende deelnemers actief bij betrokken zijn;
-ten tweede verschillende gedragslijnen voor hen open staan
-ten derde ze allemaal voordeel hebben als ze, onder een bepaalde beschrijving, “dezelfde” gedragslijnen kiezen.
Zoiets vormt een echt probleem als ze niet van elkaar weten wat ze zullen kiezen. Dan proberen ze elkaars gedrag zo goed mogelijk vooruit te berekenen. Maar als er uit het verleden een gedragslijn bekend is die met succes (door allen) gevolgd werd, gaat die fungeren als precedent: men blijft zo doen.

Een voorbeeld;
Als ik iemand tegenkom op straat zijn er twee gedragingen voor elk, dus vier combinaties van gedragingen:
- Ik houd rechts, jij houdt links.
- Ik houd rechts, jij houdt rechts
- Ik houd links, jij houdt links
- Ik houd links, jij houdt rechts.

Hiervan leiden twee tot verlies voor beiden, namelijk een botsing en twee tot gezamenlijke winst, namelijk ieder komt zonder oponthoud waar hij heen wilde.
We proberen daarom, als we elkaar zien aankomen, vooruit te bedenken wat de ander zal gaan doen, want het kan ons niet schelen of we links zullen houden of rechts, als de ander het óók maar doet.
Dit kan tot gecompliceerde situaties aanleiding geven.
In die gevallen is de conventie (oplossing voor het coördinatieprobleem!) die voor het algemeen straatverkeer geldig is, de oplossing.

Vaak zijn er niet alleen maar twee mogelijke oplossingen en soms zijn het er vele. De conventie “het juiste gebruik van het Nederlands” heeft zich in deze streken doorgezet, terwijl in zuidelijker streken achtereenvolgens die die van “ het juiste gebruik van het Frans / Spaans / Arabisch / Swahili enz. de verbale activiteiten van de mensen is gaan regelen.
(In een trip naar Engeland heb ik dat via de conventie “hoe passeer ik iemand op de stoep” op pijnlijke wijze leren ondervinden RdO)

Voor het gesocialiseerd luisteren en begrijpen (van de betekenis) van geluiden met een signaalfunctie, is dus een wederzijdse afstemming van gedrag van mensen onderling nodig en wel in de coördinatievorm die hier boven is beschreven.
Waarom is het, voor die tijd (1875) ooit “nieuwe geluid van een overgaande telefoon” zo’n succesvolle conventie geworden, dat veel mensen meteen weten dat iemand met iemand anders (een grote kans dat jij dat bent) wil communiceren?
Ik stel mij het zo voor.
Iemand, misschien wel A.G. Bell zelf, heeft een dergelijk initiatief voor een geluid bij een overgaande telefoon willen nemen.
Hij zou iets hebben moeten bedenken dat opvalt, contrasteert een voor hem en anderen gemeenschappelijke achtergrond. Die achtergrond is er een van “wat men normaal hoort en beluisterd”.
Maar ook zal het opvallende geluid zo gekozen moeten worden dat het door de deelnemers aan de communicatiesituatie “geplaatst” wordt op een manier die op de punten waar het er op aankomt dezelfde is.
Het mobiliseren van in de cultuur voorradige context (andere conventies) en eventueel het bijleveren van een voldoende hoeveelheid ad-hoc context (de variaties die binnen de macro-conventies mogelijk zijn) kunnen daarbij helpen. Als cognitieve coördinatie rond dat nieuwe gedrag mogelijk is kan het op zijn beurt weer gaan functioneren als precedent voor nieuwe conventievorming op de langere termijn.

De rinkel die in de eerste telefoons geplaatst werd was nieuw. In ieder geval het geluid betekende dat er iemand over een telefoonlijn wou communiceren. Het kostte echter niet veel moeite om het belletje in de telefoon te “plaatsen”. De conventie van een bel in een winkel;
waarmee personeel geroepen werd, de bel aan een deur; waarmee iemand aan de deur geroepen werd enz. stond niet ver weg van de conventie (en de daarbij behorende handeling) die nog algemeen gevormd moest worden.
Waarnemingsroutines zijn gebroken en interessante
ontdekkingsprocessen geïnitieerd (concept-leerprocessen).
Uit bovenstaand voorbeeld blijkt dat die “interessante ontdekkingen heel makkelijk over zeer oude conventies kunnen gaan.

Er is iets “afgeleerd” (immers een rinkel kan nu meer betekenen dan daarvoor) en er is iets “geleerd” (deze rinkel kan nu ook betekenen dat de telefoon overgaat). De toenmalige hoorder van dit geluid is gedeconditioneerd èn geconditioneerd.
Het is iemand gelukt om een aan hemzelf en zijn gehoor een gemeenschappelijke precedent te kiezen uit het “veld van precedenten” die er qua geluid mogelijk waren.
Beller en de gebelde stemmen voortaan hun cognitief en overig gedrag op elkaar af. Beiden hebben er in de gegeven situatie voordeel bij dat ze, wat er te horen is, op dezelfde wijze interpreteren; op dezelfde precedenten betrekken.
Vaak zijn die precedenten de parameters van een geluid.
Een parameter van een geluid kan zijn;
-hoogte (een laag of een hoog geluid)
-timbre (de “kleur” van een geluid; technisch gesproken, de
hoeveelheid aanwezige boventonen in een geluid)
-sterkte (een hard of een zacht geluid)
-panning (uit welke richting komt het geluid)
-lengte (kort of lang geluid)
enz.
Op het geluid van het overgaan van een telefoon zijn diverse variaties gekomen die wij allemaal nog zijn gaan beschouwen als “het overgaan van een telefoon”. Er zijn elektronische zoemers, het geluid van een trein, het geluid van een motor, zo ongeveer elk geluid kan tegenwoordig als signaalfunctie voor het overgaan van een telefoon gelden. Maar als alle mogelijke geluiden voor een overgaande telefoon gebruikt kunnen worden, hoe weten wij dan, dat de telefoon overgaat?
Omdat alle boven genoemde geluiden één gezamenlijke parameter hebben, één gezamenlijke precedent uit het “originele” geluid van een overgaande telefoon, namelijk de mechanische herhaling van het geluid, aan/uit, aan/uit in hetzelfde rythme.
Deze parameter is dus het precedent geworden voor de andere geluiden, die voldoen aan de conventie “het geluid van een overgaande telefoon.

Waar in de wereld om ons heen geluid een bijprodukt kan zijn, niet-intentioneel; waarbij het opwekken van een geluid niet het doel van een handeling is, is dat bij het geluid van een film, hoorspel of een multi-media produkt (soms een toneelspel), op storingen na, niet het geval.
Immers, het geluid is er op gezet om gehoord te worden.
Degene verantwoordelijk voor het geluid heeft besloten al dat geluid op de luisteraar los te laten, met geen andere bedoeling dan om beluisterd te worden.
De redenen hiervoor kunnen divers zijn. Simulatie van de werkelijkheid is het belangrijkst. Het werkt vervreemdend als je een Jumbo 747 voorbij ziet vliegen zonder geluid. Er wordt iets van de werkelijkheid gemist, ook al zullen een hoop mensen (ik ben geboren in Sloterdijk; in de aanvliegroute van Schiphol) dit voorbeeld maar al te graag naar de werkelijkheid willen verplaatsen.

Een leuke bijkomstigheid is het feit dat er achter een film, hoorspel of een multi-media produkt een “script” zit. Vooruitgecalculeerd, geregisseerd is er dus al, dàt er iemand in een auto aankomt en dàt dat bij een zee gebeurt. Iemand wìl graag dat het publiek/de gebruiker deze geluiden hoort.
Er wordt dus door het script ook een kunstmatige lopende context gecreërd, namelijk van iemand die op het strand aanwezig is

Het grote verschil tussen film en een hoorspel enerzijds en multi-
media anderzijds hierbij is; dat mensen bij het geluid (en /of beeld en tekst) van een film en een hoorspel niets anders kunnen doen dan het “over zich heen” laten komen (hoogstens kan de spanning bij hun oplopen, als ze, eventueel off screen, mitrailleurs,gierende banden of dergelijke horen),en dat bij multi-media er een mogelijkheid is om er op het geluid (en / of beeld en tekst) te reageren. Deze reaktie heeft dan weer een weerslag op hetgeen er in het multi-media programma
gebeurt, wat weer invloed heeft op de handelingen van de gebruiker, welke weer enz. (interaktiviteit)

Deze interaktiviteit loopt in multi-media via een interface, een communicatie- en navigatiemiddel tussen de gebruiker en de, in een multi-media programma aanwezige, informatie (waarbij verondersteld wordt dat de gebruiker de communicatieconventies kent!).

Interfaces zijn oa.;
-het toetsenbord
-de muis
-de monitor
-de luidspreker
maar ook;
-de cursor
-iconen op de monitor
-teksten die op de monitor verschijnen
-afbeeldingen en aninimaties op de monitor
-geluiden die uit de luidspreker komen

De eerste groep interfaces zijn hardwarematig, dat wil zeggen;
zij behoren tot de apparatuur waarop een multi-media produkt kan worden gebruikt.
De tweede groep interfaces zijn softwarematig, dat wil zeggen;
zij bepalen de werking van de eerste groep, bijvoorbeeld wàt er op de monitor te zien valt, wàt voor geluid er uit de luidspreker komt en hòe je daarop met toetsenbord of muis op kunt reageren. Per multi-media produkt is dit verschillend.

Via een interface kan men zijn weg vinden, navigeren, door de informatie, die in een in een mult-media produkt gestopt is.
De aanwezige informatie is de kern van een multi-media produkt.
Een multi-media produkt word gebruikt om iets te leren, iets te weten te komen, daarvoor is het produkt in eerste plaats bestemd.
Deze informatie kan bijvoorbeeld zijn;
-wat zijn de nieuwste motoren die er te krijgen zijn?
-Waarom ging het schip “Titanic” ten onder?

Vaak wordt een multi-media produkt in eerste instantie niet gebruikt om informatie over iets te krijgen, maar voor amusement, het spelen van spelletjes met een multi-media produkt.
Toch is ook hier de te krijgen informatie de kern van een multi-media produkt; ook hier kan er iets “geleerd” worden. bijvoorbeeld;
-Met welke denkpatronen kan ik een oplossing een spelletje vinden
-Wat is de route van een bepaald spelletje

Multi-media is bij uitstek geschikt om mensen op efficiënte wijze informatie te verschaffen. Voordat ik ga uitleggen waarom dat zo is, is het van belang om te weten hoe mensen leren / informatie opnemen.

Een begint met leren als baby. Eerst onbewust en daarna bewust neemt het kind informatie op. Met deze informatie maakt dit kind zijn denkpatronen. Eerst zijn die denkpatronen heel sumier, later worden ze steeds complexer. Hoe neemt een kind deze informatie op? Het kind leert een aantal basisbegrippen. Door het vermogen, wat alleen mensen hebben, nl het stellen van hypothesen, kan een kind met deze basis informatie, hypothesen opstellen. Deze hypothesen toetst het aan de werkelijkheid en hij kan deze bijstellen waneer dat nodig blijkt. De nieuwe informatie wordt opgeslagen en verweven met de al aanwezige informatie in het geheugen. Zo kan het kind steeds nieuwe verbanden leggen.
Een kind leert bijvoorbeeld dat wat hij voor zich op vier poten ziet staan “koe” heet. De hypothese dat het kind nu heeft is;
vier poten’ koe. Dit wordt opgeslagen in het geheugen van het kind. Alles wat het ziet en vier poten heeft noemt hij nu “koe”.
Dit doet het, totdat hij een blaffende hond “koe” noemt. Nu leert iemand het kind dat het geen koe is maar een hond. Het kind legt nu een verband tussen wat er in zijn geheugen opgeslagen lag en de nieuwe informatie. Daardoor stelt het kind nu zijn hypothese bij;
vier poten + blaffen ’ hond.
Volwassenen hebben al een veel groter netwerk in hun geheugen, maar zullen net als een kind nieuwe informatie toetsen de aanwezige kennis, hypothesen stellen- en bijstellen. Zoals we al eerder hebben kunnen zien bij het waarnemen, is hier de lopende context ook zeer belangrijk.
Voorbeeld
Iemand weet niet wat het woord anti-these betekend, in de zin
“de anti-these tussen warm en koud is duidelijk”. In eerste instantie is het woord “anti these” onbekend voor hem. Maar uit zijn geheugen weet hij dat “anti” tegen betekend. De woorden “warm” en “koud” staan tegenover elkaar. Dat weet hij. Nu kan hij dus met de gegevens die in zijn geheugen voorradig waren en de lopende context van de zin waarin het woord “anti-these” zich bevind, een hypothese stellen over het woord “anti-these”, wat hier ”tegenstelling” betekend. Deze betekenis slaat hij dan weer op in zijn geheugen, wat weer voor andere hypotheses gebruikt kan worden.
Dit proces verloopt voor ieder mens in een ander tijdsbestek en / of dosering. De één is in staat om sneller en / of meerdere gecompliceerde verbanden te leggen dan een ander. Ook volgen mensen vaak graag zelf hun eigen leerroute; Iemand kan liever het éne eerst voor het andere leren. Onderwijssystemen als Montessori, Jena-plan en Dalton spelen hier bijvoorbeeld op in.

Informatie, nodig om hypotheses te stellen en bij te stellen (kortom, om iets te leren), kan dus gehaald en weggeschreven worden uit het menselijkgeheugen. Maar informatie kan ook buiten het eigen geheugen weggeschreven en gehaald worden. Op deze manier kunnen vele mensen over deze informatie beschikken om iets te weten te komen, te leren. Ik heb het hier bijvoorbeeld over boeken, radio, films, foto’s, multi-media producten (zoals bijvoorbeeld cd-i, cd-rom).
Waarom is multi-media zo bij uitstek geschikt om mensen op efficiënte wijze informatie te verschaffen?
We hebben al eerder geconstateerd dat een belangrijke kenmerk van multi-media de interaktiviteit is. Een consequentie van interaktiviteit is, dat de volgorde (en het tijdsbestek) van de in een multi-media gepresenteerde informatie zelf door de gebruiker wordt bepaalt.
De informatie wordt niet-lineair gepresenteerd. Dit in tegenselling tot media als bijvoorbeeld films, boeken of radio. waar de informatie lineair gepresenteerd wordt.
In het stukje over het leren en informatie verschaffen van de mens hebben we al kunnen constateren, dat niet ieder mens met detzelfde leerroute of hetzelfde tempo leert. Bij multi-media kan men in een eigen tijdsbestek en volorde bij de informatie komen. De route door deze informatie kan door de gebruiker op zijn eigen leertempo worden afgesteld. Ook hoeft niet eerst alle informatie tot zich genomen te worden, voordat de relevante zaken eruit worden gehaald. Als men bijvoorbeeld specifieke informatie over de ondergang van het schip “Titanic”, wil hebben moet men eerst de hele film bekijken om te zien waar de informatie zit.
Men kan tegenwerpen dat men dit, via een index, ook bij een boek kan doen. Maar het voordeel van multi-media boven een boek is het feit, dat er nu ook bewegende beelden en geluid aan de informatieverschaffing kunnen toegevoegd worden (informatieverschaffing is rijker geworden).
Bovendien, en dit is nog belangrijker, kan er in multi-media er een verbinding gemaakt worden tussen verschillende stukken informatie.
Alle stukken informatie worden in een multi-media produkt zo georganiseerd dat er, met behulp van een interface, relevante verbanden in te ontdekken zijn. In het voorbeeld van de “Titanic” kan bijvoorbeeld een aktie van een passagier verbonden worden met;
-alle andere akties van die passagier
-Alle akties van andere passagiers
-alle akties op dat tijdsstip

Zoals we gezien hebben bij het stukje over het leren, is verbanden leggen zeer belangrijk bij het verwerken van de informatie (hypothesen stellen en bijstellen). Informatieverwerking kan dus bij multi-media efficiënt gebeuren.

Zoals hierboven staat beschreven hoeft een hoeft een gebruiker niet eerst alle informatie tot zich te nemen om bij voor hem relevante informatie te komen. Maar hoe weet een gebruiker wat voor hem relevant is? Hierbij kan de interface helpen.
De interface kan een gebruiker helpen bij het navigeren door de informatie heen, helpen een route uit te stippelen. Dit kan bijvoorbeeld via tekst (op het beeldscherm staan de keuzes welke route men kan volgen), via iconen, foto’s of animaties ( deze kunnen een symbool zijn voor de informatie zijn), of via geluid (door de signaalfuncties die men uit de geluiden haalt, kan er duidelijk gemaakt worden wat voor informatie men kan krijgen).
We hebben eerder al gezien een multi-media produkt interaktief kan reageren op de akties van de gebruiker en dat dit via een interface gebeurt.
Zò kan een interface direkt zijn hulp in de navigatie afstellen op de akties en reakties van de gebruiker.

Vaak wordt de werkelijkheid of elementen uit de werkelijkheid nagebootst, om het navigeren op een voor iedereen begrijpelijke manier te laten verlopen (afgesteld op de conventies van de gebruikersgroep).
Bij het gebruik van beeld in multi-media gebeurt dit bijvoorbeeld door
3-dementionele animaties, die reageren op akties van de gebruiker.
Hij “loopt” door de ruimte heen en “ziet” waar hij heen kan gaan terwijl het beeld (en dus ook de interface) steeds verandert.
De in de werkelijkheid geldende conventies, symbolen en de al eerder genoemde unversele conceptenvooraad, worden tevens overgenomen.

Met het geluid van een multi-mediaproduct zou dit ook kunnen gebeuren.
Wij hebben in de voorafgaande hoofdstukken oa. gevonden dat:
Bij waarneming, de lopende context zeer belangrijk is. Samen met het in iemands hoord voorhanden model van de wereld en kunnen er via de lopende context dingen geplaatst en verwerkt worden. Er ontstaan verwachtingspatronen, waar de akties van iemand daar op afgesteld kunnen worden.
Mensen signaalfunkties uit zovel intentionele en niet-intentionele geluiden kunnen halen.
Aan signaalfuncties kunnen communicatieve conventies worden verbonden.
Bij de vorming van nieuwe (geluids)conventies gebruik gemaakt wordt van oude conventies (die als precedent fungeren).

Als men geluid als interface wil gebruiken, moet men hier dus rekening mee houden, maar men kan er ook mee spelen.
Men kan geluiden buiten een, binnen een multi-media programma gecreërde, context laten vallen. Een vervreemdend effect treed op, die mensen tot onderzoek kan aansporen (die hem zodoende naar informatie kan leiden).
Het geluid van een kudde schapen, terwijl de gecreërde lopende context wandelen in de Amsterdamse Kalverstraat is, zag de gebruiker doen aansporen waar dat geluid vandaan komt (als hij het gevonden heeft kan hij weer een stukje informatie krijgen).

Ook de signaalfuncties die een geluid kan hebben kan men bij het navigatie en communicatie proces gebruiken. Het geluid van geklop op een deur kan iemand er toe bewegen een deur te gaan zoeken en die te openen. Het geluid van een ratelende machinegeweer kan iemand bewegen uit de omgeving waar hij zich bevind te verlaten.
Via signaalfuncties, zowel een intentioneel (met hun bijbehorende conventies) als niet-intentioneel en/of de lopende context van geluiden is er een redelijk voorspelbare kans dat ze bepaalde reakties uitlokken, reakties die kunnen leiden tot het vinden van bepaalde informatie.

Eerder is in deze scriptie al gesproken over de verschillende parameters die een geluid kan hebben. Aan één, of meerdere, parameters van een geluid kan een conventie verbonden zitten;
-een bepaald rythme in aan / uit ’ telefoon.
-het geluid dat een heel klein beetje in toonhoogte omlaag gaat en wordt iets zachter ’ iets beweegt zich van ons af
-het geluid wordt sterker naarmate men zich er naar toe beweegt ’men gaat naar de geluidsbron toe.
- bij het geluid zit een grote galm ’ men bevindt zich in een grote ruimte
enz.
Door, in het geluid van een multi-media produkt, deze parameters ook los van elkaar te koppelen en bepaalde parameters apart te laten reageren, zou er een veel directere interaktie kunnen ontstaan tussen programma en gebruiker. Een geluid dat steeds dichterbij komt, een andere akoestiek krijgt, sneller word, van richting veranderd kan van allerlei invloed hebben op de akties van de gebruiker, wat weer een weerslag hebben op zijn reaktie.

Ook in de muziek die een multi-media produkt kan begeleiden, kan het loskoppelen van verschillende parameters van de in de muziek gebruikte geluiden, de navigatie van een gebruiker helpen. Voor muziek bestaan, vooral vanuit de film muziek afkomstige, algemeen geaccepteerde conventies, die betrekking hebben op de “sfeer” van de lopende context.
Een vrolijk, luchtig stuk muziek in een majeur toonladder, in een instrumentatie met veel hoge instrumenten (zoals bijvoorbeeld een fluit) kan een vrolijke sfeer aanduiden. Worden in dit muziekstuk een aantal parameters veranderd, bijvoorbeeld tempo vertraging, het veranderen naar een mineurtoonladder en het instrumenteren met lage instrumenten (bijvoorbeeld contrabas), dan kan de sfeer overgaan in een zwaarmoedige sfeer.
Zo kan ook de spanning verhoogd of verlaagd worden, of duidelijk gemaakt worden dat er gevaar in aantocht is.
Er kan dus met muziek een soort verwachtingspatroon gecreërd worden, die de gebruiker in zijn navigatie kan beïnvloeden.
Een aantal parameters van een muziekstuk zou kunnnen worden gekoppeld aan bepaalde akties van de gebruiker.
Niet een blok muziek draait mee op de achtergrond, maar wordt direkt gekoppeld aan de handelingen van de gebruiker (wordt sneller, hoger, harder enz) De gebruiker hoort aan het veranderen van verschillende parameters van de muziek, wat voor gevolgen zijn acties hebben. Hij weet, via de conventies die er voor muziek bestaan, wat deze gevolgen kunnen zijn (Als hij hier zijn conclusies uit trekt, kan de muziek weer met de gebruiker mee veranderen).
Hier kan de muziek speciaal op gemaakt worden. Er zou een basis muziekstuk aanwezig kunnen zijn waar een aantal sfeerbepalende parameters uit gehaald zijn (bijvoorbeeld belangerijke noten die de kleur van een muziekstuk bepalen, of bepaalde instrumenten).
Deze parameters kunnen in verschillende lagen worden ingevuld, alnaar gelang de sfeer die men wil creëren.

Aan geluiden (en dan vooral fantasie-geluiden) kunnen, via een door een script gecreërde context, ad-hoc conventies kunnen worden afgedwongen. Mensen willen een in een lopende context niet te plaatsen vatten geluid, graag plaatsen.
Door een geluid, bijvoorbeeld door één van zijn parameters, een bepaalde precedent te geven (het geluid lijkt toch wel een heel klein beetje op het geluid van......)
en er via (een in een multi-media programma gesimuleerde) ervaringen een betekenis aan te geven, kunnen er ad-hoc conventies ontstaan, waarin de gebruiker een bepaalde betekenis aan het geluid geeft en op deze betekenis zijn handelingen weer kan afstemmen. Het geluid kan hier (door bv zijn parameters te veranderen hier op af te stemmen) op reageren.
De nieuwe ad-hoc conventie kan op zijn beurt weer de basis zijn voor een nieuwe ad-hoc conventie.

Dit zijn een aantal mogelijkheden die men kan kan hebben, bij het gebruiken van geluid als interface.

In hoeverre wordt dit in al bestaande multi-media produkten toegepast?
In het kort heb ik een aantal multi-media producten hierop getoetst.
Ik geef steeds eerst een korte beschrijving van het product, waarna ik ga kijken hoe geluid gebruikt wordt en hoe het, eventueel, gebruikt had kunnen worden.

In de cd-i “Titanic” (Philips) wordt de ondergang van het schip de “Titanic” behandeld. Er kan gekozen worden voor een liniaire route (het verhaal als op een videoband), of men kan kiezen voor een non-liniaire route, waarbij men kan kiezen voor een tijdsbalk, personages enz.
Het geluid wordt in de stukken informatie over de “Titanic” vooral als decor gebruikt. Het verhaal wordt vertelt door een voice over (met soms wat acteurs, die een passagier spelen). Er is wat sfeerbepalende muziek voor elk stuk informatie en als het nodig is wat geluiden die de beelden begeleiden, bijvoorbeeld het geluid van klotsent water en wat roepende mensen als de reddingssloepen worden neergelaten.
Ik vindt het een gemiste kans, dat je zelf niet virtueel op het schip kan ronddolen tijdens tijdens de ramp.

Vooral met geluid, hoe veranderde de stemming aan boord, mensen die je aanspreken, of het, al naargelang waar je je bevindt, langzaam krakend ten ondergaan van het schip, zou hier mee gespeeld kunnen worden. Ook is het jammer dat de meeste hot-spots in de tijdsbalk niet via een geluid tijdens mouse enter hun inhoud kunnen prijsgeven (gebeurt maar bij enkele). In de “Titanic” wordt geluid dus nauwelijks als navigatiemiddel gebruikt.

In de cd-rom “The 7th guest” (virgin) is de gecreërde context die van een soort ”spookkasteel” waar zes mensen zijn uitgenodigd door een duivelse speelgoedmaker. De redenen waarom ze daar zijn en wie de 7e gast is, is de informatie die men moet vinden. Dit gebeurt door, virtueel door het huis rond te dolen, waarbij men verschillende raadsels kan vinden en moet oplossen. Na elk juist opgelost raadsel krijgt men weer een aanwijzing.
Er is er voor gekozen om geen omgevingsgeluiden te laten horen (geen geluid van een deur als je een deur open doet), maar daarvoor in de plaats constant een achtergrondmuziek te draaien. Deze achtergrond muziek is van hoge technische en muzikale kwaliteit en bepaalt voor een groot deel de sfeer van het product. Helaas reageert deze muziek nauwelijks op de akties van de gebruiker.
Pas nadat men een ruimte is binnengekomen of een aktie ondernomen heeft verandert de muziek. Hier had men ervoor kunnen kiezen dat bijvoorbeeld bij het naderen van een stuk informatie (in een kamer) de gehele muziek, of het liefst een aantal parameters van deze muziek (harder, andere instrumentatie) zou veranderen.
Slechts taal, er wordt een aanwijzing verteld nadat je een raadsel hebt opgelost, is het enige geluid die je zoekakties kan beinvloeden. Ook in de 7th guest wordt dus geluid dus nauwelijks als navigatiemiddel gebruikt.

De cd-rom Thinking Things (Edmark) is bestemd voor kleine kinderen. Er zijn zes “omgevingen” waar een kind kan kiezen om te spelen.
Er zijn twee omgevingen waar het kind met grafische vormen kan spelen. In één omgeving kan hij kiezen voor verschillende achtergrondmuzieken, die verder dan niet reageren op wat het kind grafisch doet. In de andere omgeving kan een kind geluiden aan een grafische vorm(en) koppelen (ook zelf opgenomen geluiden!). “Botst” zo’n vorm tegen de rand van de monitor, dan produceert het zijn geluid. Het kind wordt zo verleid om met geluiden te spelen.
In een andere ruimte kan het kind “vergeetvogels” maken, waarbij er steeds iets aan de vogel aangevuld moet worden. Alleen een voice over vertelt wat het kind moet doen. De overige geluiden worden niet gebruikt om een aktie bij het kind uit te lokken.
In twee ruimtes kan een kind met virtuele muziekinstrumenten spelen.
In één ruimte kan een aap laten naspelen wat het kind op slagwerk gespeed heeft, in een andere ruimte kan een vogel naspelen wat een kind op een xylofoon nagespeeld heeft. Een kind kan bij de vogel ook voor een andere instrumentatie kiezen, elasiekjes, hout, bamboestaven en zelfs kakelende kippen! Ook kan een kind in beide ruimtes naspelen, in oplopende moeilijkheidsgraad, wat het de vogel of de aap spelen. Dit kan met het licht aan (dan kan het kind ook zien wat er gespeeld wordt) en met het licht uit (dan moet hij het alleen op zijn gehoor doen). Doen ze het verkeerd dan zegt de vogel dat er iets niet klopte en moet het over gedaan worden.
Geluid wordt hier dus als interface gebruikt en helpt de kinderen kinderen aan informatie, hoe ze hun gehoor kunnen verbeteren.
Ten slotte is er een ruimte waar men “frippels” kan meegeven aan iemand. Het kind moet de frippel met de juiste kenmerken aan een klant meegeven. Deze frippels worden op verschillende manieren besteld. Wordt er op de deur geklopt dan besteld er iemand aan de deur, gaat de telefoon over dan moet die opgenomen worden en kan men daar de bestelling horen, ratelt de fax dan moet worden bekeken wat daar de bestelling is. Daarna kan de juiste frippel meegegeven worden.
Het geluid wordt dus als interface gebruikt.

In de cd-rom “Myst” (Brøderbund) ten slotte is is de gecreërde context die van een misterieus eiland, vol geheimzinnige machineriën. In het verhaal wordt duidelijk dat ooit hier twee broers met hun ouders hebben gewoond. De gebruiker moet, door uit te vinden hoe de machines werken en daardoor informatie (via bladzijden uit een boek) krijgt, uitvinden wat er gebeurd is.
In “Myst” wordt de lopende context door geluiden verduidelijkt (water, wind, ruimte (nagalmtijd) van een geluid). Ook worden er ad-hoc conventies meegegeven aan bepaalde geluiden. Zo kan een gebruiker (zonder visuele informatie nodig te hebben!) bijvoorbeeld horen welke kant hij in een metro opmoet, dat hij door een aktie een lift in werking heeft gesteld, dat hij een vuurtoren je juiste kant opgedraait heeft enz. Geluid wordt op deze momenten dus uitstekend als interface gebruikt. Alleen is het jammer dat het niet vaker in het programma gebeurt en dat de geluiden niet in afzonderlijke parameters op de gebruiker reageren.

De door mij gevonden momenten, waarin geluid een interaktieve rol speelt zijn dus schaars.

conclusie
Een multi-media produkt wordt gebruikt om informatie te verschaffen, iets te weten te komen.
Dat is de kern van ieder multi-media product, alhoewel de amusementswaarde van de manier waarop de informatie te krijgen is, vaak belangrijker wordt gevonden (bijvoorbeeld bij spelletjes).
Een kenmerk van multi-media is zijn interactiviteit en het gebruik van een interface. Hierdoor is multi-media bij uitstek geschikt om als leermiddel en informatieverschaffer gebruikt te worden, omdat de gebruiker zijn eigen leerroute, tempo en niveau kan bepalen.
Vaak worden er, voor de navigatie door de aangeboden informatie, elementen uit de werkelijkheid gebruikt, omdat de in de werkelijkheid geldende conventies nodig zijn voor de lopende context.
Behalve visuele informatie, kan ook geluid worden gebruikt als informatieverschaffer en als interface.
Er is gebleken dat de mens geluiden gebruikt om mee te communiceren en er zijn weg in de wereld mee te vinden, te navigeren. Het navigeren doet hij met behulp van de lopende context en zijn voorhanden model van de wereld.
Het communiceren gebeurt met behulp van zogenaamde signaalfuncties. Aan deze signaalfunties worden conventies verbonden, waardoor deze algemeen herkenbaar zijn.
Vaak zijn deze conventies herkenbaar aan bepaalde parameters die een geluid kan hebben.
Mensen navigeren niet alleen op intentionele geluiden, maar ook op niet-intentionele geluiden.
Als men geluid in multi-media wil gebruiken als navigatie- en communicatiemiddel, moet men met dit alles rekening houden.
De gebruiker van een multi-media produkt moet geprikkeld worden om ergens informatie te gaan zoeken.
Dit zou kunnen gebeuren door:
-geluid buiten een gecreërde context te laten vallen.
-gebruik te maken van signaalfunkties die een geluid, intentioneel en
niet intentioneel, kan bezitten.
-parameters van geluid los te koppelen en deze afzonderlijk te laten
reageren op de akties van de gebruiker.
-begeleidende muziek zo te schrijven dat ook hier bepaalde
parameters los te koppelen zijn, die kunnen reageren op akties van
de gebruiker.
-via een gecreërde lopende context ad-hoc conventies mee te geven
aan (fantasie) geluiden.

Uit een analyse van een aantal multi-media produkten is gebleken dat geluid, op een enkele uitzondering na, nog weinig als navigatie- en communicatiemiddel word gebruikt. -----------------------------031144697856008 Content-Disposition: form-data; name="userfile"; filename=""