I sansernes vold
Vi oplever verden gennem vore sanser – og tager med fryd imod enhver udvidelse af påvirknings-paletten. Først fik filmene lyd, så kom der farver på.
Og i dag kan vi udforske interaktive 3D-universer, hvor avanceret surround-lyd suppleres med realistiske rystelser, kulde og varme, vind og vand, duft og smag.
De digitale medier til underholdning og kommunikation bliver stadig mere sanselige. Og udviklingen stopper næppe, før vi har nået den totale realisme.
Men inden vi når så vidt, er der fem store udfordringer, der skal besejres: De menneskelige sanser.
Se
I biografen har computergrafik nået et niveau, hvor den er svær at skelne fra den ægte vare. Om nogle år vil det formentlig være muligt at konstruere menneskelige ansigter, der ikke kan skelnes fra levende personer.
Effekten forstærkes, når den syntetiske verden blander sig med vores dimension og ikke er fikseret på en flad skærm eller et stykke papir. Begrebet "3D-grafik" har været skamredet siden dengang i firserne, da spillenes flade sprites blev afløst af wireframe-figurer, der så ud som om, de var flikket sammen af piberensere.
Men ægte 3D opnås først, når omgivelserne har så meget dybde, at du instinktivt dukker dig for at undvige en flyvende økse. Det forudsætter, at man kan styre synsindtrykket, så hvert øje ser et let forskudt billede. Når vi overhovedet er i stand til at opleve dybde i vores dagligdag, skyldes det jo, at vores højre øje registrerer et billede, der er en anelse forskudt i forhold til, hvad venstre øje ser. Vores hjerne kombinerer de to synsindtryk til et enkelt billede, og her – mellem ørerne – opstår den tredimensionelle virkning.
Den enkleste vej til denne effekt er at forskyde billedet i to kulørte lag – og forsyne tilskuerne med rød-grønne briller. Metoden blev populær i 50’ernes amerikanske skrækfilm og er siden forfinet, så der nu bruges polariserende i stedet for farvede brilleglas. Flere skærmproducenter er også langt fremme med udviklingen af 3D-skærme, der virker uden særlige briller. Effekten minder om de forvandlingsbilleder, man af og til finder i sin cornflakes-æske.
Men der er stadig tale om “passiv 3D”, hvor billederne til hvert øje ikke er perfekt adskilt. En mere effektiv løsning er “aktiv 3D”, hvor billedet er perfekt synkroniseret med brillerne ved hjælp af en indbygget lukkermekanisme. Herved opnås en bedre dybdevirkning – men altså også større og dyrere briller.
Næste trin er egentlige hjelme, der registrerer hovedets bevægelser - og indretter synsvinklen derefter. Når man med hjelmen på hovedet kigger ned og ser sine egne virtuelle fødder, har man overskredet en grænse. Det digitale univers opleves pludselig "indefra".
Dette er første trin mod egentlig virtual reality. Opstillinger af denne type trak lange køer i spillehallerne først i 90’erne, og i de følgende år forsøgte mange firmaer at markedsføre VR-briller til hjemmebrug. Men i dag er begge dele næsten forsvundet. Prisen var for høj, og effekten var begrænset. Blandt andet fordi der manglede en række vigtige sanseindtryk.
Høre
Hvis du er i tvivl om lydsporets betydning, så prøv at se en god gyserfilm med lyden skruet helt ned. Det er – mildt sagt – ikke det samme. Dette gælder ikke kun film, men også computerspil, hvor surround-effekten har endnu større betydning. Det er jo en ganske relevant oplysning, om den rallende zombie kommer mod dig fra venstre eller bagfra.
Hørelsen er nok den eneste sans, der i dag kan snydes til perfektion. Hvis udstyret er i orden, lyder både musikoptagelser, film og spil jo som den ægte vare. Men det krævede mange år og tekniske gennembrud at nå så vidt.
Klassisk stereo er i sig selv lidt af en tryllekunst. Hvis guitarlyden fra venstre højttaler er nøjagtig magen til guitarlyden fra højre højttaler, tror vores naive hjerne, at guitaren er placeret i midten. Ved at ændre højttalernes relative lydstyrke kan den virtuelle guitar flyttes til et vilkårligt punkt mellem de to højttalere. Der er to forskellige guitarlyde, men vores hjerne smelter dem sammen til en enkelt.
Den første film, der omringede biograftilskuerne med lyd, var Walt Disneys musikalske tegnefilm “Fantasia” fra 1941. I stedet for den normale to-kanals stereo havde filmen fire separate lydspor. Siden er teknologien forfinet, og selv billige receivere kan i dag trække flere højttalere, end der kan være i en almindelig stue.
Med såkaldt psyko-akustiske kneb kan to højttalere - eller bare et par hovedtelefoner – skabe illusionen af et langt bredere lydrum, der omslutter tilhøreren. Hjernens vurdering af, hvor en lyd kommer fra, bygger på mange forskellige indtryk. For eksempel vil en given lyd altid nå det nærmeste øre nogle få mikrosekunder, før den når det øre, der sidder længere væk. Lyden vil også være en smule kraftigere i det nærmeste øre, og undervejs gennem dine krogede øregange undergår lydbølgerne en række komplicerede forandringer. Denne viden kan udnyttes til at narre vores sanser, og det er netop princippet bag teknologier som SRS og QSound.
Smage
Det siges, at smag ikke kan diskuteres – og måske kan den heller ikke simuleres. For dette er nok den mest komplekse af alle sanser. Grundlæggende har vi mennesker smagsløg til at registrere og skelne mellem sødt, surt, bittert, salt og den mere eksotiske "umami" (også kendt som “det tredje krydderi”). Men oplevelsen er slet ikke entydig. Der er som bekendt stor forskel på, hvad forskellige mennesker synes smager godt.
Det bliver ikke nemmere af, at smagen i høj grad afhænger af indtryk fra de fire andre sanser – frem for alt lugtesansen. Vi smager i høj grad med næsen. Det er derfor, mad og vin næsten ikke smager af noget, når vi er forkølede. Synet af maden spiller også en rolle.
De færreste har vel lyst til at give sig i kast med trekantede blå tomater. Høresansen indgår også i det samlede smagsindtryk, og den er igen koblet til følelsen af madens konsistens og temperatur. Er det overhovedet muligt at simulere “varme, salte, knasende sprøde” flæskesvær – uden at folk rent faktisk spiser noget?
Hiroo Iwata fra det japanske Tsukuba Universitet forsker i virtuel smag – og betegner dette som "den sidste grænse" inden for virtual reality. Han har udviklet en madsimulator, der først “optager” smagen af ægte madvarer – og siden forsøger at afspille den.
Optagelsen sker ved, at en tynd film i forsøgspersonens mund registrerer madens konsistens, mens andre sensorer analyserer de kemiske smagsstoffer, der udskilles i munden. Samtidig optager en mikrofon små vibrationer fra kæben.
Den sammensatte oplevelse gengives efterfølgende ved, at små motorer leverer den korrekte modstand til tænder og kæbe, mens en slange sprøjter smagsstoffer på tungen, og en højttaler i øret afspiller den matchende tygge-lyd. På den måde har de japanske forskere efter eget udsagn haft en vis succes med at gengive smagsoplevelsen af ost og kiks. Det kniber mere med “rigtig” mad, og systemet er endnu ikke udbygget med en kemisk forstøver til den vigtige lugtesans.
Selv hvis det viser sig muligt at simulere duft og smag, mangler der stadig en standard for, hvilke ingredienser der skal indgå, og hvordan disse skal adresseres og doseres. Først når dette er på plads, kan spiludviklere, filmstudier, musikere og webudviklere begynde at bygge duft- og smags-oplevelser ind i deres udgivelser.
Og det ligger nok mange år ude i fremtiden. Specielt smags-stimuleringen er problematisk, fordi folk forståeligt nok har en vis skepsis for, hvad de putter i munden. Det bliver næppe i vores levetid, at mennesket får mulighed for at nyde uanede mængder af dyr vin og fed chokolade – uden at blive hverken beruset, overvægtig eller ruineret.
Lugte
Mange har nok oplevet, hvordan en bestemt duft kan fremkalde stærke minder – for eksempel fra barndommen. Den mest direkte vej til vores inderste følelser lader til at gå gennem næsen. Alligevel er dette et næsten uopdyrket territorium inden for digitale medier.
Ifølge forskerne kan den menneskelige næse opfange mindst 10.000 unikke lugte – og måske nærmere 100.000. Derfor er det ikke så let at tage os ved næsen som ved øjne og ører. Og alle hidtidige forsøg er endt i stinkende fiasko.
I tresserne forsøgte et par Hollywood-studier at berige deres film med duftindtryk. Men teknologier som "AromaRama" og "Smell-O-Vision" blev aldrig nogen succes. Film som “Behind the Great Wall” skulle dufte af frisk fyrreskov, men ifølge anmelderne lugtede de mere som et offentligt toilet. Mange har sikkert oplevet noget tilsvarende med “krads-og-lugt”-billedbøgerne, der i bedste fald stinker af billig parfume.
Der findes effektive duft-apparater, men de gengiver kun en enkelt lugt – for eksempel krudtslam i militære simulationer. Som råstof bruges typisk den ægte vare, så duften kan dårligt betegnes som syntetisk. Og systemerne er meget ufleksible.
Den store udfordring bliver at bygge et system, hvor alverdens lugte kan dannes ud fra et begrænset antal ingredienser – på samme måde som farveprinterens blækpatroner kan generere alle farver.
Et af de første spæde forsøg i den retning er Scent Dome (www.trisenx.com), der er på størrelse med en kaffekande. Apparatet skaber lugtene ved at udløse partikler, som spredes med en indbygget vifte. Den udskiftelige duftpatron indeholder 20 kapsler med forskellige væsker. Når du kobler den til din pc, kan duftene udløses af en bestemt begivenhed i et spil eller en film. Systemet kan også integreres med e-mail, så kærestepar kan overraske hinanden med parfumerede mails.
Hver patron kan angiveligt gengive hundredvis af dufte – fra nybagt brød til frisk frugt. Producenten tilbyder også specialiserede patroner, målrettet bestemte anvendelser, man kan vælge fra et bibliotek af cirka 2.000 lugte.
Brugerne kan desuden mikse deres egne dufte og dele dem med hinanden via nettet. På den måde håber producenten at opdyrke et stort fællesskab af digitale sniffere. Foreløbig sælges det kostbare system dog mest til specialbutikker og reklamebureauer.
Føle
Hvis man ikke vil høre, må man som bekendt føle – men i praksis er stimuleringen af de to sanser nært beslægtet.
Typisk bruges nemlig højttalere, der sætter så meget skub i lydbølgerne, at de netop føles, mere end de høres.
Et simpelt eksempel, som har fundet vej til en del ambitiøse hjemmebiografer, er den såkaldte “Buttkicker”, der lever fint op sit navn. En kraftig højttaler under hvert stolesæde sender de dybeste frekvenser op i tilskuerens bagdel.
En lignende teknik er indbygget i Pyramat, en madras, der er skræddersyet til actionfyldte film og spil. I hovedstøtten sidder tre højttalere, så hver eneste eksplosion sender trykbølger gennem dit kranium.
Endnu vildere går det for sig i lænestolen Quest X3ME, hvis indbyggede motorer arbejder langs tre forskellige akser: højre-venstre, frem-tilbage og op-ned. De dramatiske bevægelser er synkroniseret med filmen, så du oplever biljagter og turbulente flyveture med alle tilhørende bump og rystelser. Stolen virker dog kun med udvalgte film, og de nødvendige bevægelsesmønstre skal hentes ned fra nettet. Tilmed koster stolen tæt på 100.000 kr.
Og så er det jo ikke særlig aktivt at sidde der og få tæsk. I fremtidens spilverden kan du gå fysisk omkring i stedet for blot at stå stille i en cirkel og dreje hovedet som i de gamle VR-systemer. Japanske forskere har allerede udviklet intelligente gulvfliser, som lader dig vandre gennem de virtuelle omgivelser.
Den første prototype af det såkaldte "CirculaFloor" består af fire fliser, der har indbygget en række motorer og hjul, så de kan bevæge sig i enhver retning. Herved kan fliserne neutralisere din gang på samme måde som et løbebånd – bare mere fleksibelt.
Hvis du for eksempel tager et skridt til højre, vil den venstre flise straks glide derover og fange din fod, så du reelt ikke rører dig ud af flækken.
Motorer kan også bruges til at påvirke din krop direkte med mekaniske rystelser, sådan som det i årtier har været kendt fra joysticks, bilrat og andre spilredskaber med "force feedback". Ingeniører ved Wright-Patterson luftbasen i Ohio er i færd med at udvikle en elektromagnetisk dragt, der kan give jagerpiloter en kropslig tilbagemelding om flyets tilstand. Når den mekaniske berøring bliver så nærgående, sætter det altid gang i pirrende spekulationer om fremtidens "cybersex".
Men perspektiverne er vildere end som så.
Allerede i dag morer mange sig med elektroniske spil og gadgets, der uddeler elektriske stød til taberne. Risikoen for fysisk ubehag kan også højne spændingen i almindelige spil, så du for eksempel føler smerten, hvis den onde ridder rammer dig med sit sværd.
Når man ser, hvad folk i dag udsætter sig for af "analoge" prøvelser i deres rastløse jagt på livsbekræftende adrenalin-oplevelser, er det ikke svært at forestille sig en fremtidig subkultur, der sætter livet på spil – i spil.
En tur i "fremtids-hulen"
Forestil dig et kvadratisk rum (2,5 meter på hver led), hvor alle fire vægge samt loft og gulv viser 3D-billeder, der er perfekt synkroniseret med dine aktive stereo-briller. Dette er virtuel virkelighed på VR Media Lab (www.vrmedialab.dk) i Aalborg, der råder over en af Europas største installationer inden for virtual reality.
3D-rummet – den såkaldte "CAVE" – kan bruges til avanceret visualisering – eller til grænseoverskridende underholdning. For eksempel har forskerne et program, som lader dig tegne frit i luften – rundt om dig selv. Ved hjælp af et elektromagnetisk tracking-system kan du bevæge dig rundt inden i (eller uden om) det visualiserede objekt.
Kobler man flere af disse systemer sammen via nettet, kan man i sin egen CAVE se en virtuel udgave af de andre deltagere – og således dyrke boksekampe, selskabsdans og andre fysiske udskejelser med hidtil uset realisme.
På det nordjyske forsknings- og uddannelseseslaboratorium er man ikke i tvivl om, at virtuelle legerum som dette vil blive standard i fremtidens huse. Det bliver et rum i hjemmet, hvor alt kan ske.
Lego i 4D
Løftet om "3D" er efterhånden så gammelt og devalueret, at der skal mere til at lokke folk i biografen. Så nu disker Legolands biografsal op med computeranimerede film i "4D.
Grundstammen er den klassiske 3D-effekt, som her er ganske effektiv, selv om den bygger på “passiv” teknologi. To enorme projektorer viser let forskudte billeder ovenpå hinanden. Takket være det polariserende glas i tilskuernes briller registrerer hvert øje kun det ene billede, og så sørger hjernen for at samle indtrykkene til et færdigt 3D-billede, så pile og økser flyver om ørerne på publikum.
De to projektorer yder en samlet lysstyrke på 40.000 ansilumen, og lyden er naturligvis i digital surround. Biografen rummer 17 surround-højttalere med en samlet effekt på 32.000 watt – svarende til godt 300 kraftige stereoanlæg.
Men det er "den fjerde dimension", der får publikum til at hvine af fryd. Projektører og røgkanoner får filmens eksplosioner til at brede sig ud i salen. Vilde køreture på det store lærred aktiverer en række store vifter, så man mærker fartvinden i ansigtet. Og så kan et enkelt vandsprøjt altså være uhyre effektfuldt, når det passer til filmen. For ikke at tale om en veritabel snestorm.
Den 13 minutter lange film, "Spellbreaker", er produceret af Lani Pixels i Billund. Den foregår i et klassisk Lego-univers og er altså tilpas uvoldelig til, at også mindre børn kan få glæde af de mange nye virkemidler, der måske vil være standard på enhver biograftur, når de engang bliver teenagere.
