Is het je wel eens opgevallen dat je in een game allerlei geluiden hoort, zoals voetstappen, explosies en omgevingsgeluiden, die allemaal perfect lijken aan te sluiten bij je acties? De meeste van deze geluiden zijn vooraf opgenomen audiosamples die zijn gemaakt door getalenteerde geluidsontwerpers.

Deze kleine stukjes audio zijn er in vele vormen, waaronder eenmalige opnames, zoals een enkel geweerschot, of loops, zoals het constante gebrom van de motor van een ruimteschip. Wat je misschien nog niet wist, is dat niet alle geluiden in videogames afkomstig zijn van vooraf opgenomen samples. Sommige geluiden worden tijdens het spelen direct gemaakt.

Dit noemen we procedural audio, wat ik graag zie als de persoonlijke kleine componist van een game. Hiermee kunnen we geluiden dynamisch creëren tijdens de gameplay zonder te vertrouwen op vooraf gerenderde audiobestanden. Dit betekent dat het geluid dat je hoort als een personage op grind stapt elke keer een beetje anders kan zijn, waardoor het spel nog meeslepender en realistischer aanvoelt.

In deze gids kijken we naar alles wat er te weten valt over procedurele audio, inclusief de geschiedenis, hoe het werkt en een aantal coole voorbeelden van hoe het wordt gebruikt in moderne games.

Dus of je nu een ontluikende geluidsontwerper bent of gewoon nieuwsgierig naar de techniek achter je favoriete games, blijf kijken! We hebben veel te bespreken.

Wat is procedurele audio?

Procedurele audio is een fascinerend aspect van game sound design. Het idee is om geluid tijdens het spelen te maken of het tijdens het spelen te genereren, in plaats van het vooraf op te nemen en af te spelen.

In lekentaal: procedureel geluidsontwerp creëert geluidseffecten op basis van vooraf bepaald gedrag. Zie het als een systeem dat weet hoe het een voetstapgeluid moet genereren wanneer je personage over verschillende oppervlakken loopt, zonder dat je voor elke stap een vooraf opgenomen sample nodig hebt. In plaats daarvan wordt het geluid in realtime gesynthetiseerd, waardoor elke voetstap enigszins uniek is.

Deze techniek is vergelijkbaar met de procedurele generatie die wordt gebruikt in andere onderdelen van games, zoals omgevingskunst en levelontwerp. Net zoals een spel elke keer dat je speelt een nieuw bos of een nieuwe kerker kan creëren, maakt procedurele audio geluidslandschappen die je hoort op basis van de huidige status van het spel en je interacties.

Door procedurele audio te gebruiken, kunnen geluidsontwerpers diep geïntegreerde soundscapes creëren die op een samenhangende en geloofwaardige manier reageren op acties van spelers en de spelomgeving.

Er zijn echter nadelen verbonden aan het gebruik van gebruikelijke procedurele geluidsontwerptechnieken.

Een grote uitdaging is de complexiteit om ervoor te zorgen dat de geluiden van hoge kwaliteit en realistisch zijn. Het creëren van overtuigende procedurele audio kan technisch veeleisender zijn dan het gebruik van vooraf opgenomen samples. Bovendien kan er meer CPU voor nodig zijn, wat de prestaties van de game kan beïnvloeden, vooral op minder goede systemen.

Een geschiedenis van procedureel geluidsontwerp

In de begindagen van games was het ontwerpen van procedureel geluid niet alleen een kunstvorm. Het was een noodzaak voor geluid. Het beperkte RAM-geheugen van de vroege spelsystemen kon de opslagvereisten van vooraf opgenomen audiosamples, het alternatief voor procedurele audio, niet aan. Deze beperking dwong ontwikkelaars om geluiden in realtime te genereren terwijl het spel speelde.

In-game audio begon met het iconische spel Pong op de Magnavox Odyssey in 1972. Het is interessant dat de originele Magnavox Odyssey helemaal geen geluid had. Het was de Atari-versie van Pong die geschiedenis schreef door geluid te integreren. Atari bereikte dit door gebruik te maken van de Television Interface Adapter (TIA), een stukje hardware dat was ontworpen om zowel video- als audio-uitgangen aan te kunnen.

De TIA kon geluidsgolven genereren met behulp van twee oscillatoren. Door deze oscillatoren te manipuleren, kon de Atari-versie van Pong eenvoudige maar effectieve audio creëren. Dit was het eerste geval van procedureel geluidsontwerp in games.

In het spel waren er drie primaire geluiden, die elk procedureel werden gegenereerd:

• Het eerste geluid was de pieptoon wanneer de bal de paddles raakte, waardoor spelers direct audiofeedback kregen over hun slagen.
• Het tweede geluid was een dieper pong-geluid wanneer de bal tegen de muren botste, waardoor het verschil met paddle-slagen duidelijk werd.
• Het derde geluid was een hoger geluid om te scoren, wat aangaf dat er een punt was gemaakt.

Hoewel deze geluiden naar hedendaagse maatstaven basaal zijn, voegden ze een nieuwe laag van betrokkenheid en feedback toe die cruciaal was voor de meeslepende ervaring van het spel.

Naarmate de technologie zich ontwikkelde, nam natuurlijk ook de complexiteit en kwaliteit van procedurele audio toe.

De evolutie van procedurele audio

Aan het eind van de jaren 1970 begon procedurele audio vorm aan te nemen op verschillende spelconsoles. Drie opvallende systemen uit dit tijdperk waren de Atari 2600, de Fairchild Channel F en de Bally Astrocade. Elk van deze consoles gebruikte procedurele audio om de spelervaring te verbeteren binnen de beperkingen van hun hardware.

De ontwikkelingen in de jaren 1980 verlegden de grenzen van game-audio nog verder.

In 1983 introduceerde de Vectrex een nieuw niveau van audiosynthese, terwijl Nintendo aanzienlijke vooruitgang boekte met de release van het Nintendo Entertainment System (NES) in 1985. De NES gebruikte een vijfkanaals audiosysteem dat een breder frequentiebereik van 54Hz tot 28kHz ondersteunde en pitchbends kon uitvoeren. Iconische spellen zoals Super Mario Bros. bepaalden de norm voor procedurele audio met memorabele geluiden zoals de "ping" bij het verzamelen van munten, het "paddestoel"-geluid van de power-up en het "spring"-effect.

In 1986 zorgde het Sega Master System voor een nog grotere evolutie van game-audio. Het systeem bevatte zowel sampling als elektronische synthese en gebruikte vier audiokanalen (drie voor muziek en één voor geluidseffecten). Het Master System was uitgerust met de YM2413-chip van Yamaha, dezelfde chip die werd gebruikt in hun professionele synthesizers, wat de kwaliteit en complexiteit van de geluiden die het kon produceren aanzienlijk verbeterde.

De evolutie zette zich voort met de release van de Sega Mega Drive (Genesis) in 1988 en het Super Nintendo Entertainment System (SNES) in 1990. Beide consoles introduceerden meer geavanceerde audiomogelijkheden, waaronder samples van hogere kwaliteit en meer kanalen voor rijkere geluidslandschappen.

Het duurde echter tot de release van de Sega Saturn in 1994 voordat we een andere belangrijke mijlpaal in de evolutie van game-audio te zien kregen. Het bevatte een geluidschip en een geluidsprocessor die tot 16 audiokanalen met 44,1 kHz cd-kwaliteit kon ondersteunen, waarmee de weg werd vrijgemaakt voor het hoogwaardige geluid dat we in moderne games verwachten.

Vooraf opgenomen geluidseffecten en muziek

In 1994 onderging de gamewereld een enorme verandering met de PlayStation van Sony. Deze console zorgde voor een aanzienlijke upgrade van de audiomogelijkheden en bood een bemonsteringsfrequentie van 44,1 kHz en 24 stereokanalen. De geluidschip van de PlayStation was een game-changer en maakte galmeffecten en looping mogelijk.

Met de nieuwe flexibiliteit konden componisten en geluidsontwerpers complexere en meeslepende audiolandschappen creëren om de ervaring van elke speler te verrijken.

Vóór het PlayStation-tijdperk vereiste het maken van audio voor games een grondige kennis van audioprogrammering en procedurele audio. Degenen die de geluiden maakten, moesten goed bekend zijn met complexe codering en signaalverwerking om geluidseffecten en muziek te genereren en implementeren. Dit maakte het proces erg arbeidsintensief en beperkte vaak de creativiteit van degenen die meer muzikaal aangelegd waren, maar minder technisch onderlegd.

PlayStation zorgde in veel opzichten voor een revolutie in dit proces doordat vooraf opgenomen geluidseffecten en muziek eenvoudig in games konden worden geïmplementeerd. Componisten en geluidsontwerpers hoefden zich niet langer zorgen te maken over de fijne kneepjes van proceduregeluid. In plaats daarvan konden ze zich volledig richten op het creëren van geluidseffecten en muziek van hoge kwaliteit, die ze vervolgens aan de ontwikkelaars doorgaven om in de game te integreren.

Is procedurele audio uit de mode?

Ondanks de opkomst van vooraf opgenomen geluidseffecten en muziek, is procedurele audio nog lang niet uit de mode. Veel post-PlayStation games maken nog steeds gebruik van de wiskundige modellen van procedurele audio. Laten we eens kijken naar een aantal van de populairste.

Moderne games die procedurele audio gebruiken

Spore

In het baanbrekende spel Spore uit 2008 gebruikten audioprogrammeurs Aaron McLeran en Ken Jolly geavanceerde procedurele audiotechnieken om een dynamische en meeslepende auditieve ervaring te creëren.

Ze gebruikten een aanpassing van Pure Data genaamd libpd, een inbedbare audiosynthesebibliotheek die is ontworpen om de krachtige mogelijkheden van Pure Data te integreren in andere toepassingen. Pure Data, voor wie het niet weet, is een open-source visuele programmeertaal voor multimedia, die veel wordt gebruikt bij het maken van interactieve computermuziek en audio.

Met Libpd kon het team muziek en omgevingsgeluiden genereren op basis van oneindig veranderende variabelen binnen het spel. Als spelers bijvoorbeeld wezens creëerden en evolueerden, werden de geluiden die deze wezens maakten in realtime gegenereerd en weerspiegelden ze hun unieke eigenschappen en gedrag.

Dit gebruik van procedurele audio zorgde ervoor dat elke speler een unieke en persoonlijke ervaring had met het spel.

No Man's Sky

No Man's Sky is nog zo'n goed voorbeeld van hoe je met procedureel geluidsontwerp een rijke en dynamische spelwereld kunt creëren. Het ontwikkelingsteam stond voor de unieke uitdaging om een soundtrack te ontwerpen die zich kon aanpassen aan het procedureel gegenereerde universum van de game. Aangezien de meeste onderdelen van de game, waaronder planeten, ecosystemen en zelfs wezens, algoritmisch worden gegenereerd, zou een traditionele, vooraf opgenomen soundtrack niet volstaan.

Om deze uitdaging aan te gaan, gebruikte het team van Hello Games Wwise audio middleware, met name een aangepaste plugin die bekend staat als VocAlien. Deze tool was essentieel bij het synthetiseren van vocalisaties voor de diverse en unieke wezens in de game. VocAlien genereert geluiden op basis van de kenmerken van elk wezen, zoals hun grootte en type, zodat elk geluid passend en uniek is.

Het procedurele audiosysteem in het spel stelde de makers ook in staat om geluiden te 'performen'. Dit betekent dat de gecreëerde soundscapes geen statische opnames zijn, maar dynamische stukken audio die in realtime veranderen op basis van de basisanimaties en het gedrag van de wezens.

Hierdoor zijn de geluiden die je hoort tijdens het verkennen nauw verbonden met de acties op het scherm en de omgevingsomstandigheden.

Elite gevaarlijk

Elite Dangerous, de online sci-fi ruimteverkenningsgame met megahit uit 2014, legde de lat voor meeslepende audio in games hoog met het gebruik van procedureel geluidsontwerp. De ontwikkelaars van de game gebruikten procedurele technieken om dynamische en adaptieve geluiden te maken, met name voor ruimteschipmotoren en grafische interfaces.

Mini-metro

Mini Metro is een minimalistische metro-simulatiegame uit 2015 die procedurele audio gebruikt om een adaptieve en boeiende soundtrack te maken die de gameplay verbetert. De ontwikkelaars, Dino Polo Club, streefden ernaar om vanaf het begin procedurele muziek te integreren en gebruik te maken van de sterke punten van procedurele technieken om aan te sluiten bij de dynamische aard van de game.

Rich Vreeland, de componist, gebruikte een procedureel muzieksysteem dat reageert op de acties van de speler en het evoluerende metrosysteem. Elke stad in het spel heeft zijn eigen muzikale kwaliteiten, zoals ritmes en harmonische keuzes, die dynamisch veranderen op basis van hoe spelers hun metrolijnen bouwen en aanpassen.

Just Cause 4

In Just Cause 4 gebruikten de ontwikkelaars procedureel geluidsontwerp voor het whoosh-geluidseffect dat wordt gegenereerd wanneer de speler een NPC-voertuig in het verkeer passeert. Dit effect wordt gemaakt met behulp van runtime synthese van FMOD audio middleware.

Dit whoosh geluidseffect is gesynthetiseerd met behulp van een mix van witte en bruine ruis. Witte ruis heeft een gelijke intensiteit bij verschillende frequenties, waardoor een consistent sissend geluid ontstaat, terwijl bruine ruis meer energie heeft bij lagere frequenties, waardoor een dieper, zachter geluid ontstaat.

Door deze twee soorten geluid in verschillende verhoudingen te mengen, kon het team de uitvoer van het gecombineerde geluid variëren op basis van verschillende variabelen in het spel, zoals de afstand tot NPC-voertuigen, de snelheid van die voertuigen en de snelheid van het voertuig van de speler.

Met deze aanpak konden de geluidseffecten in de game engine zich dynamisch aanpassen aan de acties van de speler en de omgeving.

Laatste gedachten - een blik op de toekomst van procedurele geluidsontwerpen

Proceduraal geluid biedt enorme flexibiliteit in moderne gameplay. Geluidsontwerpers kunnen dynamische en adaptieve soundscapes maken die in realtime reageren op acties van spelers en veranderingen in de omgeving, zodat de ervaring van elke speler uniek is en de onderdompeling en betrokkenheid worden verbeterd door geluidseffecten te bieden die zijn afgestemd op de specifieke context van de gameplay.

Maar ondanks de voordelen van procedurele audio, blijft gesamplede audio de gouden standaard voor het bereiken van de hoogste natuurgetrouwheid en het hoogste realisme. Vooraf opgenomen samples leggen de genuanceerde details en natuurlijke karakteristieken van echte geluiden vast, wat een ongeëvenaard niveau van audiokwaliteit oplevert. Waarom programmeer je niet gewoon een paar van de miljoen samples van hits die beschikbaar zijn in samplebibliotheken in plaats van je eigen samples te synthetiseren?

In de toekomst zullen procedurele technieken zich waarschijnlijk blijven ontwikkelen en traditionele geluidsontwerpmethoden blijven aanvullen. Door procedureel geluidsontwerp te integreren met gesamplede audio, kunnen gamemakers de sterke punten van beide benaderingen benutten voor dynamischere en realistischere geluidslandschappen.