Ist Ihnen schon einmal aufgefallen, dass Sie, wenn Sie in ein Spiel vertieft sind, alle möglichen Geräusche hören, z. B. Schritte, Explosionen und Umgebungsgeräusche, die alle perfekt auf Ihre Aktionen abgestimmt zu sein scheinen? Bei den meisten dieser Geräusche handelt es sich um vorab aufgenommene Audio-Samples, die von talentierten Sounddesignern erstellt wurden.

Diese kleinen Audioschnipsel gibt es in vielen Formen, z. B. als Einzelsamples, wie ein einzelner Schuss, oder als Loops, wie das konstante Brummen des Motors eines Raumschiffs. Was Sie aber vielleicht noch nicht wussten, ist, dass nicht alle Sounds in Videospielen aus vorher aufgenommenen Samples stammen. Einige Klänge werden direkt während des Spielens erzeugt.

Das nennen wir prozedurales Audio, das ich gerne als den persönlichen kleinen Komponisten eines Spiels betrachte. Damit sind wir in der Lage, Klänge während des Spiels dynamisch zu erzeugen, ohne auf vorgerenderte Audiodateien angewiesen zu sein. Das bedeutet, dass das Geräusch, das man hört, wenn eine Figur auf Kies tritt, jedes Mal ein wenig anders sein kann, wodurch sich das Spiel noch immersiver und realistischer anfühlt.

In diesem Leitfaden werfen wir einen Blick auf alles, was es über prozedurales Audio zu wissen gibt, einschließlich seiner Geschichte, seiner Funktionsweise und einiger cooler Beispiele, wie es in modernen Spielen eingesetzt wird.

Egal, ob du ein angehender Sounddesigner bist oder einfach nur neugierig auf die Technik hinter deinen Lieblingsspielen, bleib dran! Wir haben eine Menge zu berichten.

Was ist prozedurales Audio?

Prozedurales Audio ist ein faszinierender Aspekt des Sounddesigns von Spielen. Die Idee dahinter ist, dass der Sound zur Laufzeit oder während des Spiels erzeugt wird, anstatt vorher aufgenommen und dann abgespielt zu werden.

Laienhaft ausgedrückt, werden beim prozeduralen Sounddesign Soundeffekte auf der Grundlage vorher festgelegter Verhaltensweisen erzeugt. Stellen Sie es sich als ein System vor, das weiß, wie man einen Sound erzeugt, wenn Ihre Figur auf verschiedenen Oberflächen geht, ohne dass für jeden Schritt ein vorher aufgenommenes Sample benötigt wird. Stattdessen wird der Sound in Echtzeit synthetisiert, so dass jeder Schritt etwas Besonderes ist.

Diese Technik ähnelt der prozeduralen Generierung, die in anderen Bereichen von Spielen verwendet wird, z. B. bei der Umgebungsgestaltung und dem Leveldesign. So wie ein Spiel jedes Mal einen neuen Wald oder ein neues Dungeon-Layout erschafft, wenn du spielst, so werden auch prozedurale Audioszenen auf der Grundlage des aktuellen Spielzustands und deiner Interaktionen erstellt.

Durch den Einsatz von prozeduralem Audio können Sounddesigner tief integrierte Klanglandschaften schaffen, die auf die Aktionen des Spielers und die Spielumgebung in einer kohärenten und glaubwürdigen Weise reagieren.

Die Verwendung gängiger prozeduraler Sounddesign-Techniken hat jedoch auch Nachteile.

Eine große Herausforderung ist die Komplexität, mit der sichergestellt werden muss, dass die Klänge von hoher Qualität und realistisch sind. Die Erstellung überzeugender prozeduraler Klänge kann technisch anspruchsvoller sein als die Verwendung vorab aufgenommener Samples. Außerdem kann es mehr CPU-Leistung erfordern, was sich auf die Leistung des Spiels auswirken kann, vor allem auf leistungsschwächeren Systemen.

Eine Geschichte des prozeduralen Sounddesigns

In den frühen Tagen der Spiele war prozedurales Sounddesign nicht nur eine Kunstform. Es war eine Notwendigkeit für Sound. Der begrenzte Arbeitsspeicher der frühen Spielesysteme konnte die Speicheranforderungen von voraufgezeichneten Audiosamples, der Alternative zu prozeduralem Sound, nicht bewältigen. Diese Einschränkung zwang die Entwickler dazu, Sounds in Echtzeit zu generieren, während das Spiel läuft.

Mit dem kultigen Spiel Pong auf dem Magnavox Odyssey im Jahr 1972 begann die Audiowiedergabe im Spiel. Interessanterweise verfügte das ursprüngliche Magnavox Odyssey über keinerlei Ton. Es war die Atari-Version von Pong, die durch die Integration von Ton Geschichte schrieb. Atari erreichte dies durch den Einsatz des Television Interface Adapter (TIA), einer Hardware, die sowohl Video- als auch Audioausgänge verarbeiten konnte.

Der TIA konnte mit zwei Oszillatoren Schallwellen erzeugen. Durch die Manipulation dieser Oszillatoren konnte die Atari-Version von Pong einen einfachen, aber effektiven Ton erzeugen, was das erste Beispiel für prozedurales Sounddesign in Spielen war.

Im Spiel gab es drei Hauptgeräusche, die jeweils prozedural erzeugt wurden:

• Das erste Geräusch war der Piepton, der ertönte, wenn der Ball die Schläger traf, und der den Spielern eine unmittelbare akustische Rückmeldung über ihre Treffer gab
• Das zweite Geräusch war ein tieferes "Pong"-Geräusch, wenn der Ball gegen die Wände prallte, wodurch es sich von Schlägertreffern unterschied.
• Das dritte Geräusch war ein höherer Ton, der anzeigte, dass ein Punkt erzielt worden war.

Obwohl sie nach heutigen Maßstäben einfach sind, fügten diese Geräusche eine neue Ebene des Engagements und der Rückmeldung hinzu, die für die immersive Erfahrung des Spiels entscheidend war.

Mit der Weiterentwicklung der Technologie stiegen natürlich auch die Komplexität und die Qualität von prozeduralem Audio.

Die Entwicklung von Procedural Audio

In den späten 1970er Jahren begann die prozedurale Audiotechnik auf verschiedenen Spielkonsolen Gestalt anzunehmen. Drei bemerkenswerte Systeme aus dieser Zeit waren der Atari 2600, der Fairchild Channel F und der Bally Astrocade. Jede dieser Konsolen nutzte prozedurales Audio, um das Spielerlebnis innerhalb der Beschränkungen ihrer Hardware zu verbessern.

Die Fortschritte in den 1980er Jahren haben die Grenzen der Spiele-Audiotechnik weiter verschoben.

1983 führte das Vectrex eine neue Stufe der Audiosynthese ein, während Nintendo mit der Veröffentlichung des Nintendo Entertainment System (NES) im Jahr 1985 einen großen Schritt nach vorne machte. Das NES verfügte über ein Fünfkanal-Audiosystem, das einen größeren Frequenzbereich von 54 Hz bis 28 kHz unterstützte und Tonhöhenverbiegungen durchführen konnte. Ikonische Spiele wie Super Mario Bros. setzten mit einprägsamen Klängen wie dem "Ping" beim Einsammeln von Münzen, dem "Pilz"-Sound beim Aufladen und dem "Sprung"-Effekt Maßstäbe für prozedurales Audio.

1986 brachte das Sega Master System eine noch größere Entwicklung der Spiele-Audiotechnik. Es integrierte sowohl Sampling als auch elektronische Synthese und verwendete vier Audiokanäle (drei für Musik und einen für Soundeffekte). Das Master System war mit dem YM2413-Chip von Yamaha ausgestattet, dem gleichen Chip, der auch in professionellen Synthesizern verwendet wurde, was die Qualität und Komplexität der Klänge, die es erzeugen konnte, erheblich verbesserte.

Die Entwicklung wurde mit der Veröffentlichung des Sega Mega Drive (Genesis) im Jahr 1988 und des Super Nintendo Entertainment System (SNES) im Jahr 1990 fortgesetzt. Beide Konsolen boten ausgefeiltere Audiofunktionen, darunter Samples in höherer Qualität und mehr Kanäle für reichhaltigere Klanglandschaften.

Doch erst mit der Veröffentlichung des Sega Saturn im Jahr 1994 wurde ein weiterer wichtiger Meilenstein in der Entwicklung der Spiele-Audiotechnik erreicht. Er verfügte über einen Soundchip und einen Soundprozessor, der bis zu 16 Audiokanäle mit 44,1 kHz in CD-Qualität unterstützte und damit den Grundstein für den hochwertigen Sound legte, den wir bei modernen Spielen erwarten.

Voraufgezeichnete Soundeffekte und Musik

Im Jahr 1994 erlebte die Spielewelt mit der Veröffentlichung der PlayStation von Sony einen monumentalen Wandel. Diese Konsole bot mit einer Abtastrate von 44,1 kHz und 24 Stereokanälen eine deutliche Verbesserung der Audiofunktionen. Der Soundchip der PlayStation veränderte die Spielwelt und ermöglichte Hall-Effekte und Looping.

Mit der neu gewonnenen Flexibilität können Komponisten und Sounddesigner komplexere und eindringlichere Klanglandschaften schaffen, die das Spielerlebnis bereichern.

Vor der PlayStation-Ära erforderte die Erstellung von Audiosignalen für Spiele ein tiefes Verständnis der Audioprogrammierung und des prozeduralen Audios. Diejenigen, die die Sounds erstellten, mussten sich mit komplexer Codierung und Signalverarbeitung auskennen, um Soundeffekte und Musik zu erzeugen und umzusetzen. Das machte den Prozess sehr arbeitsintensiv und schränkte oft die Kreativität derjenigen ein, die zwar musikalisch begabt, aber technisch weniger versiert waren.

Die PlayStation hat diesen Prozess in vielerlei Hinsicht revolutioniert, da sie es ermöglichte, vorproduzierte Soundeffekte und Musik einfach in Spiele zu integrieren. Komponisten und Sounddesigner brauchten sich nicht mehr um die Feinheiten des prozeduralen Sounds zu kümmern. Stattdessen konnten sie sich ganz auf die Erstellung hochwertiger Soundeffekte und Musik konzentrieren, die sie dann an die Entwickler zur Integration in das Spiel weitergaben.

Ist prozedurales Audio aus der Mode gekommen?

Trotz der zunehmenden Verbreitung von vorproduzierten Soundeffekten und Musik ist prozedurales Audio noch lange nicht aus der Mode gekommen. Viele Post-PlayStation-Spiele nutzen weiterhin die mathematischen Modelle des prozeduralen Audios. Werfen wir einen Blick auf einige der beliebtesten.

Moderne Spiele, die prozedurales Audio verwenden

Spore

In dem bahnbrechenden Spiel Spore aus dem Jahr 2008 setzten die Audioprogrammierer Aaron McLeran und Ken Jolly fortschrittliche prozedurale Audiotechniken ein, um ein dynamisches und immersives Hörerlebnis zu schaffen.

Sie verwendeten eine Adaption von Pure Data namens libpd, eine einbettbare Audiosynthese-Bibliothek, die entwickelt wurde, um die leistungsstarken Funktionen von Pure Data in andere Anwendungen zu integrieren. Pure Data ist eine visuelle Open-Source-Programmiersprache für Multimedia, die in großem Umfang bei der Erstellung von interaktiver Computermusik und -audio eingesetzt wird, falls Sie sie noch nicht kennen.

Libpd ermöglichte es dem Team, Musik und Umgebungsgeräusche auf der Grundlage von sich unendlich verändernden Variablen innerhalb des Spiels zu erzeugen. Wenn die Spieler beispielsweise ihre Kreaturen erschufen und weiterentwickelten, wurden die Klänge, die diese Kreaturen erzeugten, in Echtzeit generiert und spiegelten ihre einzigartigen Eigenschaften und Verhaltensweisen wider.

Die Verwendung von prozeduralem Audio sorgte dafür, dass jeder Spieler eine einzigartige und persönliche Erfahrung mit dem Spiel machte.

No Man's Sky

No Man's Sky ist ein weiteres Paradebeispiel dafür, wie prozedurales Sounddesign eine reichhaltige und dynamische Spielwelt schaffen kann. Das Entwicklungsteam stand vor der einzigartigen Herausforderung, einen Soundtrack zu erstellen, der sich an das prozedural generierte Universum des Spiels anpassen konnte. Da die meisten Assets des Spiels, darunter Planeten, Ökosysteme und sogar Kreaturen, algorithmisch generiert werden, würde ein herkömmlicher, vorab aufgenommener Soundtrack nicht ausreichen.

Um diese Herausforderung zu meistern, setzte das Team von Hello Games die Audio-Middleware von Wwise ein, insbesondere ein benutzerdefiniertes Plugin mit dem Namen VocAlien. Dieses Tool war für die Synthese der Vokalisationen für die vielfältigen und einzigartigen Kreaturen des Spiels unerlässlich. VocAlien generiert Klänge, die auf den Merkmalen jeder Kreatur basieren, wie z. B. ihrer Größe und Art, um sicherzustellen, dass jeder Klang angemessen und einzigartig ist.

Das prozedurale Audiosystem im Spiel ermöglichte es den Entwicklern auch, Klänge zu "performen". Das bedeutet, dass die erstellten Klanglandschaften keine statischen Aufnahmen sind, sondern dynamische Audiostücke, die sich in Echtzeit auf der Grundlage der Basisanimationen und des Verhaltens der Kreaturen verändern.

Daher sind die Geräusche, die Sie beim Erkunden hören, eng mit den Aktionen auf dem Bildschirm und den Umgebungsbedingungen verknüpft.

Elite Dangerous

Elite Dangerous, der Mega-Hit des Jahres 2014 im Bereich der Sci-Fi-Weltraumforschung, hat mit seinem prozeduralen Sounddesign die Messlatte für immersives Audio in Spielen hoch gelegt. Die Entwickler des Spiels setzten prozedurale Techniken ein, um dynamische und anpassungsfähige Klänge zu erzeugen, insbesondere für Raumschifftriebwerke und grafische Schnittstellen.

Mini-Metro

Mini Metro ist ein minimalistisches U-Bahn-Simulationsspiel aus dem Jahr 2015, das prozedurales Audio verwendet, um einen anpassungsfähigen und ansprechenden Soundtrack zu erstellen, der das Gameplay verbessert. Die Entwickler, Dino Polo Club, wollten von Anfang an prozedurale Musik integrieren und die Stärken der prozeduralen Techniken nutzen, um der dynamischen Natur des Spiels gerecht zu werden.

Der Komponist Rich Vreeland verwendete ein prozedurales Musiksystem, das auf die Aktionen des Spielers und das sich entwickelnde U-Bahn-System reagiert. Jede Stadt im Spiel hat ihre eigenen musikalischen Qualitäten, wie Rhythmen und harmonische Entscheidungen, die sich dynamisch verändern, je nachdem, wie die Spieler ihre U-Bahn-Linien bauen und verändern.

Just Cause 4

In Just Cause 4 verwendeten die Entwickler prozedurales Sounddesign für den "Whoosh"-Soundeffekt, der erzeugt wird, wenn der Spieler ein NPC-Fahrzeug im Verkehr überholt. Dieser Effekt wird mithilfe der Laufzeitsynthese der FMOD-Audio-Middleware erzeugt.

Dieser Whoosh-Soundeffekt wurde mit einer Mischung aus weißem und braunem Rauschen synthetisiert. Weißes Rauschen enthält gleiche Intensität bei verschiedenen Frequenzen, wodurch ein gleichmäßiges Zischen entsteht, während braunes Rauschen mehr Energie bei niedrigeren Frequenzen hat, wodurch ein tieferer, weicherer Klang entsteht.

Durch das Mischen dieser beiden Geräuscharten in unterschiedlichen Verhältnissen konnte das Team die Lautstärke des kombinierten Geräuschs in Abhängigkeit von verschiedenen Variablen im Spiel variieren, z. B. der Entfernung zu NPC-Fahrzeugen, der Geschwindigkeit dieser Fahrzeuge und der Geschwindigkeit des Spielerfahrzeugs.

Mit diesem Ansatz konnten sich die Soundeffekte in der Spiel-Engine dynamisch an die Aktionen des Spielers und die Umgebung anpassen.

Abschließende Überlegungen - Ein Blick in die Zukunft des prozeduralen Sounddesigns

Prozeduraler Sound bietet eine enorme Flexibilität im modernen Gameplay. Sounddesigner können dynamische und anpassungsfähige Klanglandschaften erstellen, die in Echtzeit auf die Aktionen des Spielers und auf Veränderungen in der Umgebung reagieren. So wird sichergestellt, dass jedes Spielerlebnis einzigartig ist, während gleichzeitig die Immersion und das Engagement durch die Bereitstellung von Soundeffekten, die auf den spezifischen Kontext des Spiels zugeschnitten sind, verbessert werden.

Trotz der Vorteile von prozeduralem Audio sind gesampelte Audiodaten nach wie vor der Goldstandard, wenn es darum geht, ein Höchstmaß an Wiedergabetreue und Realismus zu erreichen. Voraufgenommene Samples fangen die nuancierten Details und natürlichen Eigenschaften realer Klänge ein und bieten so ein unübertroffenes Niveau an Audioqualität. Warum programmieren Sie nicht einfach einige der Millionen Samples von Schwerthits, die in Sample-Bibliotheken verfügbar sind, anstatt Ihre eigenen zu synthetisieren?

In Zukunft werden sich die prozeduralen Techniken wahrscheinlich weiterentwickeln und die traditionellen Sounddesign-Methoden ergänzen. Durch die Integration von prozeduralem Sounddesign mit gesampelten Audiosignalen werden Spieleentwickler in der Lage sein, die Stärken beider Ansätze für dynamischere und realistischere Klanglandschaften zu nutzen.