Вы когда-нибудь замечали, что, погружаясь в игру, вы слышите всевозможные звуки: шаги, взрывы, шум окружающей среды, и все они кажутся идеально синхронизированными с вашими действиями? Большинство этих звуков - заранее записанные аудиосэмплы, созданные талантливыми звукорежиссерами.

Эти небольшие фрагменты звуков могут быть самыми разными: однократными, как выстрел из пистолета, или зацикленными, как постоянный гул двигателя космического корабля. Однако, возможно, вы не знали, что не все звуки в видеоиграх создаются из заранее записанных сэмплов. Некоторые звуки создаются на лету, прямо во время игры.

Это то, что мы называем процедурным звуком, который мне нравится рассматривать как персонального маленького композитора игры. С его помощью мы можем создавать звуки динамически во время игрового процесса, не полагаясь на предварительно отрендеренные аудиофайлы. Это означает, что звук, который вы слышите, когда персонаж наступает на гравий, может быть каждый раз немного другим, что делает игру еще более захватывающей и реалистичной.

В этом руководстве мы рассмотрим все, что нужно знать о процедурном аудио, включая его историю, принцип работы и несколько крутых примеров его использования в современных играх.

Так что, если вы начинающий саунд-дизайнер или просто интересуетесь технологиями, лежащими в основе ваших любимых игр, оставайтесь с нами! Нам есть о чем рассказать.

Что такое процедурное аудио?

Процедурный звук - интересный аспект звукового дизайна игр. Идея заключается в том, чтобы создавать звук во время выполнения или генерировать его "на лету", прямо во время игры, а не записывать и воспроизводить заранее.

Говоря простым языком, процедурный саунд-дизайн создает звуковые эффекты на основе заранее заданного поведения. Подумайте об этом как о системе, которая знает, как генерировать звук шагов, когда ваш персонаж ходит по разным поверхностям, не требуя предварительно записанных образцов для каждого шага. Вместо этого она синтезирует звук в реальном времени, делая каждый шаг немного уникальным.

Эта техника похожа на процедурную генерацию, используемую в других частях игр, таких как дизайн окружения и уровней. Подобно тому, как игра может создавать новый лес или подземелье каждый раз, когда вы играете, процедурное аудио создает звуковые ландшафты, которые вы слышите, основываясь на текущем состоянии игры и ваших действиях.

Используя процедурный звук, звукорежиссеры могут создавать глубоко интегрированные звуковые ландшафты, которые реагируют на действия игрока и игровое окружение слаженно и правдоподобно.

Однако использование распространенных процедурных методов создания звука имеет свои недостатки.

Одной из главных проблем является сложность обеспечения высокого качества и реалистичности звуков. Создание убедительного процедурного звука может быть более сложным с технической точки зрения, чем использование предварительно записанных сэмплов. Кроме того, для этого может потребоваться больше процессора, что может повлиять на производительность игры, особенно на низкопроизводительных системах.

История процедурного звукового дизайна

На заре игровой индустрии процедурный саунд-дизайн был не просто формой искусства. Это была необходимость в звуке. Ограниченная оперативная память ранних игровых систем не могла справиться с хранением предварительно записанных аудиосэмплов - альтернативы процедурному звуку. Это ограничение вынуждало разработчиков генерировать звуки в реальном времени по ходу игры.

Звуковое сопровождение игр началось с культовой игры Pong на Magnavox Odyssey в 1972 году. Интересно, что оригинальная Magnavox Odyssey вообще не была оснащена звуком. Именно версия Pong от Atari вошла в историю благодаря звуку. Atari добилась этого, используя Television Interface Adapter (TIA), аппаратное обеспечение, предназначенное для работы с видео- и аудиовыходами.

TIA могла генерировать звуковые волны с помощью двух осцилляторов. Манипулируя этими осцилляторами, версия игры Pong для Atari могла создавать простой, но эффективный звук, что стало первым примером процедурного звукового дизайна в играх.

В игре было три основных звука, каждый из которых генерировался процедурно:

• Первым звуковым сигналом был сигнал, когда мяч попадал в лопасти, что давало игрокам возможность мгновенно получать звуковую информацию о своих ударах.
• Второй звук был более глубоким, когда мяч сталкивался со стенками, что отличало его от ударов веслом.
• Третий звук - это более высокий звук, означающий, что очко набрано.

Хотя по сегодняшним меркам эти звуки являются элементарными, они добавили новый уровень вовлеченности и обратной связи, что было очень важно для погружения в игру.

Конечно, по мере развития технологий сложность и качество процедурного аудио росли.

Эволюция процедурного аудио

В конце 1970-х годов процедурное аудио стало появляться на различных игровых консолях. Три заметные системы этой эпохи - Atari 2600, Fairchild Channel F и Bally Astrocade. В каждой из этих консолей процедурное аудио использовалось для улучшения игрового процесса в рамках аппаратных ограничений.

Достижения 1980-х годов еще больше расширили границы игрового звука.

В 1983 году приставка Vectrex открыла новый уровень синтеза звука, а Nintendo добилась значительных успехов с выпуском Nintendo Entertainment System (NES) в 1985 году. В NES использовалась пятиканальная аудиосистема, которая поддерживала более широкий частотный диапазон от 54 Гц до 28 кГц и могла выполнять питч-бенды. Такие культовые игры, как Super Mario Bros., стали эталоном процедурного звука с такими запоминающимися звуками, как "пинг" при сборе монет, "грибной" звук при включении питания и эффект "прыжка".

В 1986 году Sega Master System принесла еще большую эволюцию игрового звука. В ней были реализованы сэмплирование и электронный синтез, использовалось четыре аудиоканала (три для музыки и один для звуковых эффектов). Master System была оснащена чипом YM2413 от Yamaha, который использовался в профессиональных синтезаторах, что значительно повысило качество и сложность воспроизводимых звуков.

Эволюция продолжилась с выходом Sega Mega Drive (Genesis) в 1988 году и Super Nintendo Entertainment System (SNES) в 1990 году. Обе эти консоли представили более сложные аудиовозможности, включая сэмплы более высокого качества и большее количество каналов для создания более насыщенных звуковых ландшафтов.

Однако только после выхода Sega Saturn в 1994 году мы увидели еще одну важную веху в эволюции игрового звука. Она оснащена звуковым чипом и звуковым процессором, способным поддерживать до 16 каналов звука с качеством CD 44,1 кГц, создавая основу для высококачественного звука, который мы ожидаем от современных игр.

Предварительно записанные звуковые эффекты и музыка

В 1994 году в игровом мире произошел грандиозный сдвиг после выхода консоли PlayStation от Sony. Эта консоль значительно расширила аудиовозможности, обеспечив частоту дискретизации 44,1 кГц и 24 канала стереозвука. Звуковой чип PlayStation стал переломным моментом, позволив использовать эффекты реверберации и зацикливания.

Благодаря обретенной гибкости композиторы и саунд-дизайнеры могут создавать более сложные и захватывающие звуковые ландшафты, чтобы обогатить впечатления каждого игрока.

До эпохи PlayStation создание звука для игр требовало глубокого понимания программирования звука и процедурного аудио. Те, кто создавал звуки, должны были хорошо разбираться в сложном кодировании и обработке сигналов, чтобы генерировать и реализовывать звуковые эффекты и музыку. Это делало процесс очень трудоемким и часто ограничивало творчество тех, кто был более музыкально настроен, но менее технически подкован.

Во многом PlayStation произвела революцию в этом процессе, позволив легко внедрять в игры заранее записанные звуковые эффекты и музыку. Композиторам и саунд-дизайнерам больше не нужно было беспокоиться о тонкостях процедурного звука. Вместо этого они могли сосредоточиться на создании высококачественных звуковых эффектов и музыки, которые затем передавали разработчикам для интеграции в игру.

Процедурное аудио выходит из моды?

Несмотря на рост популярности предварительно записанных звуковых эффектов и музыки, процедурное аудио далеко не вышло из моды. Многие игры после PlayStation продолжают использовать математические модели процедурного звука. Давайте посмотрим на некоторые из самых популярных.

Современные игры, в которых используется процедурное озвучивание

Spore

В новаторской игре Spore 2008 года программисты Аарон Маклеран и Кен Джолли использовали передовые методы процедурного озвучивания для создания динамичного и захватывающего слухового восприятия.

Они использовали адаптацию Pure Data под названием libpd - встраиваемую библиотеку синтеза звука, предназначенную для интеграции мощных возможностей Pure Data в другие приложения. Pure Data, для тех, кто не знает, - это визуальный язык программирования мультимедиа с открытым исходным кодом, который широко используется при создании интерактивной компьютерной музыки и аудио.

Libpd позволил команде генерировать музыку и звуки окружающей среды на основе бесконечно меняющихся переменных в игре. Например, когда игроки создавали и развивали своих существ, звуки, издаваемые этими существами, генерировались в режиме реального времени, отражая их уникальные характеристики и поведение.

Использование процедурного звука позволило каждому игроку получить уникальный и индивидуальный опыт от игры.

No Man's Sky

No Man's Sky - еще один яркий пример того, как процедурный саунд-дизайн может создать богатый и динамичный игровой мир. Перед командой разработчиков стояла уникальная задача - создать саундтрек, который мог бы адаптироваться к процедурно генерируемой вселенной игры. Поскольку большинство игровых объектов, включая планеты, экосистемы и даже существ, генерируются алгоритмически, традиционного заранее записанного саундтрека было бы недостаточно.

Для решения этой задачи команда Hello Games использовала промежуточное аудиопрограммное обеспечение Wwise, а именно специальный плагин VocAlien. Этот инструмент был незаменим при синтезе вокализаций для разнообразных и уникальных существ игры. VocAlien генерирует звуки, основываясь на характеристиках каждого существа, таких как его размер и тип, что обеспечивает уместность и уникальность каждого звука.

Процедурная аудиосистема в игре также позволила создателям по сути "исполнять" звуки. Это означает, что созданные звуковые ландшафты - не статичные записи, а динамичные фрагменты аудио, которые меняются в реальном времени в зависимости от базовых анимаций и поведения существ.

В результате звуки, которые вы слышите во время исследования, тесно связаны с действиями на экране и условиями окружающей среды.

Elite Dangerous

Elite Dangerous, мегахит 2014 года, научно-фантастическая онлайн-игра про исследование космоса, установила высокую планку для иммерсивного звука в играх благодаря использованию процедурного звукового дизайна. Разработчики игры использовали процедурные методы для создания динамичных и адаптивных звуков, особенно для двигателей космических кораблей и графических интерфейсов.

Мини-метро

Mini Metro - это минималистичный симулятор метро 2015 года, в котором процедурное аудио используется для создания адаптивного и увлекательного саундтрека, улучшающего игровой процесс. Разработчики, Dino Polo Club, с самого начала стремились интегрировать процедурную музыку, используя сильные стороны процедурных техник, чтобы соответствовать динамичному характеру игры.

Рич Вриланд, композитор, использовал процедурную музыкальную систему, которая реагирует на действия игрока и развивающуюся систему метро. Каждый город в игре имеет свой собственный набор музыкальных качеств, таких как ритмы и гармонические варианты, которые динамически меняются в зависимости от того, как игроки строят и изменяют свои линии метро.

Just Cause 4

В Just Cause 4 разработчики использовали процедурный звуковой дизайн для звукового эффекта "вуш", возникающего, когда игрок проезжает мимо автомобиля NPC в пробке. Этот эффект создается с помощью синтеза во время исполнения из промежуточного аудиопрограммного обеспечения FMOD.

Этот звуковой эффект был синтезирован с использованием смеси белого и коричневого шума. Белый шум имеет одинаковую интенсивность на разных частотах, создавая равномерный шипящий звук, в то время как коричневый шум имеет больше энергии на низких частотах, создавая более глубокий, мягкий звук.

Смешивая эти два типа шума в разных соотношениях, команда смогла варьировать мощность комбинированного звука в зависимости от нескольких игровых переменных, таких как расстояние до транспортных средств NPC, скорость этих транспортных средств и скорость транспортного средства игрока.

Благодаря такому подходу звуковые эффекты в игровом движке смогли динамически адаптироваться к действиям игрока и окружающей обстановке.

Заключительные мысли - взгляд в будущее процедурного звукового дизайна

Процедурный звук обеспечивает огромную гибкость в современном геймплее. Саунд-дизайнеры могут создавать динамичные и адаптивные звуковые ландшафты, которые реагируют на действия игрока и изменения окружающей среды в реальном времени, обеспечивая уникальность впечатлений каждого игрока и повышая уровень погружения и вовлеченности за счет звуковых эффектов, адаптированных к конкретному контексту игрового процесса.

Однако, несмотря на преимущества процедурного аудио, сэмплированный звук остается золотым стандартом для достижения максимальной точности и реалистичности. Предварительно записанные сэмплы передают все нюансы и естественные характеристики звуков реального мира, обеспечивая непревзойденный уровень качества звука. Почему бы просто не запрограммировать несколько из миллионов сэмплов хитов, доступных в библиотеках сэмплов, вместо того чтобы синтезировать свои собственные?

В будущем процедурные технологии, вероятно, продолжат развиваться и дополнят традиционные методы звукового дизайна. Интегрируя процедурный саунд-дизайн с сэмплированным звуком, создатели игр смогут использовать сильные стороны обоих подходов для создания более динамичных и реалистичных звуковых ландшафтов.