Ви коли-небудь помічали, що коли ви занурені в гру, то чуєте різноманітні звуки, такі як кроки, вибухи та навколишні шуми, які, здається, ідеально синхронізовані з вашими діями? Більшість із цих звуків - це заздалегідь записані звукові семпли, створені талановитими саунд-дизайнерами.

Ці невеликі фрагменти звуку також бувають різних форм, включно з одиночними пострілами, як-от постріл з пістолета, або циклічними, як постійний гул двигуна космічного корабля. Однак, можливо, ви не знали, що не всі звуки у відеоіграх походять з попередньо записаних семплів. Деякі звуки створюються на льоту, прямо під час гри.

Це те, що ми називаємо процедурним аудіо, про яке мені подобається думати як про особистого маленького композитора гри. З його допомогою ми можемо динамічно створювати звуки під час ігрового процесу, не покладаючись на заздалегідь відрендеринговані аудіофайли. Це означає, що звук, який ви чуєте, коли персонаж ступає на гравій, може щоразу дещо відрізнятися, що робить гру ще більш захоплюючою та реалістичною.

У цьому посібнику ми розглянемо все, що потрібно знати про процедурне аудіо, включаючи його історію, як воно працює, а також кілька крутих прикладів його використання в сучасних іграх.

Тож, якщо ви звукорежисер-початківець або просто цікавитеся технологіями, що стоять за вашими улюбленими іграми, залишайтеся з нами! У нас є про що розповісти.

Що таке процесуальне аудіо?

Процедурне аудіо - це захопливий аспект ігрового звукового дизайну. Ідея полягає в тому, щоб створювати звук під час виконання або генерувати його на льоту, прямо під час гри, а не попередньо записувати і відтворювати.

Простіше кажучи, процедурний саунд-дизайн створює звукові ефекти на основі заздалегідь визначеної поведінки. Уявіть собі систему, яка вміє генерувати звук кроків, коли ваш персонаж ходить по різних поверхнях, не потребуючи попередньо записаного семплу для кожного кроку. Замість цього вона синтезує звук у реальному часі, роблячи кожен крок трохи унікальним.

Ця техніка схожа на процедурну генерацію, що використовується в інших частинах ігор, таких як мистецтво навколишнього середовища та дизайн рівнів. Подібно до того, як гра може створювати новий макет лісу чи підземелля щоразу, коли ви граєте, процедурне аудіо створює звукові ландшафти, які ви чуєте, базуючись на поточному стані гри та ваших взаємодіях.

Використовуючи процедурне аудіо, саунд-дизайнери можуть створювати глибоко інтегровані звукові ландшафти, які реагують на дії гравця та ігрове середовище у зв'язний і правдоподібний спосіб.

Однак є певні компроміси у використанні загальних процедурних методів раціонального проектування.

Однією з головних проблем є складність забезпечення високої якості та реалістичності звуку. Створення переконливого процедурного звуку може бути технічно складнішим, ніж використання попередньо записаних семплів. Крім того, для цього може знадобитися більше процесорних ресурсів, що може вплинути на продуктивність гри, особливо на низькопродуктивних системах.

Історія процесуального саунд-дизайну

На початку розвитку ігор процедурний саунддизайн був не просто мистецтвом. Це була необхідність для звуку. Обмежена оперативна пам'ять ранніх ігрових систем не могла впоратися з вимогами до зберігання попередньо записаних аудіо семплів, альтернативи процедурному звуку. Це обмеження підштовхнуло розробників генерувати звуки в реальному часі під час гри.

Ігрове аудіо почалося з культової гри Pong на Magnavox Odyssey у 1972 році. Цікаво, що оригінальна Magnavox Odyssey взагалі не мала звуку. Саме версія Pong від Atari увійшла в історію завдяки додаванню звуку. Atari досягла цього завдяки використанню адаптера телевізійного інтерфейсу (TIA) - апаратного забезпечення, призначеного для обробки як відео-, так і аудіовиходів.

TIA міг генерувати звукові хвилі за допомогою двох осциляторів. Маніпулюючи цими осциляторами, версія Pong для Atari могла створювати простий, але ефективний звук, що стало першим прикладом процедурного звукового дизайну в іграх.

У грі було три основних звуки, кожен з яких генерувався процедурно:

• Першим звуком був звуковий сигнал, коли м'яч потрапляв на лопаті, що давало гравцям негайний звуковий зворотний зв'язок про їхні удари.
• Другий звук був більш глибоким звуком понг-понгу, коли м'яч стикався зі стінами, що відрізняло його від ударів весла.
• Третій звук був більш високим звуком для підрахунку очок, який сигналізував про те, що очко зараховано.

Хоча ці звуки були базовими за сучасними стандартами, вони додавали новий рівень залучення та зворотного зв'язку, що було вирішальним для повного занурення у гру.

Звісно, з розвитком технологій зростала складність та якість процесуального аудіо.

Еволюція процесуального аудіо

Наприкінці 1970-х процедурне аудіо почало формуватися в різних ігрових консолях. Трьома відомими системами цієї епохи були Atari 2600, Fairchild Channel F та Bally Astrocade. Кожна з цих приставок використовувала процедурне аудіо для покращення ігрового досвіду в рамках обмежень апаратного забезпечення.

Досягнення 1980-х років ще більше розширили межі ігрового звуку.

У 1983 році Vectrex представив новий рівень синтезу звуку, тоді як Nintendo зробила значний крок вперед, випустивши Nintendo Entertainment System (NES) у 1985 році. NES використовувала п'ятиканальну аудіосистему, яка підтримувала ширший діапазон частот від 54 Гц до 28 кГц і могла виконувати вигини висоти тону. Культові ігри, такі як Super Mario Bros. встановили еталон процедурного звуку з такими звуками, що запам'ятовуються, як звук збору монет "пінг", звук "гриба" під час активації бонусів та ефект "стрибка".

До 1986 року система Sega Master System принесла ще більшу еволюцію ігрового звуку. Вона поєднувала в собі як семпліювання, так і електронний синтез, використовуючи чотири аудіоканали (три для музики і один для звукових ефектів). Master System була оснащена мікросхемою YM2413 від Yamaha, тією самою, що використовувалася в їхніх професійних синтезаторах, що значно підвищило якість і складність звуків, які вона могла створювати.

Еволюція продовжилася з виходом Sega Mega Drive (Genesis) у 1988 році та Super Nintendo Entertainment System (SNES) у 1990 році. Обидві ці консолі представили більш досконалі аудіо можливості, включаючи більш якісні семпли та більше каналів для багатших звукових ландшафтів.

Однак, лише з виходом Sega Saturn у 1994 році ми побачили ще одну важливу віху в еволюції ігрового звуку. Вона мала звуковий чіп і звуковий процесор, здатний підтримувати до 16 каналів звуку з якістю CD з частотою 44,1 кГц, створюючи основу для високоякісного звуку, якого ми очікуємо в сучасних іграх.

Попередньо записані звукові ефекти та музика

У 1994 році світ ігор пережив грандіозний зсув з виходом PlayStation від Sony. Ця консоль значно покращила звукові можливості, пропонуючи частоту дискретизації 44,1 кГц і 24 канали стереозвуку. Звуковий чіп PlayStation змінив правила гри, дозволивши використовувати ефекти реверберації та зациклення.

Завдяки новій гнучкості композитори та саунд-дизайнери можуть створювати більш складні та захоплюючі звукові ландшафти, щоб збагатити досвід кожного гравця.

До ери PlayStation створення звуку для ігор вимагало глибокого розуміння аудіопрограмування та процедурного аудіо. Ті, хто створював звуки, повинні були добре розбиратися в складному кодуванні та обробці сигналів, щоб генерувати та впроваджувати звукові ефекти та музику. Це робило процес дуже трудомістким і часто обмежувало творчість тих, хто був більш схильний до музики, але менш технічно підкований.

Багато в чому PlayStation зробила революцію в цьому процесі, дозволивши легко впроваджувати в ігри попередньо записані звукові ефекти та музику. Композиторам і саунд-дизайнерам більше не потрібно було турбуватися про тонкощі процедурного звуку. Натомість вони могли зосередитися виключно на створенні високоякісних звукових ефектів і музики, які потім передавали розробникам для інтеграції в гру.

Процесуальне аудіо вийшло з моди?

Незважаючи на поширення попередньо записаних звукових ефектів і музики, процедурне аудіо ще не вийшло з моди. Багато ігор після PlayStation продовжують використовувати математичні моделі процедурного звуку. Розглянемо деякі з найпопулярніших.

Сучасні ігри, які використовують процедурне аудіо

Спора

У революційній грі Spore 2008 року аудіопрограмісти Аарон МакЛеран і Кен Джоллі застосували передові процедурні аудіотехніки, щоб створити динамічний та захоплюючий слуховий досвід.

Вони використовували адаптацію Pure Data під назвою libpd - вбудовану бібліотеку аудіосинтезу, призначену для інтеграції потужних можливостей Pure Data в інші програми. Для тих, хто не знає, Pure Data - це візуальна мова програмування для мультимедіа з відкритим вихідним кодом, яка широко використовується у створенні інтерактивної комп'ютерної музики та аудіо.

Libpd дозволив команді генерувати музику та звуки навколишнього середовища на основі змінних, що нескінченно змінюються в грі. Наприклад, коли гравці створювали та еволюціонували своїх істот, звуки, які вони видавали, генерувалися в реальному часі, відображаючи їхні унікальні характеристики та поведінку.

Таке використання процедурного аудіо гарантувало, що кожен гравець отримає унікальний та особистий досвід гри.

No Man's Sky

No Man's Sky - ще один яскравий приклад того, як процедурний саунддизайн може створити багатий і динамічний ігровий світ. Команда розробників зіткнулася з унікальним викликом - створити саундтрек, який міг би адаптуватися до процедурно згенерованого всесвіту гри. Оскільки більшість ресурсів гри, включаючи планети, екосистеми і навіть істот, генеруються алгоритмічно, традиційного заздалегідь записаного саундтреку було б недостатньо.

Щоб впоратися з цим завданням, команда Hello Games використала аудіопроміжне програмне забезпечення Wwise, а саме спеціальний плагін VocAlien. Цей інструмент був необхідний для синтезу вокалізацій для різноманітних та унікальних істот у грі. VocAlien генерує звуки на основі характеристик кожної істоти, таких як її розмір і тип, гарантуючи, що кожен звук буде доречним і унікальним.

Процедурна аудіосистема в грі також дозволила творцям по суті "виконувати" звуки. Це означає, що створені звукові ландшафти - це не статичні записи, а динамічні звукові фрагменти, які змінюються в реальному часі на основі базової анімації та поведінки істот.

В результаті звуки, які ви чуєте під час дослідження, тісно пов'язані з діями на екрані та умовами навколишнього середовища.

Небезпечна еліта

Elite Dangerous, мега-хіт 2014 року в жанрі онлайн-фантастичного космічного симулятора, встановив високу планку імерсивного звуку в іграх завдяки використанню процедурного саунд-дизайну. Розробники гри використовували процедурні методи для створення динамічних та адаптивних звуків, зокрема для двигунів космічних кораблів та графічних інтерфейсів.

Міні-метро

Mini Metro - це мінімалістичний симулятор метро з 2015 року, який використовує процедурне аудіо для створення адаптивного та захопливого саундтреку, що покращує ігровий процес. Розробники, Dino Polo Club, від самого початку прагнули інтегрувати процедурну музику, використовуючи сильні сторони процедурних технік, щоб відповідати динамічній природі гри.

Композитор Річ Вріланд використав процедурну музичну систему, яка реагує на дії гравця та еволюцію системи метрополітену. Кожне місто в грі має свій власний набір музичних якостей, таких як ритми та гармонії, які динамічно змінюються залежно від того, як гравці будують та змінюють свої лінії метрополітену.

Just Cause 4

У Just Cause 4 розробники використали процедурний звуковий дизайн для звукового ефекту свисту, який генерується, коли гравець проїжджає повз транспортний засіб NPC у потоці машин. Цей ефект створюється за допомогою синтезу під час виконання за допомогою аудіопроміжного програмного забезпечення FMOD.

Цей звуковий ефект свисту було синтезовано за допомогою суміші білого та коричневого шуму. Білий шум має однакову інтенсивність на різних частотах, створюючи послідовний шиплячий звук, тоді як коричневий шум має більше енергії на нижчих частотах, створюючи глибший, м'якший звук.

Змішуючи ці два типи шуму в різних співвідношеннях, команда змогла варіювати вихід комбінованого звуку на основі декількох ігрових змінних, таких як відстань до транспортних засобів NPC, швидкість цих транспортних засобів і швидкість транспортного засобу гравця.

Завдяки такому підходу звукові ефекти в ігровому рушії змогли динамічно адаптуватися до дій гравця та навколишнього середовища.

Підсумкові думки - дивлячись у майбутнє процедурного саунд-дизайну

Процедурний звук пропонує величезну гнучкість у сучасному ігровому процесі. Звукорежисери можуть створювати динамічні та адаптивні звукові ландшафти, які реагують на дії гравця та зміни навколишнього середовища в реальному часі, забезпечуючи унікальний досвід кожного гравця, а також посилюючи занурення та залучення, надаючи звукові ефекти, адаптовані до конкретного контексту ігрового процесу.

Однак, незважаючи на переваги процедурного аудіо, семпльоване аудіо залишається золотим стандартом для досягнення найвищої точності та реалістичності. Заздалегідь записані семпли передають найдрібніші деталі та природні характеристики реальних звуків, забезпечуючи неперевершений рівень якості звуку. Чому б просто не запрограмувати деякі з мільйонів семплів ударів меча, доступних в бібліотеках семплів, замість того, щоб синтезувати свій власний?

У майбутньому процедурні методи, ймовірно, продовжуватимуть розвиватися і доповнюватимуть традиційні методи саунддизайну. Інтегруючи процедурний саунддизайн із семпльованим аудіо, творці ігор зможуть використовувати сильні сторони обох підходів для створення більш динамічних і реалістичних звукових сцен.