Психоакустика и перцепционное аудиокодирование: как наш мозг формирует звуки, которые мы слышим

Мир наполнен звуками, живой симфонией частот и амплитуд, которая постоянно бомбардирует наши уши. Но то, что мы *слышим*, — это не только то, что попадает в наши уши; это также продукт интерпретации нашего мозга. Это увлекательное взаимодействие между физическими свойствами звука и нашим субъективным восприятием составляет основу психоакустики, науки о том, как мы воспринимаем звук. Понимание психоакустики — это не просто академическое занятие; это ключ к созданию высококачественных аудиовпечатлений, от стриминга музыки на вашем телефоне до иммерсивного звука в кинотеатре.

Что такое психоакустика?

Психоакустика — это изучение взаимосвязи между физическими характеристиками звука и нашим субъективным его восприятием. Она преодолевает разрыв между объективным миром звуковых волн и субъективным миром нашего слухового опыта. Эта область сочетает в себе аспекты акустики, психологии и нейронауки для изучения того, как люди воспринимают звук, включая громкость, высоту тона, тембр и пространственное расположение.

Ключевые области психоакустических исследований включают:

Восприятие громкости: Как мы воспринимаем интенсивность звука.
Восприятие высоты тона: Как мы воспринимаем частоту звука и способность различать высокие и низкие тона.
Восприятие тембра: Как мы воспринимаем уникальные характеристики звука, например, разницу между пианино и скрипкой, играющими одну и ту же ноту.
Пространственный слух: Как мы воспринимаем местоположение источника звука.
Маскировка: Явление, при котором один звук затрудняет прослушивание другого звука.

Слуховая система человека

Прежде чем углубляться в конкретные психоакустические принципы, важно понять базовую структуру слуховой системы человека. Звуковые волны собираются наружным ухом, направляются по слуховому проходу и заставляют барабанную перепонку вибрировать. Эти вибрации усиливаются косточками среднего уха (молоточек, наковальня и стремечко) и передаются во внутреннее ухо, а именно в улитку. Улитка, заполненная жидкостью структура в форме улитки, содержит тысячи крошечных волосковых клеток, которые преобразуют механические вибрации в электрические сигналы. Эти сигналы затем отправляются в мозг по слуховому нерву, где они обрабатываются и интерпретируются как звук.

Этот сложный процесс показывает, насколько чувствительным может быть человеческое ухо. Ухо способно улавливать огромный диапазон частот, обычно от 20 Гц (циклов в секунду) до 20 000 Гц. Однако этот диапазон варьируется от человека к человеку и уменьшается с возрастом (пресбиакузис). Ухо также невероятно чувствительно к изменениям интенсивности, способно воспринимать звуки от самого тихого шепота до рева реактивного двигателя.

Ключевые принципы психоакустики

Несколько ключевых принципов определяют наше понимание того, как мы воспринимаем звук:

1. Громкость и шкала фонов

Громкость — это субъективное восприятие интенсивности звука. Для измерения громкости используется шкала фонов. Один фон определяется как громкость тона в 1 кГц с определенным уровнем в децибелах. Человеческое ухо не воспринимает все частоты с одинаковым уровнем громкости; мы наиболее чувствительны к звукам в среднечастотном диапазоне (около 2-5 кГц). Уровни звука можно измерять с помощью шкалы децибел (дБ), но громкость субъективна, что делает шкалу фонов полезной.

2. Высота тона и шкала мелов

Высота тона — это субъективное восприятие частоты звука. Шкала мелов — это перцепционная шкала высот тона, которые слушатели оценивают как равноотстоящие друг от друга. Шкала мелов основана на том, что взаимосвязь между воспринимаемой высотой тона и фактической частотой не является линейной. Хотя наше восприятие высоты тона напрямую связано с частотой звуковой волны, эта связь не является простым соответствием один к одному. Например, мы более чувствительны к изменениям высоты тона на низких частотах, чем на высоких. Шкала мелов используется в распознавании речи и других приложениях.

3. Критические полосы

Улитка действует как частотный анализатор, эффективно раскладывая сложные звуки на составляющие их частоты. Базилярная мембрана в улитке вибрирует в разных местах в ответ на разные частоты. Этот процесс делит слышимый частотный спектр на ряд перекрывающихся частотных полос, называемых критическими полосами. Каждая критическая полоса представляет собой диапазон частот, воспринимаемых как единое слуховое событие. Ширина этих полос варьируется в зависимости от частоты: более узкие полосы на низких частотах и более широкие на высоких. Понимание критических полос имеет решающее значение для перцепционного аудиокодирования, поскольку позволяет эффективно сжимать данные, отбрасывая информацию, которая с меньшей вероятностью будет воспринята.

4. Маскировка

Маскировка — это фундаментальное психоакустическое явление, при котором присутствие одного звука (маскера) затрудняет или делает невозможным прослушивание другого звука (цели). Этот эффект зависит от частоты; более громкий звук на частоте, близкой к целевому звуку, будет маскировать его более эффективно, чем звук на значительно отличающейся частоте. Маскировка — один из важнейших принципов, используемых перцепционными аудиокодеками. Анализируя аудиосигнал и выявляя замаскированные частоты, кодек может избирательно отбрасывать информацию, незаметную для слушателя, что значительно уменьшает размер файла без ощутимого ухудшения качества звука. Типы маскировки включают:

Одновременная маскировка: Происходит, когда маскер и цель звучат одновременно.
Временная маскировка: Происходит, когда маскер предшествует или следует за целью.

5. Временные эффекты

Наше восприятие звука также может зависеть от времени событий. Например, эффект предшествования описывает явление, при котором мы воспринимаем направление источника звука на основе первого пришедшего звука, даже если более поздние отражения приходят с разных направлений. Этот эффект позволяет нам локализовать звуки в сложных акустических средах.

Перцепционное аудиокодирование: использование психоакустики для сжатия

Перцепционное аудиокодирование, также известное как психоакустическое аудиокодирование, — это метод, который использует ограничения человеческого слуха для эффективного сжатия аудиоданных. Вместо того чтобы просто уменьшать размер файла, отбрасывая информацию, перцепционные аудиокодеки используют психоакустические принципы для выявления и отбрасывания аудиоинформации, которая незаметна или менее важна для слушателя. Это позволяет достичь значительных коэффициентов сжатия при сохранении высокого уровня воспринимаемого качества звука. Примеры включают MP3, AAC, Opus и другие.

Общий процесс перцепционного аудиокодирования включает несколько ключевых шагов:

Анализ сигнала: Аудиосигнал анализируется для определения его спектрального содержания и временных характеристик.
Психоакустическое моделирование: Используется психоакустическая модель для анализа сигнала и определения, какие части аудио являются перцепционно важными, а какие можно отбросить без значительного влияния на восприятие при прослушивании. Эта модель обычно учитывает такие факторы, как маскировка и критические полосы.
Квантование и кодирование: Оставшиеся, перцепционно важные, части аудиосигнала квантуются и кодируются. Квантование включает в себя уменьшение точности аудиоданных, а кодирование преобразует данные в сжатый формат.
Декодирование: На стороне воспроизведения сжатые данные декодируются для восстановления приближенной версии исходного аудиосигнала.

Как маскировка обеспечивает сжатие

Маскировка является краеугольным камнем перцепционного аудиокодирования. Поскольку наличие более громкого звука может маскировать более тихий, кодеки используют это следующим образом:

Определение порогов маскировки: Кодек анализирует аудиосигнал для определения порогов маскировки — уровней, при которых определенные частоты становятся неслышимыми из-за присутствия других звуков.
Отбрасывание замаскированных частот: Частоты ниже порога маскировки отбрасываются. Поскольку слушатель все равно их не услышит, их удаление из закодированных данных значительно уменьшает размер файла.
Стратегическое распределение битов: Кодек выделяет больше битов для кодирования аудиоинформации в перцепционно важных областях, таких как частоты, которые не замаскированы и близки к исходным данным.

Практические примеры: MP3 и AAC

Два самых популярных перцепционных аудиокодека — это MP3 (MPEG-1 Audio Layer III) и AAC (Advanced Audio Coding). Эти кодеки используют разные психоакустические модели и методы кодирования, но оба основаны на одних и тех же фундаментальных принципах. Оба формата анализируют аудио для выявления маскируемых компонентов и удаления или значительного снижения точности этих замаскированных частот. MP3 используется десятилетиями и изменил способ потребления аудио. AAC более современен и часто считается обеспечивающим более высокое качество при тех же или более низких битрейтах, особенно для сложных аудиосигналов. Оба кодека продолжают широко использоваться по всему миру в различных приложениях, от музыкальных стриминговых сервисов, таких как Spotify и Apple Music, до подкастов и цифрового вещания.

Вот упрощенная иллюстрация:

Исходное аудио: Запись симфонического оркестра.
Анализ кодеком: Кодек анализирует аудио для определения звуковых компонентов и выявления эффектов маскировки. Например, громкий удар тарелок может маскировать более тихие звуки на схожих частотах.
Применение порога маскировки: Кодек рассчитывает пороги маскировки на основе психоакустических моделей.
Сокращение данных: Аудиоданные ниже порога маскировки либо полностью удаляются, либо кодируются со значительно меньшей точностью.
Сжатый вывод: В результате получается сжатый аудиофайл (например, MP3 или AAC), который значительно меньше исходного, но при этом сохраняет высокую степень качества оригинального аудио.

Применение и влияние перцепционного аудиокодирования

Перцепционное аудиокодирование произвело революцию в том, как мы потребляем и распространяем аудио. Оно способствовало многочисленным технологическим достижениям и улучшило аудиовпечатления миллиардов людей по всему миру:

Музыкальные стриминговые сервисы: Платформы, такие как Spotify, Apple Music и YouTube, в значительной степени полагаются на сжатие аудио для доставки высококачественного звука через интернет. Возможность эффективно транслировать музыку сделала ее доступной по запросу практически из любой точки мира.
Цифровое аудиовещание (DAB): Цифровое радио использует сжатие аудио для трансляции большего количества каналов с более высоким качеством звука, чем традиционное аналоговое радио. DAB становится мировым стандартом для радиовещания.
Видеоконференции и VoIP: Техники сжатия необходимы для передачи аудио в реальном времени в видеоконференциях, онлайн-встречах и звонках по Voice over Internet Protocol (VoIP). Это важно как для делового, так и для личного общения по всему миру.
Распространение цифрового видео: Сжатие аудио является неотъемлемой частью цифровых видеоформатов, таких как MP4 и Blu-ray, что позволяет эффективно хранить и распространять видео и аудио высокой четкости.
Хранение файлов: Сжатие аудио позволяет хранить большие аудиофайлы и жизненно важно для устройств с ограниченным объемом памяти.

Влияние перцепционного аудиокодирования огромно, от обеспечения бесперебойной связи между континентами до предоставления высококачественных развлекательных впечатлений.

Вызовы и будущие направления

Хотя перцепционное аудиокодирование достигло значительного прогресса, существуют текущие вызовы и области для будущего развития:

Перцепционная прозрачность: Достижение идеальной перцепционной прозрачности (когда сжатое аудио неотличимо от оригинала) остается целью для многих приложений, особенно при очень низких битрейтах.
Обработка сложного аудио: Сложные аудиосигналы, такие как записи с живых концертов или с широким динамическим диапазоном, могут представлять собой вызов для кодеков.
Продвинутые психоакустические модели: Текущие исследования нюансов человеческого слуха ведут к разработке более сложных психоакустических моделей, которые могут улучшить эффективность сжатия и качество звука.
Объектно-ориентированное аудио: Новые технологии, такие как Dolby Atmos и MPEG-H, включают объектно-ориентированное аудио, что требует новых техник сжатия для эффективного кодирования пространственных и иммерсивных аудиоданных.
Адаптация к новым технологиям: По мере развития аудиоформатов и устройств воспроизведения (например, рост популярности стриминга без потерь и аудио высокого разрешения), перцепционные аудиокодеки должны адаптироваться, чтобы соответствовать требованиям аудиофилов и слушателей, требующих премиальных впечатлений от прослушивания.

Заключение

Психоакустика дает фундаментальное понимание того, как люди воспринимают звук. Эти знания необходимы для создания эффективных стратегий аудиокодирования. Понимая слуховую систему человека, психоакустические модели и такие методы, как маскировка, инженеры разработали перцепционные аудиокодеки, которые обеспечивают удивительно эффективное сжатие, улучшая впечатления по всему миру. По мере того как технологии продолжают развиваться, синергия между психоакустикой и аудиокодированием будет по-прежнему иметь решающее значение в формировании того, как мы будем воспринимать звук в будущем. От самых маленьких наушников до самых больших концертных залов, психоакустика играет жизненно важную роль, позволяя нам наслаждаться музыкой, фильмами и всеми формами аудиоконтента более эффективно и с большим удовольствием.