Мультимедиа технологии. Лекция 3. Составляющие мультимедиа. Звук

1. Мультимедиа технологии. Лекция 3. Составляющие мультимедиа. Звук Антон Викторович Кудинов, доцент кафедры ВТ

2. Содержание • Природа звука • Оцифровка звука. Запись звука • Обработка • Сжатие • Форматы хранения • Объединение звука и изображения • Методы синтеза звука • MIDI

3. Природа звука • Отличается от всех цифровых средств информации (визуальных) • Комбинация физических и психологических факторов • Сложно смоделировать • Не всегда нужен: легко раздражает

4. Два специальных типа звука • Музыка (имеет культурный статус) • Речь (имеет лингвистическое содержание) • Разработаны специальные представления речи (особые алгоритмы сжатия) и музыки (команды)

5. Природа звука • Преобразование энергии в колебания воздуха или другой упругой среды • Камертон – одна частота • Большинство звуков – сложной природы, можно разложить на набор частотных компонентов • Частотный спектр - способ описания звука через относительные амплитуды его частотных компонентов

6. Свойства звука • Высота – восприятие мозгом частоты колебаний • Длительность – восприятие продолжительности колебаний • Громкость – восприятие амплитуды колебаний • единица измерения – децибел • удвоение амплитуды звуковых колебаний соответствует увеличению громкости на 6 децибел, и наоборот • Пространственная локализация– оценка направления на источник звука и расстояния до него • Тембр – окраска звука. По тембрам отличают звуки одинаковой высоты и громкости, но исполненные или на разных инструментах, разными голосами, или на одном инструменте разными способами, штрихами.

7. Особенности восприятия звука человеком • 20 Гц – 20 кГц (средние) • Верхняя граница чувствительности снижается с возрастом • Форму сигнала любого звука можно изобразить, построив зависимость его амплитуды от времени • Иллюзии: • более громкий звук кажется более низким • сложные звуки кажутся более низкими, чем чистые • человек выделяет свое имя, произнесенное в шуме • стереофония

8. Цитата • «Зная об очевидной сложности акустических сигналов, было бы наивно верить, что аналоговые или цифровые технологии развились достаточно, чтобы допускать точную запись и передачу того, что мы слышим. Ситуацию еще более усложняет то, что мы не знаем точного предела человеческого восприятия. Очевидно одно: в лучшем случае, даже при использовании самой сложной технологии, то, что воспроизводится аудиосистемой, является лишь аппроксимацией реального звука». Кен С. Похлманн

9. Оцифровка звука • 1. Преобразование звука в электрический сигнал • 2. Аналогово-цифровое преобразование: • квантование • дискретизация

10. Дискретизация • Частота Найквиста для оцифровки звука: • f = 2 fmax = 2 * 20 кГц = 40 кГц • Для разный целей: • AudioCD – 44,1 кГц • передача через Internet – 22,05 кГц • запись речи – 11, 025 кГц • цифровые аудиоленты – 48 кГц • Используется частотный фильтр, удаляющий частоты больше половины частоты дискретизации

11. Квантование • Количество уровней выбирается исходя из удобного количества бит • Обычно – 16 бит, 65 536 уровней • Шум квантования • Минимальный уровень – 8 бит • Высококачественный звук – 24 бит (сложная схема АЦП)

12. Шум квантования

13. Сжатие • сжатие речи • удаление пауз (амплитуда ниже заданного порога) • нелинейное квантование • адаптивная дифференциальная импульсно-кодовая модуляция (16-32 Кбит/с) • кодирование с линейным предсказанием • сжатие на основе восприятия • отбрасывание данных, не влияющих на восприятие сигнала • сжатие на основе порога слышимости – психо-акустическая модель • стандарт MPEG-1, разработанный для видео, хорошо используется для аудио, имеет 3 уровня (3-й уровень – MP3) • аудио MPEG-2 – Advanced Audio Coding (AAC), лучше сжатие, нет обратной совместимости

14. Форматы хранения и передачи • По платформам: • MacOS – AIFF (.aiff) • Windows – WAVE (.wav) • Unix – AU (.au, .snd) • MP3 – скорее алгоритм сжатия, может быть частью других форматов • RealAudio (.ra, .ram) – для потокового аудио • MIDI (.mid) • MOD (.mod) – для хранения сэмплов, платформонезависимый

15. Методы синтеза звука • таблично-волновой синтез (WaveTable, WT) – основан на воспроизведении сэмплов – заранее записанных звучаний реальных инструментов • сэмплы содержатся в ПЗУ звуковой платы, можно загружать в ОЗУ • изменение высоты звука через изменение скорости проигрывания сэмпла • параллельное проигрывание разных сэмплов • дополнительная обработка звука (модуляция, фильтрация) • достоинства: реалистичность звучания классических инструментов, простота получения звука • недостатки: жесткий набор заранее подготовленных тембров, большие объёмы памяти для сэмплов, неодинаковое звучание разных моделей синтезаторов из-за различающихся наборов стандартных инструментов

16. Методы синтеза звука • частотная модуляция (Frequency Modulation, FM) – синтез, основанный на использовании нескольких генераторов сигнала с взаимной модуляцией • каждый генератор управляется схемой, регулирующей частоту и амплитуду сигнала (оператор) • бывает двухоператорный (OPL2) и четырехоператорный (OPL3) синтез • тембр звучания определяется схемой соединения операторов и параметрам и каждого оператора • мах количество синтезируемых тембров – зависит от числа операторов и схемы управления ими

17. Частотная модуляция • достоинства: не надо заранее записывать звуки инструментов и хранить их в ПЗУ, велико разнообразие получаемых звучаний, легко повторить тембр на различных платах с совместимыми синтезаторами • недостатки: трудно обеспечить достаточно благозвучный тембр во всем диапазоне звучания, имитация звучания реальных инструментов крайне грубая, сложно организовать тонкое управление операторами, из-за чего в звуковых платах используется упрощенная схема с небольшим диапазоном возможных звучаний

18. Выбор метода синтеза • Если в композиции нужен звук реальных инструментов, лучше подходит метод таблично-волнового синтеза • Для создания новых тембров более удобен метод частотной модуляции, хотя возможности FM-синтезаторов звуковых плат достаточно ограничены

19. MIDI • Musical Instruments Digital Interface • по сравнению с цифровым звуком – как векторная графика по сравнению с растровой • сокращенная форма записи музыки в цифровой форме • достоинства: • меньший объем памяти • более высокое качество произведения • можно редактировать на уровне отдельных нот, менять скорость и тембр звучания и т.д. • недостатки: • зависимость от устройства воспроизведения • нельзя записать произвольный звук

20. MIDI-файл • представляет собой последовательность команд, которыми записаны действия (например, нажатие клавиши на пианино или поворот регулятора) • General MIDI (GM) –разработка фирмы Roland, 128 мелодических тембров с возможностью воспроизведения звуков разной высоты и 46 ударных инструментов. За всеми инструментами закреплены номера • General Standart (GS) – общий стандарт фирмы Roland, включает дополнительные наборы мелодических и ударных инструментов, а также различные эффекты (скрип двери, звук мотора, крики и т.д.) • Extended General (XG) – новый стандарт фирмы Yamaha, включающий несколько сотен мелодических и ударных инструментов, ставший альтернативой формату GS

21. Спасибо за внимание! • KudinovAV@tpu.ru