О музыке и ….

А.В. Цыганов, 2011.

Почтенный Пифагор отвергал оценку музыки, основанную на свидетельстве

чувств. Он утверждал, что достоинства её должны восприниматься умом, и

потому судил о музыке не по слуху, а на основании математической гармонии и

находил достаточным ограничить изучение музыки пределами одной октавы.

Плутарх

Настоящая наука и настоящая

музыка требуют однородного

мыслительного процесса.

Альберт Эйнштейн

Музыка есть таинственная арифметика души; она вычисляет, сама того не сознавая.

Готфрид Лейбниц

Физика звука Звуковой диапазон, распространение звуковых колебаний (волн), спектр,

осциллограмма, сонограмма, спектрограмма, виды колебаний – простое, сложное,

периодические и непериодические колебания, музыкальные звуки и шумы,

гармоники, обертоны, унтертоны, частотные составляющие, сложные колебаний –

синус, меандр, пила, шум, понятие модуляции, амплитудная, частотная и

спектральная модуляция, явление резонанса, восприятие откликов и отражений,

затухание и поглощение колебаний (низко и высокочастотных), зона максимальной

чувствительности, восприятие фазовых характеристик, связь временных и

пространственных характеристик, эффект Доплера и т.д.

Теория музыки Высота звука, громкость звука, длительность звука, тон и полутон, звукоряд,

темперированный строй, музыкальный лад, мажор, минор, тональность,

музыкальный размер, ритм, знаки альтерации, лига, фермата, хроматизм, аккорд,

арпеджио, сольфеджио, тембр, экмелика, такт, реверберация и т.д.

В древности, существовало множество форм записи музыки: греческая форма,

крюковые формы знаменных, демественных и др. распевов, которые впоследствии

были заменены набором всего семи делений октавы, рассматриваемых посейчас как

наиболее совершенная форма записи.

Существующая ныне нотационная форма является весьма удобной, поскольку с ее

помощью, а также с помощью некоторых других специальных знаков (например,

бемоля, диеза, знаков мелизмов) достаточно просто записать любое произведение,

достаточно просто его прочесть.

Недавно стала возможной запись музыкального произведения как аудиосигнала в

виде последовательности единиц и нулей, упакованных в файл на некотором носителе.

Так или иначе, запись музыки осуществляется посредством разложения звукоряда

по некоторым векторам (или функциям), образующим базисную систему.

Частота́ — физическая величина, характеристика периодического процесса, равная числу полных циклов, совершённых за единицу времени. Периодический сигнал характеризуется мгновенной частотой, являющейся скоростью изменения фазы, но тот же сигнал можно представить в виде суммы гармонических спектральных составляющих, имеющих свои частоты. Усреднённое значение частот, воспринимаемых человеческим ухом, лежит в диапазоне от 20 Гц до 20 кГц. Сердце в спокойном состоянии бьётся с частотой приблизительно 1 Гц (Herz - сердце) Спектрограмма звука, как и музыкальная партитура, представляет собой визуальное представление звука. Как и в нотной записи, по горизонтали отложено время (слева направо), а по вертикали частота (pitch), чем выше звук, тем выше точка по вертикали. Относительная интенсивность звука в любой конкретный момент времени и частоты обозначается цветом спектрограммы в этой точке. Спектрограммы дают более полную и точную информацию, чем партитура, потому что основаны на реальных измерениях частоты звука и времени. Сонограмма — это диаграмма, на которой по оси абсцисс откладывается время, по оси ординат — частота, а амплитуда соответствующей частотной составляющей отмечается интенсивностью цвета в данной точке графика.

Распознавание речи

Мы интуитивно делим речь на звуки, которые записываем буквами, и нам кажется, что

звук «а» — это всегда «а», а в слово «мама» есть два абсолютно одинаковых звука «а».

Проведите эксперимент: запишите слово «мама», а потом, с помощью средств

обработки аудиозаписи поменяйте слоги местами...

То, что получится, словом «мама» назвать очень трудно. Именно поэтому речь трудно

синтезировать, и компьютеры при загрузке нас ещё не приветствуют словами на

чистейшем русском языке: «Доброго Вам утра, Хозяин!»…

У звуков нет чётких границ, и нельзя определить — вот здесь кончается фонема «а», а

здесь начинается фонема «м». Фонемы речи переходят друг в друга плавно, при этом

звуковое окружение сильно искажает форму фонемы.

Фонема, изменённая данным звуковым окружением, называется аллофоном.

Например, на спектрограмму второго звука «а» в слове «мама» серьёзно влияют две

буквы «м» по соседству, и она отличается от четвёртой фонемы «а», у которой с

одной стороны «м», а с другой — ничего.

Аллофон — это и есть конкретная фонема в данном месте. То есть, возвращаясь к слову

«мама», второй и четвёртый звук здесь будет — одна и та же фонема «а», но аллофоны

разные – что и померил наш прибор.

А теперь ставим задачу: автоматически (то есть без участия человека) распознать

некоторое слово, причём сделать это пофонемно.

Стандартный метод следующий: вместо фонем берутся пары и тройки фонем,

называемые «дифонами» (пара фонем) и «трифонами» (тройка фонем).

При этом разбивка на трифоны идёт с наложением, так, чтобы каждая фонема была в

центре трифона хотя бы один раз (метод шинглов)

Например, уже указанное слово «МАМА» на трифоны разобьётся следующим

образом:

sil М A

М А М

А М А

М А sil

Здесь sil означает начало или конец слова (от "silence" — тишина). Далее сети Маркова

и ли нейросети.

Распознавание звуковых особенностей

Beethoven’s Piano Sonata in E (Opus 109

Benny Goodman “Sing, Sing, Sing”

Jimi Hendrix recording of “All Along the Watchtower”.

Полная спектрограмма Dave Brubeck Quartet’s “Unsquare Dance”

Частоты выше 3000 Hz – барабанные палочки, хлопки, тарелки и т.д.

Частоты от 400 и до 3000 Hz - пианино

Частоты ниже 400 Hz - басы

Спектрограмма перкуссии для оценки энтропии ритма

(цепочка 1,0 снизу) в различной этнической музыке.

Может использоваться для для автоматического

распознавания языка, на котором идёт разговор и т.д.

“Dance Around”. “Welela” “Taxman”

“скелет” экстремумов и пр. жаргон

В музыке эта статистическая оценка меры сложности ритма используется

для автоматического определения стиля музыки и других ее особенностей

Энтропию и другие меры сложности различных систем и как их

использовать Вы будете проходить на курсе “Стат. физика”

Spectrogram of Shepard’s illusion

William Byrd’s motet, “Non vos relinquam orphanos”.

Внутри параллелограмма можно явно

увидеть возрастающую серию

овертонов, полностью аналогичную

иллюзии Шепарда

Акустические иллюзии и фракталы

Гермес Трисмегист: "То, что находится внизу соответствует тому, что пребывает вверху, и то, что пребывает вверху соответствует тому, что находится внизу, чтобы осуществить чудеса единства"

Тон Шепарда, названный так по фамилии его создателя Роджера Шепарда, — это звук,

образуемый наложением синусоидальных волн, частоты которых кратны друг другу

(звуки расположены по октавам)

Повышающийся или понижающийся тон Шепарда называется звукорядом (ладом)

Шепарда. Громкости распределены по нормальному закону, где вершина колокола

гауссовой кривой находится в районе ноты до 5 октавы

Такой звукоряд создает иллюзию бесконечно повышающегося или понижающегося

тона, в то время как на самом деле его высота в целом не меняется.

Можно встретить его в в конце Бесконечно возрастающего канона, в Фантазии и

фуге соль минор для органа Баха, в третьем этюде Шопена, A Day At The Races -

Queen, Echoes- Pink Floyd и т.д.

Жан Клод Рисе впоследствии создал версию лада с непрерывным изменением

высоты звуков Шепарда, получившую название непрерывного лада Рисе или

глиссандо Шепарда-Рисе.

При правильном исполнении оно создает иллюзию непрерывно повышающегося или

понижающегося тона.

Рисе также создал похожую иллюзию с непрерывно ускоряющимся или

замедляющимся ритмом.

Фрактальная геометрия является моделью, позволяющая избавиться от привычки смотреть на вещи с точки зрения их размера и продолжительности.

Смысл имеет только масштаб, в котором рассматривается явление.

Фрактал (лат. fractus — дробленый, сломанный, разбитый) — сложная

геометрическая фигура, обладающая свойством самоподобия, то есть

составленная из нескольких частей, каждая из которых подобна всей фигуре

целиком.

В более широком смысле под фракталами понимают множества точек в

евклидовом пространстве, имеющие дробную метрическую размерность (в

смысле Минковского или Хаусдорфа), либо метрическую размерность, строго

большую топологической.

Треугольник Серпинского — фрактал, один из двумерных аналогов множества Кантора предложенный польским математиком Серпинским в 1915 году.

Равносторонний треугольник 𝑴𝟎 делится прямыми, параллельными его сторонам, на 4 равных равносторонних треугольника. Из треугольника удаляется центральный треугольник. Получается множество 𝑴𝟏, состоящее из 3 оставшихся треугольников "первого ранга". Поступая точно так же с каждым из треугольников первого ранга, получим множество 𝑴𝟐 , состоящее из 9 равносторонних треугольников второго ранга. Продолжая этот процесс бесконечно, получим бесконечную последовательность 𝑴𝟎 𝑴𝟏 𝑴𝟐 пересечение членов которой есть треугольник Серпинского.

Spectrogram for the fractal music “Fern”

Математика и музыка 1. Спектральные методы (Фурье-анализ и др. ортогональные преобразования)

2. Кратномасштабные методы (пирамидальные представления, Вейвлет-анализ)

3. Рекурсивно-фрактальные методы (системы итерируемых функций, анализ

фрактальной динамики, марковские цепи и др.)

4. Комбинированные методы (динамическая модель дискретного пространства,

адаптивная сегментация, масштабируемое пространство)

.

Основные требования к методам обработки сигналов на современном этапе развития вычислительных средств:

Возможность обработки нестационарных сигналов

Возможность обработки хаотических (фракталоподобных) сигналов

Возможность применения быстрых алгоритмов и удобство аппаратной

реализации

Учет психофизиологических особенностей человеческого восприятия

Высокая адаптивность

Преобразование Фурье,

оконные преобразования,

преобразование Габора,

вейвлеты и т.д.

Классическим способом анализа и записи музыкальных произведений является

способ разложения в ряд Фурье

𝑓 𝑡 = 𝑎𝑗

𝑁

𝑗=1

𝑒𝑖𝑤𝑗𝑡

Здесь 𝑓(𝑡) – мелодия, 𝑎𝑗 – громкость ноты с частотой 𝑤𝑗 , 𝑎 𝑁 −число нот в

произведении.

Из формулы видно, что подобная форма записи произведения не обеспечивает

дирижера и вокалистов, скрипачей, виолончелистов, кларнетистов и др. точными

сведениями относительно того, в каком такте и начиная с какой его доли

необходимо пропеть ту или иную фразу, ни даже представлениями о том, какова

структура самой фразы (например, педаль или колоратурный пассаж).

Амплитудно-частотный спектр vs ноты – в чем разница?

(собачий вальс)

Одним из возможных способов повышения качества “Фурье-нотации” может

служить способ, основанный на использовании сегментов данных (окон).

Воспользуемся в качестве таких сегментов естественным делением музыкального

произведения на такты, – другими словами, будем считать каждый такт одним

сегментом данных.

Здесь необходимо подчеркнуть, что не существует никаких ограничений в принятии

2, 3, 4 и более тактов за один сегмент данных, однако, представляется очевидным

факт ухудшения качества нотации при увеличении размера сегмента.

Аналогично предыдущему случаю, разложим каждый такт композиции в ряд Фурье,

после чего получим:

𝑓1 𝑡 = 𝑎𝑗

𝑁1

𝑗=1

𝑒𝑖𝑤𝑗𝑡 𝑓2 𝑡 = 𝑎𝑗

𝑁2

𝑗=1

𝑒𝑖𝑤𝑗𝑡 𝑓2 𝑡 = 𝑎𝑗

𝑁2

𝑗=1

𝑒𝑖𝑤𝑗𝑡

Совокупность Фурье-нотаций, соответствующих каждому такту музыкального

произведения, по-видимому, обеспечивает чуть более ясную картину звукового

содержания такта в отличие от предыдущего случая, однако остается по-прежнему

недостаточно информативной системой записи. Во время исполнения

сегментированное таким образом произведение представится слушателю как

последовательность полифонических аккордов.

Наиболее близкая к истинной нотационной форме математическая запись

произведения основана на использовании базиса, образованного wavelet-функциями.

Вейвлеты это функции, обладающие компактным носителем, обеспечивающим их

локализацию во временной области, а также набором моментов, обеспечивающих их

локализацию в частотной области. При этом одним из замечательных свойств

классических wavelet-функций является возможность их построения путем трансляции

и дилатации какой-либо одной, материнской, wavelet-функции. Необходимо

подчеркнуть, что операции трансляции и дилатации обеспечивают сходство

классических wavelet-функций с нотационной формой записи, указывая как на

длительности нот каждого такта, так и на их “высоту”.

Спектральный анализ

Представление сигнала во временной области (преобразование Шеннона,

или разложение по - функциям Дирака):

( ) ( ) ( )R

f t f u t u du Представление сигнала в частотной области (преобразование Фурье, или

разложение в базисе гармонических функций):

( ) ( ) i t

Rf t F e d

Частотно-временные покрытия:

Частотно-временная неопределѐнность

Спектральный анализ учитывает интегральные характеристики и удобен для

анализа стационарных сигналов, в то время как для нестационарных сигналов

необходима частотно-временная локализация особенностей

Нельзя найти функцию, локализующую событие в частотно-временной области

с произвольно малой погрешностью (принцип неопределенности Гейзенберга):

2( ) 1f t dt

(f – квадратично интегрируемая функция в с единичной нормой)

2( ) ( )c f t f t dt

2 2

( ) ( ) ( )f t c f f t dt

центр

ширина

Неравенство Гейзенберга:

для любой функции f(t) с единичной нормой и убывающей быстрее, чем t -1/2 при

t, справедливо соотношение

Принцип неопределенности Гейзенберга и прочие полезные “мелочи вы

будете изучать на курсе “Квантовая механика”

(показать файлы)

Функции, обеспечивающие частотно-временную локализацию с

максимально возможной точностью - модулированные гауссовы функции

(функции Габора) вида

Способ частотно-временной локализации преобразования Фурье - оконное преобразование Фурье

1( ) ( )

2g G

Окно w(t) – движущаяся по временной оси функция, имеющая компактный

носитель, характеризующаяся частотой и сдвигом во времени .

Основные недостатки оконного преобразования Фурье - неоптимальная частотно-

временная локализация и фиксированная ширина окна (неадаптивность обработки)

2 20 0( ) / 2

( )t t t i t

g t Ae e

0 00, 0, 1t t При g(t) - функция Гаусса

, j tF w t f t e dt

В реальных музыкальных “приборах” преобразование Габора используют редко,

иногда предпочитают окно Blackman

для очистки сигнала от шума окно boxcar

Спектрограмма Паваротти с помощью окна Blackman (cказать про mp3)

Частотно-временное и масштабно-временное

представления сигнала

Цель - устранение избыточности частотно-временных покрытий для

представлений Фурье и Дирака

Частотно-временной подход - выбор временной протяженности функций

независимо от частоты модуляции.

Совпадает с оконным преобразованием Фурье:

0

0 0, 0 0( ) ( )i t

tg t e g t t

2 2/ 2

0 0( ) t tg t A e

Масштабно-временной подход - ширина функций во времени обратно

пропорциональна их частоте (0 t = c):

0

0, 0

1( ) ( )t t

t tg t g

tt

2 20/ 2

0 0( )i tt tg t A e e

Покрытие частотно-временной плоскости

для частотно-временного (a) и масштабно-временного

(b) представлений

В случае частотно-временного представления покрытие состоит из одинаковых

прямоугольников, транслируемых по всей плоскости.

В случае масштабно-временного представления прямоугольники имеют одинаковую

площадь, но их относительная разрешающая способность по частоте остается при

этом неизменной

Масштабно-временное представление лежит в основе вейвлет-анализа сигналов

Вейвлет-анализ

Непрерывный

•большая избыточность

•низкая скорость

•эффективен для анализа

нестационарных сигналов

Дискретный

•отсутствует избыточность

•быстрые алгоритмы

•эффективен для сжатия сигналов

и изображений

,

1( , ) ( ), ( ) ( )f a b

t bW a b f t t f t dt

aa

/ 2

,( ) 2 (2 )m m

m n

m Z n Z

f t C d t n

Недостатки вейвлет-анализа

Непрерывный (CWT)

- большая избыточность

- отсутствие быстрых алгоритмов

- невозможность иерархического

представления

- сложность интерпретации

Дискретный (DWT)

- грубое разрешение по шкале

масштабов: соседние масштабы

отличаются в 2 раза

- неадаптивная иерархическая

структура

Разновидность CWT - анализ скелета экстремумов

Фрактальный анализ

Треугольник Серпинского Кривая Коха

Множество Кантора Папоротник Барнсли

Фракталоподобные сигналы

Колебания биржевого курса Электроэнцефалограмма (ЭЭГ)

Системы итерированных функций (СИФ)

ai, bi, ci, di , ei , fi - коэффициенты аффинных преобразований

(Сжатие, сдвиг, перенос, поворот)

СИФ для одномерного сигнала СИФ для двумерного сигнала

Основные свойства представления сигналов

с помощью систем итерированных функций:

Достоинства:

•Компактное рекурсивно-

иерархическое представление

•Сохранение деталей на любых

масштабах

•Качественное восстановление

сигнала на любом масштабе

•Эффективно в задачах сжатия

сигналов и изображений,

обладающих свойством

самоподобия

Недостатки:

•Высокая вычислительная

сложность нахождения

оптимальной СИФ

•Сложность выбора

эвристического алгоритма,

адекватного природе сигнала

(низкая адаптивность)

Теория масштабируемого пространства (МП)

• Важные для нас свойства сигнала существуют только в определенном диапазоне

масштабов. Если этот масштаб неизвестен, применение классических методов

спектрального анализа, вычисляющих интегральные характеристики, не приносит

ощутимых результатов.

• При априорно неизвестном масштабе важных для нас особенностей сигнала наиболее

эффективным является многомасштабное описание сигнала. Примеры: динамическая

модель дискретного пространства, методы кратномасштабного и вейвлет-анализа.

• Окончательной целью многомасштабного описания является построение иерархии

особенностей сигнала на основе анализа взаимосвязи этих особенностей на различных

масштабах. Взаимосвязь между свойствами сигнала на различных масштабах

желательно определить адаптивно, т.е. структурное представление должно

определяться в первую очередь свойствами самого сигнала.