Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

PHILHARMONICA. International Music Journal
Reference:

Academic music transcript modeling using electronic sound synthesis

Kibitkina Elina Vadimovna

PhD in Pedagogy

Individual Entrepreneur, School of Artistic Technologies AVEAL

198188, Russia, g. Saint Petersburg, ul. Zaitseva, 36, kv. 32

elinnkaa@yandex.ru
Other publications by this author
 

 
Fatianova Elena Alekseevna

Postgraduate at the Department of the Knowledge of Instruments of the Russian institute of Art History

190000, Russia, g. Saint Petersburg, Isaakievskaya ploshchad', 5

fatyanovaelena@mail.ru
Other publications by this author
 

 

DOI:

10.7256/2453-613X.2020.6.40365

Received:



Published:

23-12-2020


Abstract: Nowadays, computer technologies are integrated into all art forms. New artistic directions emerge which are totally based on multimedia (primarily audio-visual) instruments. The question about the role of music art in the new cultural paradigm becomes topical. Based on the example of academic music, the article considers the possibilities of using programming tools for music scores processing into a transcript. The authors consider the possible mathematical model of a piece of music which allows processing the piece of music and getting both an authentic and an experimental version. The authors analyze the set of parameters helping to form a virtual acoustic space corresponding with an artistic concept. The authors demonstrate that academic music transcript modeling using electronic sound synthesis can promote the artistic reinterpretation of the score of the piece of music. The selection of particular timber, performance and spatial parameters during transcribing helps to interpret a composition according to the artistic tasks. The use of virtual instruments also allows creating digital recordings without performing musicians. The article contains the variants of forming a virtual acoustic environment based on the example of a classical piece of music for string quartet: from a “traditional” to an “experimental, differing in musical sources positioning, a set of spatial effects and the parameters of their adjustment.   


Keywords:

virtual acoustic space, sound synthesis, sound processing, modeling, music programming, computer music technologies, arrangement, transcription, classical music, spatial effects


Понятие «транскрипция». В настоящее время не существует единого мнения об определении понятия «транскрипция», но наиболее часто в специальной литературе такназывается «переложение, переработка музыкального произведения, имеющие самостоятельное художественное значение» [7, с. 551] (лат. transcriptio – переписывание). Как правило, музыкантом-транскриптором осуществляется относительно свободный «перевод произведения на язык другого инструмента» [6, с. 1851], приобретающий значимость и ценность в качестве нового результата и несущий в себе заметный авторский почерк иной творческой индивидуальности.

Интерпретация нотного текста с применением музыкального инструментария, отличающегося от оригинального, открывает для композиторов, исполнителей и аранжировщиков новые грани изначального замысла сочинения. Так, Ф. Бузони в транскрипциях произведений И.С. Баха прибегает к смелым регистровым контрастам, изобретательно преобразует фактуру и подчёркивает скрытое многоголосие.

Транскрипция, как вид творчества, позволяет существенно преображать классические сочинения современными художественными средствами. Так, если при транскрипции оркестрового сочинения для фортепиано композиторы стремились к имитации специфических звуковых и технических характеристик определённых инструментов, то в электронной музыке эти ограничения снимаются, и в настоящее время палитра музыкального художника имеет бесконечное число звуковых решений.

Транскрипция в эпоху компьютерных технологий. До изобретения компьютера процесс транскрипции выполнялся композиторами и аранжировщиками вручную в соответствии с художественным замыслом и сложившимися традициями. При этом серьёзным препятствием выступало относительно небольшое число акустических инструментов с жёстко заданными диапазонами и тембральными характеристиками, а также необходимость исполнять музыкальные произведения в реально существующих концертных залах, с их достоинствами и недостатками. Иногда помехой служило отсутствие требуемых музыкантов-инструменталистов или их невысокий исполнительский уровень.

В последние десятилетия ситуация стала стремительно меняться. Мультимедийные компьютерные технологии уже достигли достаточного уровня совершенства, во многих аспектах преодолев пороги необходимого «качества» звучания. В отношении насыщенности спектра, выражающей тембральное богатство музыкального материала, объективных границ больше нет, доступно использование всего слышимого диапазона (от 20 Гц до 20 кГц) и даже больше: в «бытовом» аудио нормой считается наибольшая допустимая частота 22,05 или 24 кГц (в файлах и устройствах с частотой дискретизации 44,1 и 48 кГц, соответственно), а в профессиональном она доходит до абсурдных 192 кГц (частота дискретизации 384 кГц), не воспринимаемых человеческим слухом.

Динамическая нюансировка записываемого звука лежит в пределах от 32.768 градаций значений амплитуды звукового давления (при разрядности квантования 16 бит, характерной для музыкальных компакт-дисков) до 8.388.608 (при разрядности 24 бита, применяемой в профессиональных устройствах записи), а при внутренней обработке звуковыми интерфейсами или электронном синтезе (64 бита) – это труднопроизносимое число из 19 десятичных разрядов, при том, что человеческому слуху достаточно всего около 240 градаций [1, с. 114-115]!

Тактовые частоты современных процессоров и аудиоустройств позволяют выполнять сотни миллионов операций в секунду и способны не только озвучить электронную оркестровую партитуру, где каждый инструмент представлен отдельным синтезатором, но и пропустить её через целый каскад из процессоров обработки в реальном времени. И, если исходная электронная партитура детально проработана, а синтезаторы реализованы на новейших интеллектуальных алгоритмах и формируют тембр на основе набора качественных звуковых образцов, то результат будет сложно отличить от «живого» концертного исполнения.

Поэтому неудивительно, что музыкально-компьютерные технологии стали активно применяться в композиции и аранжировке как полноценный творческий инструментарий. В современной музыке используются «физически-невозможные» тембры во всём слышимом диапазоне, исполнительские техники и нюансы – как реалистичные, так и технически недостижимые человеком, виртуальные акустические среды – от моделей реальных пространств до необычных и даже невообразимых. Нотный материал можно набрать в специализированном редакторе и не только вывести на печать в типографском качестве, но также прослушать с помощью MIDI-технологии и изменить в нём любые элементы, что сделало сочинение музыки и освоение музыкальной грамоты более доступными и популярными. А в некоторых сферах компьютер полностью заменил человеческое исполнение. Например, в кинематографических проектах с небольшим бюджетом, для которых работа с симфоническим оркестром недоступна по финансовым причинам, сегодня может присутствовать достойно звучащее звуковое сопровождение. А в компьютерных играх только с помощью музыкального программирования и цифрового синтеза можно реализовать вариативность и адаптивность музыкального материала [17, с. 139-165].

Моделирование транскрипции. Для создания полноценной и практически-полезной программной модели транскрипции музыкального произведения, необходимо определить набор и возможные диапазоны значений важнейших параметров, относящихся к процессу преобразования нотного текста в фонограмму с применением электронного звукового синтеза: как для этапа интерпретации исходного нотного материала, так и для этапа синтеза тембров для озвучивания этого материала. Затем нужно предоставить музыканту максимум возможных параметров произведения и виртуальных инструментов для свободного редактирования. Причём так, чтобы любые из них можно было либо полностью контролировать вручную, либо частично автоматизировать.

При достаточной детальности проработки и гибкости настройки подобной программной модели композиторы и аранжировщики смогут создавать с её помощью бесконечное число вариантов звуковых решений – от близких к традиционным (с сохранением тембральных характеристик акустических инструментов, копированием приёмов игры реальных исполнителей и «размещением» виртуальных музыкантов в реалистично воспринимаемых залах) до совершенно новых экспериментальных прочтений пьесы (с неограниченной палитрой тембральных красок, включением виртуозной динамической нюансировки и пространствами, нарушающими физические законы).

Чтобы фонограммы, получаемые с помощью компьютерной транскрипции, имели более выраженное и глубокое художественное содержание и не звучали явно «механистично», требуется исследовать методы транскрипции и аранжировки, применяемые экспертами в области музыкальной теории и практики, а также влияние каждого из параметров на восприятие результата различными категориями слушателей и предложить пользователю, кроме полной свободы действий, несколько наборов параметров, соответствующих «типичным» реализациям из академической музыкальной практики.

Процесс компьютерной транскрипции можно разделить на следующие последовательные этапы:

- перевод знаковой системы партитуры (нотного материала) в математическую модель – буквально набор чисел (например, MIDI-файл);

- модификация этой модели (внесение изменений в инструментальный состав, редактирование исполнительских параметров);

- озвучивание полученной модели (синтез тембров, «создание» пространства и «размещение» в нём инструментов, включение звуковых спецэффектов).

Модель музыкального произведения. Параметры музыкального произведения можно получить, во-первых, из самого нотного текста, а, во-вторых, изучив исполнительские традиции жанра, к которому оно относится. Все параметры можно разделить на три категории.

1. В нотном тексте выделяются тембральные параметры, определяемые исходным инструментальным составом.

2. Параметры исполнения задаются обозначением динамики и её нюансировки в партитуре и, при необходимости, корректируются в соответствии с жанровыми особенностями.

3. Пространственные параметры выбираются в соответствии с численностью ансамбля и стандартами рассадки инструментального состава.

Диапазоны параметров для преобразований могут быть заданы от соответствующих традиционному исполнению с незначительными изменениями и интерпретации исходными тембрами до генерирующих экспериментальное звучание со значительной вариативностью и включающее разнообразные виды электронного синтеза.

Пространство в произведении. В качестве примера, рассмотрим более детально пространственные параметры произведения, среди которых можно выделить, с одной стороны, относящиеся к рассадке исполнителей, и, с другой стороны, описывающие свойства самой виртуальной среды, в которой эти «исполнители» должны существовать.

Первая категория параметров, задающих пространственную позицию в ансамбле, включает:

- наличие и, при наличии, частоту среза высоких частот, что позволяет «приблизить» или «отдалить» источник звука за счёт регулирования состава быстро затухающих высокочастотных компонентов в его тембре;

- амплитудный сдвиг по панораме, «помещающий» источник левее или правее относительно слушателя;

- фазовый сдвиг по панораме, дополняющий стереокартину ещё большим реализмом ввиду учёта разности хода звуковых волн до левого и правого уха слушателя.

Вторая категория параметров формирует геометрию пространства и задаёт:

- габариты и форму виртуального помещения;

- характеристики поверхностей в нём.

Причём, современные технологии свёрточной обработки аудиосигналов, применяемые в лучших профессиональных ревербераторах, способны значительно облегчить задачу создания виртуальной реальности, сведя все параметры пространства к одному – его импульсной характеристике.

Пример формирования пространства в виртуальном произведении. Продемонстрируем на конкретном примере работу с пространственными параметрами для электронной транскрипции академического сочинения для струнного квартета. Тембральные и исполнительские параметры мы при этом оставим «традиционными»: будут применены семплы струнных инструментов и классические приёмы звукоизвлечения.

Рассмотрим детально три варианта транскрипции на примере модификации звучания второй скрипки.

Вариант 1. Предлагается традиционная рассадка инструментов, в которой вторая скрипка находится между первой скрипкой и альтом. Таким образом, она находится немного левее относительно центра, что мы отражаем параметром панорамирования (например, левее центра на 15%).

Для имитации «дугообразной» формы расположения ансамбля, необходимо скорректировать уровень громкости второй скрипки, сделав его меньше, по сравнению с первой скрипкой и виолончелью, «сидящими» на авансцене, и сбалансировав его с уровнем альта, с которым оба они сдвинуты несколько глубже. Приняв передний план за 100%, зададим уровень громкости второй скрипки на 5% ниже.

Чтобы усилить впечатление от большей относительной «отдаленности» второй скрипки, применим незначительный срез высоких частот в её тембре примерно от 15 кГц.

Поскольку ансамбль классический и соблюдаются традиции исполнения, реверберация выбирается с параметрами, характерными для академического камерного зала, и никаких звуковых спецэффектов и дополнительной задержки в этом случае не применяется.

Option1

Рис. 1. Традиционный вариант размещения струнного квартета.

A traditional string quartet layout

Вариант 2. Для второго варианта транскрипции сочинения для струнного квартета может быть предложена альтернативная рассадка исполнителей – подходящая не только для прослушивания через акустическую систему, когда сигналы левого и правого канала перемешиваются в помещении, но и для воспроизведения в наушниках. В ней для достижения лучшего частотного и динамического баланса вторую скрипку можно разместить справа симметрично первой, а альт и виолончель сдвинуть на одну позицию влево. Таким образом, мы избегаем звучания в левом канале исключительно высокочастотных инструментов, а в правом – низкочастотных.

При этой рассадке позиция интересующего нас инструмента в панораме изменяется на существенно смещённую вправо (например, на 60% правее центра), уровень громкости выбирается равный громкости первой скрипки (т.е. изначальный, 100%), срез высоких частот уже не требуется, реверберация остаётся прежней (камерный зал, без дополнительных спецэффектов).

Option2

Рис. 2. Альтернативный вариант размещения струнного квартета.

An alternative string quartet layout

Вариант 3. Теперь продемонстрируем один из возможных «экспериментальных» вариантов реализации пространства в процессе компьютерной транскрипции академической музыки. В нём будет реализована идея расширения стереобазы и моделирования отзвука звучания второй скрипки от противоположной стены зала в качестве спецэффекта, отчётливо воспринимающегося, но не явно выделяющегося и призванного усилить общее пространственное впечатление, не отвлекая внимание слушателя на себя и не искажая авторский замысел.

Ансамбль остаётся в прежней конфигурации, но, чтобы его «расширить» в восприятии слушателя, все инструменты распределяются немного дальше друг от друга вдоль сцены. Так, вторая скрипка сдвигается ещё немного правее по панораме (например, правее центра на 75%).

Уровень громкости остаётся прежним, и срез высоких частот также не применяется, поскольку источник находится практически на том же удалении от слушателя (небольшим дополнительным сдвигом мы пренебрежём), спецэффекты не добавляются.

Поскольку звучание требуется сделать «объёмнее», реверберация выбирается для большего по размерам помещения (например, акустика кафедрального собора).

Однако основным отличием экспериментальной транскрипции будет добавление копий звучания первой и второй скрипок с модифицированными параметрами. Для копии сигнала второй скрипки:

- панорама устанавливается на диаметрально противоположной стороне (сильное смещение влево; например, левее центра на 90% или даже на 100%);

- поскольку данный звуковой спецэффект не имеет ключевой роли для художественного замысла и дополняет пространственное ощущение в ширину и в глубину, уровень его громкости выбирается значительно ниже исходного (например, всего 10%);

- применяется ощутимый срез высоких частот, «удаляющий» источник от слушателя на несколько метров (например, с частотв 5 кГц);

- реверберация выбирается отличающейся от основной и при этом «нестандартной», не характерной ни для какого конкретного пространства, чтобы не входить в явный конфликт с уже выбранным для инструментов квартета, но и полностью не «сливаться» с ними (например, с импульсной характеристикой падающих камней или водопада);

- для формирования «асинхронного» эха добавляется спецэффект задержки, синхронизированный с музыкальным ритмом, но по-разному для левого и правого каналов, чтобы динамика акцентированных долей его не заглушала.

При воспроизведении подобной фонограммы с использованием качественной звуковой акустической системы или головных стереотелефонов, пространственные эффекты будут выполнять поставленные задачи. Аналогично можно симулировать и отзвуки альта и виолончели.

Option3

Рис. 3. Экспериментальный вариант размещения струнного квартета.

An experimental string quartet layout

Расширение возможностей интерпретации произведений. Отметим, что более «нетрадиционные» и видоизменяющие художественную идею экспериментальные варианты также возможны. Необычные эффекты могут быть достигнуты, например, со следующими настройками пространственных параметров:

- ритмичной автоматизацией среза верхних частот, панорамной позиции и уровня громкости, что «заставило» бы инструменты быстро «перемещаться» в пространстве вместе с ритмом;

- плавной автоматизацией среза верхних частот, панорамной позиции и уровня громкости, что «сдвигало» бы позиции инструментов постепенно;

- внесением заметного эффекта задержки в звучание основных инструментов квартета, что изменило бы характеристики виртуальных поверхностей и, возможно, привело бы к конфликту с выбранной реверберацией – для достижения весьма противоречивых ощущений у слушателя;

- выбором необычной импульсной характеристики для реверберации, помещающей квартет в куб, шар, многогранник, подземелье, цистерну или даже под воду;

- реверсом реверберационных хвостов, обращающим энтропию вспять и заставляющим порядок организовываться из хаоса, энергию – преобразовываться из тепла в звук без видимых причин, и т.д.

Как было продемонстрировано нами на примере, с помощью редактирования одних только параметров пространственной обработки можно реализовать не только новый взгляд на «объём» звучания, но и на авторский замысел в целом.

Стоит отметить, что идея с расположением звучания инструментов в пространстве реализуется достаточно давно, и современные композиторы предлагают сочинения, в которые включена работа по редактированию пространственных характеристик.

Так, по мнению Эдуарда Артемьева, в современной музыке, благодаря электронной акустике, можно реализовать самые причудливые образы, и для воплощения новой необычной идеи важно не только применять уникальные тембры, но и создать атмосферу или виртуальный мир, в который композитор мог бы погрузить слушателей своего произведения.

Композитор утверждает, что «музыка — феномен не только акустический, но и пространственный» [11, с. 100], поэтому современным музыкантам необходимо включать в свой арсенал художественные средства, связанные с компьютерными технологиями, использовать возможности электронной музыки по сочинению и управлению пространством.

«Например, варьируя время реверберации, задержек сигнала и его отражений, изменяя настройку эха по высоте и по времени его возврата, а затем трактуя его как самостоятельный голос (тогда тень вступает в контрапунктические отношения со своим прародителем — cantus firmus), возможно как бы заново прочесть произведение с качественно иной трактовкой — только за счет работы с акустическим пространством» [11, с. 103].

Выводы. Таким образом, моделирование транскрипции академической музыки с применением компьютерного звукового синтеза может способствовать художественному переосмыслению известного музыкального материала, позволить оценить его по-новому, с совершенно другой стороны, или помочь воплотить в цифровой фонограмме при отсутствии возможности привлечь исполнителей.

Компьютерные технологии, конечно, ещё очень далеки от замещения виртуозных инструменталистов, да это от них и не требуется: человеческое взаимодействие между музыкантами и слушателями на концерте не заменить ничем! Академические традиции в музыке существуют столетиями, и мы надеемся, ещё столетия просуществуют. Тем не менее, если современный творческий инструментарий способен предоставить деятелям искусства дополнительные возможности для реализации интересных и необычных идей, то его необходимо развивать, совершенствовать и интегрировать в процесс создания и аранжировки музыки.

References
1. Aldoshina I. A., Pritts R. Muzykal'naya akustika. SPb.: Kompozitor, 2006. 720 s.
2. Banshchikov G. I. Zakony funktsional'noi instrumentovki. Uchebnoe posobie. SPb.: Kompozitor, 1999. 237 s.
3. Gorbunova I. B., Zalivadnyi M. S., Kibitkina E. V. Osnovy muzykal'nogo programmirovaniya: Uchebnoe posobie. Sankt-Peterburg: SMIO-Press, 2007. 195 s.
4. Dinov V. G. Zvukovaya kartina. Zapiski o zvukorezhissure: Uchebnoe posobie. – 6-e izd., ster. SPb: Izd-vo «Lan'»; Izd-vo «Planeta muzyki», 2018. 486 s.
5. Kinttsel' T. Programmirovanie zvuka na PK / per. s angl. I. G. Zlobin. M.: DMK Press, 2005. 431 s.
6. Mironov B. B. Iskusstvo transkriptsii muzykal'nykh proizvedenii. Voprosy teorii i praktiki // Molodoi uchenyi. 2015. № 11. S. 1851-1854.
7. Muzykal'nyi entsiklopedicheskii slovar' / red. Keldysh G.V. M.: Sovetskaya entsiklopediya, 1990. 672 s.
8. Puchkov S. V., Svetlov M. G. Muzykal'nye komp'yuternye tekhnologii: Sovremennyi instrumentarii tvorchestva. SPb.: SPbGUP, 2005. 229 s.
9. Radzishevskii A. Yu. Osnovy analogovogo i tsifrovogo zvuka. M.: Izdatel'skii dom «Vil'yams», 2006. 281 s.
10. Sevashko A. V. Zvukorezhissura i zapis' fonogramm. Professional'noe rukovodstvo. M.: DMK Press, 2015. 431 s.
11. Fat'yanova E.A. Misteriya zvuka Eduarda Artem'eva // Muzykal'naya akademiya. 2020. №2. S. 99-103.
12. Fedorov A. MIDI v detalyakh. // «Muzykal'noe Oborudovanie». Avgust 2003. Elektron. versiya: URL: http://www.muzoborudovanie.ru/articles/midi/midi1.php (data obrashcheniya: 28.02.2020).
13. Shitikova R. G., Li Yun'. Muzykal'naya aranzhirovka: k soderzhaniyu ponyatiya // Kul'tura i tsivilizatsiya. 2017. Tom 7. № 2A. S. 38-55.
14. Shkola fortepiannoi transkriptsii. Vyp.2. Chakona iz Partity № 2 / I.S. Bakh; Dlya skripki solo v orig. i v transkr. dlya f.-p. Iogannesa Bramsa, Ioakhima Raffa i Ferruchcho Buzoni v paral. izlozh.; / predisl. G.M. Kogana. M.: Muzyka, 1976. 62 s.
15. Berry W.T. Structural Functions in Music. 2nd Ed. Toronto: Dover, 1987. 447 p.
16. Cipriani A., Giri M. Electronic Music and Sound Design: theory and practice with Max/MSP. Vol. 1. Rome: Contemponet s.a.s., 2009. 534 p.
17. Collins K. Game Sound: An Introduction to the History, Theory, and Practice of Video Game Music and Sound Design. Cambridge, London: The MIT Press, 2008. 213 p.
18. Miranda E.R. Computer Sound Design: Synthesis techniques and programming. 2 ed. Oxford, etc.: Focal Press, 2002. 264 p.
19. Russ M. Sound Synthesis and Sampling. 2nd ed. Amsterdam, etc.: Elsevier, Focal Press, 2004. 490 p.