Доклад об этом исследовании под названием «BebopNet: глубинные нейронные модели персонализированной джазовой импровизации» был недавно представлен ​​на 21-й Международной конференции общества по поиску музыкальной информации (ISMIR 2020) и получил награду за лучшее исследование. Его авторы – студенты Надав Бонкер и Шунит Хавив Хакими, а также их научный руководитель профессор Ран Эль-Янив с факультета компьютерных наук Техниона пришли к выводу, что искусственный интеллект способен моделировать и оптимизировать индивидуальные предпочтения любителей джазовой музыки.

Одна из текущих задач, которую сегодня решают разработчики искусственного интеллекта – научить машину создавать музыку. Еще более сложная задача – создание музыкальных произведений, соответствующих предпочтениям человека. В проекте BebopNet Бонкер и Хавив Хакими, оба – джазовые музыканты-любители, сосредоточились на персонализированном, основанном на символах, монофоническом производстве джазовых импровизаций, соответствующих стандартной гармонии. Для решения этой задачи они создали “конвейер”, состоящий из нескольких этапов: контролируемое обучение с использованием коллекции имеющихся джазовых соло, изучение предпочтений пользователей и оптимизированная генерация с использованием планирования (“поиск луча”). Библиотека, которую использовали исследователи, состояла из сотен оригинальных джазовых соло в исполнении гигантов этого жанра, в том числе Чарли Паркера, Стэна Гетца, Сонни Ститта и Декстера Гордона. В рамках своего исследования Бонкер и Хавив Хакими применили этот конвейер для производства специфических моделей в соответствии с приоритетами конкретных слушателей. Такой подход позволяет объективно исследовать субъективные персонализированные модели, эффективность которых поддается количественной оценке.

Исследователи провели также анализ на плагиат, чтобы убедиться, что “машинные” соло – это оригинальные произведения, а не объединение музыкальных фраз, взятых из библиотеки и вырванных из контекста. Бонкер и Хавив Хакими отмечают, что «хотя наши соло, сгенерированные компьютером, локально согласованы и часто интересны и приятны на слух, они все еще отстают от профессиональных джазовых соло, связанных с общей структурой, такой, как развитие мотивов и вариации.»

Однако вряд ли это успокоит джазовых музыкантов – профессор Эль-Янив надеется решить эту проблему в будущих исследованиях. Предварительные модели, основанные на меньшем наборе данных, были существенно слабее, и вполне возможно, что дальнейшее увеличение исходной музыкальной библиотеки сделает будущую модель значительно лучше – особенно если перейти от анализа символов к прямому использованию аудиозаписей, которые могут быть собраны в гораздо больших количествах.

«Возможно, одно из основных препятствий в создании искусственного интеллекта, включая джазовую импровизацию, – это осмысленная оценка качества. В нашей работе подчеркивается необходимость разработки эффективных методологий и приемов для извлечения и устранения из записей реакций слушателей,  что позоволит эффективно оценить качество искусства, создаваемого искусственным интеллектом. Такая технология откроет путь к разработке многих интересных практических приложений», – отмечает проф. Эль-Янив.

С примерами джаза, созданного машиной, можно ознакомиться здесь.