[Искусственный интеллект] Система генерирует слова песни по музыке в реальном времени
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Скриншот LyricJamИсследователи из Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.Ольга Вечтомова и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Вечтомова и ее коллеги разработали два новых механизма, которые согласовывают музыку и тексты, обрабатываемые двумя автокодиовщиками, и помогают системе определить, какие типы текстов подходят для конкретной музыки.
Основная характеристика, которая отличает LyricJam от других генераторов текстов, заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, «отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп», поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали.
===========
Источник:
habr.com
===========
Похожие новости:
- [Алгоритмы, Машинное обучение, Искусственный интеллект] ИИ обучили предсказывать поведение человека по видео
- [Высокая производительность, Информационная безопасность, GPGPU, Машинное обучение, Искусственный интеллект] Атака на Nvidia DeepStream с помощью некорректного фрейма видео в формате H264
- [Искусственный интеллект, Игры и игровые приставки] Мод Witcher 3 использует сгенерированную нейросетью озвучку
- [Машинное обучение, Искусственный интеллект] Чат-бот для отзывов из Google Play. Опыт QuData
- [Машинное обучение, Искусственный интеллект] Исследователи предсказывают связь между млекопитающими и вирусами при помощи машинного обучения
- [Машинное обучение, Учебный процесс в IT, Искусственный интеллект] Лаборатория искусственного интеллекта ВКонтакте проведёт летний онлайн-семинар
- [Информационная безопасность, Искусственный интеллект, Видеотехника, Транспорт, IT-компании] МВД запустило систему распознавания силуэтов людей и машин в пяти регионах
- [Python, Алгоритмы, Big Data, Машинное обучение, Искусственный интеллект] DataScience Digest — 24.06.21
- [Геоинформационные сервисы, Машинное обучение, Робототехника, Искусственный интеллект, Транспорт] Исследователи разработали более универсальный алгоритм машинного зрения для беспилотников
- [Python, Алгоритмы, Big Data, Машинное обучение, Искусственный интеллект] DataScience Digest — 24.06.21
Теги для поиска: #_iskusstvennyj_intellekt (Искусственный интеллект), #_generatory_tekstov (генераторы текстов), #_muzyka (музыка), #_iskusstvennyj_intellekt (искусственный интеллект), #_glubokoe_obuchenie (глубокое обучение), #_iskusstvennyj_intellekt (
Искусственный интеллект
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:01
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Скриншот LyricJamИсследователи из Университета Ватерлоо разработали LyricJam, вычислительную систему, которая генерирует тексты для музыки в реальном времени. Эта система поможет артистам сочинять новые тексты, хорошо сочетающиеся с музыкой, которую они создают.Ольга Вечтомова и ее коллеги уже несколько лет разрабатывают генераторы текстов. Ранее они создали технологию, которая изучает определенные особенности лирического стиля артиста, анализируя аудиозаписи песен и тексты, и использует собранную информацию для создания лирики, соответствующей стилю конкретного исполнителя. Совсем недавно исследователи начали разрабатывать генератор текстов для заранее записанных музыкальных отрывков. В своей новой работе они попытались сделать шаг вперед, создав систему, которая может генерировать подходящие тексты для музыки, исполняемой вживую.Система работает, преобразуя аудио в спектрограммы, после чего модель глубокого обучения генерирует тексты, соответствующие музыке. Архитектура модели состоит из двух автокодировщиков, один из которых предназначен для изучения музыки, а другой — для изучения текстов. Вечтомова и ее коллеги разработали два новых механизма, которые согласовывают музыку и тексты, обрабатываемые двумя автокодиовщиками, и помогают системе определить, какие типы текстов подходят для конкретной музыки.  Основная характеристика, которая отличает LyricJam от других генераторов текстов, заключается в том, что он может создавать лирику в реальном времени, пока исполнитель играет живую музыку. Система генерирует тексты, «отражающие настроение и эмоции, которые передаются через различные аспекты музыки, такие как аккорды, инструменты, темп», поясняет Вечтомова. Затем артисты смогут просматривать сгенерированные тексты и черпать из них вдохновение или адаптировать их, находя новые темы и лирические идеи, которые они раньше не рассматривали. =========== Источник: habr.com =========== Похожие новости:
Искусственный интеллект ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:01
Часовой пояс: UTC + 5