[Машинное обучение, Искусственный интеллект, Звук] ИИ-шумовик генерирует звуки не хуже профессионала-человека
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Исследователи из США разработали ИИ-систему под названием AutoFoley. Программа анализирует, что происходит на видео, и генерирует звуки, соответствующие сцене. Авторы рассчитывают, что такая программа сможет добавлять звуковые эффекты в видео не хуже специалиста-человека. Обычно звуковые эффекты для фильмов или видеоигр записываются в студии. Как отмечают исследователи, это не самая простая работа: специалисту сначала нужно выбрать звуки, которые улучшат восприятие слушателя и смогут точно выразить замысел режиссёра. Специалист-шумовик должен решить, какой звук передаст суть действия, изображённого в сцене. Например, для записи звука бьющегося стекла шумовику может потребоваться несколько раз разбить настоящее стекло до тех пор, пока звук не будет точно соответствовать видеоряду. «Работа шумовиков использовалась для создания звуковых эффектов в кино и телевидении с 1930-х годов, — объясняет Джефф Прево, профессор Техасского университета, соавтор программы AutoFoley. — Фильмы казались бы пустыми без реалистичного звукового ряда. Однако процесс добавления шумовых эффектов вручную значительно увеличивает время и затраты на создание кинофильма». Прево с аспиранткой Санчитой Гхош разработали систему, которая будет синтезировать звуки, подходящие по смыслу к сцене, автоматически. Исследователи создали две разные модели, которые распознают действие в видео и определяют, какой звук будет ему соответствовать. Первая модель синтезирует звук на основе особенностей видеоряда (например, цвет и движение). Вторая модель анализирует длительность отдельных кадров и пытается угадать, какое действие происходит на видео. Звук синтезируется в соответствии с движением, которое предсказывает модель. Прево и Гхош использовали AutoFoley для создания звука в тысяче коротких видеороликов, запечатлевших ряд обычных действий — дождь, тикающие часы, скачущая лошадь. Анализ показал, что AutoFoley лучше всего работает тогда, когда звук необязательно должен точно совпадать с видео (например, когда программа синтезирует звук дождя или потрескивание поленьев в костре).Извините, данный ресурс не поддреживается. :( Затем Прево и Гхош опросили 57 студентов местного колледжа. Они попросили их указать, в какие видеоклипы, по их мнению, был добавлен искусственный звуковой ряд. Во время испытаний первой модели 73% опрошенных студентов приняли звук, синтезированный AutoFoley, за оригинальный. Вторая модель смогла «обмануть» 66% респондентов.Извините, данный ресурс не поддреживается. :( Прево планирует запатентовать технологию. Модель AutoFoley описана в исследовании, опубликованном в журнале IEEE Transactions on Multimedia.
===========
Источник:
habr.com
===========
Похожие новости:
- [Искусственный интеллект, Здоровье, Химия] ИИ привлекли к поиску препаратов от COVID-19
- [Разработка под Android, Обработка изображений, Машинное обучение, DIY или Сделай сам] Как с помощью HUAWEI ML Kit самостоятельно создать апплет для фото на документы
- [Управление проектами, Управление продуктом, Искусственный интеллект] Разработка AI-продукта на основе машинного зрения. Промежуточная ретроспектива: мысли, боль, страдания
- [IT-стандарты, Бизнес-модели, Искусственный интеллект, IT-компании] Astra Linux — на хромой лошади экономику не объедешь
- [Облачные сервисы, Искусственный интеллект, Видеотехника, Будущее здесь] Нейронные сети в реальности
- [Машинное обучение, Искусственный интеллект] Обманываем нейросети при помощи шума (перевод)
- [Go, Профессиональная литература, Машинное обучение] Книга «Golang для профи: работа с сетью, многопоточность, структуры данных и машинное обучение с Go»
- [Искусственный интеллект, AR и VR, Транспорт] Пилот ВВС США виртуально сразится с истребителем под управлением ИИ
- [Open source, Python, Обработка изображений, Машинное обучение, Искусственный интеллект] Multi-Target в Albumentations (перевод)
- [Математика, Машинное обучение, Искусственный интеллект] Как работает Object Tracking на YOLO и DeepSort
Теги для поиска: #_mashinnoe_obuchenie (Машинное обучение), #_iskusstvennyj_intellekt (Искусственный интеллект), #_zvuk (Звук), #_autofoley, #_zvukovye_effekty (звуковые эффекты), #_iskusstvennyj_intellekt (искусственный интеллект), #_mashinnoe_obuchenie (машинное обучение), #_mashinnoe_obuchenie (
Машинное обучение
), #_iskusstvennyj_intellekt (
Искусственный интеллект
), #_zvuk (
Звук
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 12:34
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Исследователи из США разработали ИИ-систему под названием AutoFoley. Программа анализирует, что происходит на видео, и генерирует звуки, соответствующие сцене. Авторы рассчитывают, что такая программа сможет добавлять звуковые эффекты в видео не хуже специалиста-человека. Обычно звуковые эффекты для фильмов или видеоигр записываются в студии. Как отмечают исследователи, это не самая простая работа: специалисту сначала нужно выбрать звуки, которые улучшат восприятие слушателя и смогут точно выразить замысел режиссёра. Специалист-шумовик должен решить, какой звук передаст суть действия, изображённого в сцене. Например, для записи звука бьющегося стекла шумовику может потребоваться несколько раз разбить настоящее стекло до тех пор, пока звук не будет точно соответствовать видеоряду. «Работа шумовиков использовалась для создания звуковых эффектов в кино и телевидении с 1930-х годов, — объясняет Джефф Прево, профессор Техасского университета, соавтор программы AutoFoley. — Фильмы казались бы пустыми без реалистичного звукового ряда. Однако процесс добавления шумовых эффектов вручную значительно увеличивает время и затраты на создание кинофильма». Прево с аспиранткой Санчитой Гхош разработали систему, которая будет синтезировать звуки, подходящие по смыслу к сцене, автоматически. Исследователи создали две разные модели, которые распознают действие в видео и определяют, какой звук будет ему соответствовать. Первая модель синтезирует звук на основе особенностей видеоряда (например, цвет и движение). Вторая модель анализирует длительность отдельных кадров и пытается угадать, какое действие происходит на видео. Звук синтезируется в соответствии с движением, которое предсказывает модель. Прево и Гхош использовали AutoFoley для создания звука в тысяче коротких видеороликов, запечатлевших ряд обычных действий — дождь, тикающие часы, скачущая лошадь. Анализ показал, что AutoFoley лучше всего работает тогда, когда звук необязательно должен точно совпадать с видео (например, когда программа синтезирует звук дождя или потрескивание поленьев в костре).Извините, данный ресурс не поддреживается. :( Затем Прево и Гхош опросили 57 студентов местного колледжа. Они попросили их указать, в какие видеоклипы, по их мнению, был добавлен искусственный звуковой ряд. Во время испытаний первой модели 73% опрошенных студентов приняли звук, синтезированный AutoFoley, за оригинальный. Вторая модель смогла «обмануть» 66% респондентов.Извините, данный ресурс не поддреживается. :( Прево планирует запатентовать технологию. Модель AutoFoley описана в исследовании, опубликованном в журнале IEEE Transactions on Multimedia. =========== Источник: habr.com =========== Похожие новости:
Машинное обучение ), #_iskusstvennyj_intellekt ( Искусственный интеллект ), #_zvuk ( Звук ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 12:34
Часовой пояс: UTC + 5