[Работа с видео, Работа с 3D-графикой, Машинное обучение, Искусственный интеллект, Звук] Нейросеть обучили строить план помещения по короткому видео
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Исследователи из Facebook, Техасского университета в Остине и Университета Карнеги-Меллона разработали нейросеть, которая использует визуальные и звуковые эффекты из короткого видеоклипа для восстановления плана целого этажа. Ее можно будет применять для визуализации пространств, планирования маршрутов и разработки архитектурных проектов.
Обычно создание планов этажей требует полного пошагового руководства, чтобы 3D-датчики и камеры могли запечатлеть все пространство. Однако в новой системе нейросеть обрабатывает пространственные и семантические сигналы.
Как отмечают авторы разработки, звук по своей природе определяется геометрией объектов. Отражения звука раскрывают форму комнаты далеко за пределами поля зрения камеры.
Извините, данный ресурс не поддреживается. :( Извините, данный ресурс не поддреживается. :( Подход исследователей, который они назвали AV-Map, направлен на преобразование коротких видеороликов с многоканальным звуком в двухмерные планы этажей. Модель машинного обучения использует последовательности аудио- и визуальных данных, чтобы понять структуру и семантику плана этажа, объединяя информацию из аудио и видео с помощью компонента декодера. Планы этажей, генерируемые AV-Map, показывают свободное пространство и области, поделенные дискретным набором семантических меток комнат (например, гостиная и кухня).
Команда экспериментировала с популярными наборами данных Matternet3D и SoundSpaces, загруженных в AI Habitat Facebook. В первом они использовали виртуальную камеру, чтобы зафиксировать известный звук, пока он перемещался по комнате. Во втором они полагались только на естественные звуки, издаваемые предметами и людьми внутри дома.
Исследователи говорят, что в видеороликах, записанных в 85 больших реальных многокомнатных средах AI Habitat, AV-Map превзошел традиционное картографирование. С помощью звуков, охватывающих 26% площади, нейросеть может оценить всю площадь с точностью 66%.
Теперь авторы разработки планируют изучить возможности расширения планов на несколько этажей.
===========
Источник:
habr.com
===========
Похожие новости:
- [Big Data, Машинное обучение, Карьера в IT-индустрии] Самообучение в Data science, с нуля до Senior за два года
- [Работа с 3D-графикой, Разработка игр] Сравнивайте (перевод)
- [Звук, Будущее здесь] «Арфы нет — возьмите бубен!»
- [Машинное обучение, Исследования и прогнозы в IT, Читальный зал, Искусственный интеллект, Будущее здесь] КАК ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ИЗМЕНИТ НАШУ ЭКОНОМИКУ И РЫНОК ТРУДА В ШЕСТОМ ТЕХНОЛОГИЧЕСКОМ УКЛАДЕ
- [Системное программирование, *nix, Серверное администрирование, Разработка под Windows] Утраченный потенциал подсистемы Windows для Linux (WSL)
- [Python, Машинное обучение, Искусственный интеллект, TensorFlow] «Вспомнить все» или решение проблемы катастрофической забывчивости для чайников
- [Python, Программирование, Data Mining, Машинное обучение, Искусственный интеллект] DALL · E от OpenAi: Генерация изображений из текста. Один из важнейших прорывов ИИ в начале 2021 года
- [История IT, Процессоры, IT-компании] Бывший инженер Apple рассказал, как 10 лет назад началась разработка технологии, на основе которой создан чип M1
- [Алгоритмы, Математика, Машинное обучение] Видео курсов Computer Science клуба
- [Работа с видео] FFmpeg. Трюки и хитрости
Теги для поиска: #_rabota_s_video (Работа с видео), #_rabota_s_3dgrafikoj (Работа с 3D-графикой), #_mashinnoe_obuchenie (Машинное обучение), #_iskusstvennyj_intellekt (Искусственный интеллект), #_zvuk (Звук), #_nejroseti (нейросети), #_mashinnoe_obuchenie (машинное обучение), #_video (видео), #_zvuk (звук), #_arhitektura (архитектура), #_prostranstvennye_dannye (пространственные данные), #_rabota_s_video (
Работа с видео
), #_rabota_s_3dgrafikoj (
Работа с 3D-графикой
), #_mashinnoe_obuchenie (
Машинное обучение
), #_iskusstvennyj_intellekt (
Искусственный интеллект
), #_zvuk (
Звук
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 16:33
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Исследователи из Facebook, Техасского университета в Остине и Университета Карнеги-Меллона разработали нейросеть, которая использует визуальные и звуковые эффекты из короткого видеоклипа для восстановления плана целого этажа. Ее можно будет применять для визуализации пространств, планирования маршрутов и разработки архитектурных проектов. Обычно создание планов этажей требует полного пошагового руководства, чтобы 3D-датчики и камеры могли запечатлеть все пространство. Однако в новой системе нейросеть обрабатывает пространственные и семантические сигналы. Как отмечают авторы разработки, звук по своей природе определяется геометрией объектов. Отражения звука раскрывают форму комнаты далеко за пределами поля зрения камеры. Извините, данный ресурс не поддреживается. :( Извините, данный ресурс не поддреживается. :( Подход исследователей, который они назвали AV-Map, направлен на преобразование коротких видеороликов с многоканальным звуком в двухмерные планы этажей. Модель машинного обучения использует последовательности аудио- и визуальных данных, чтобы понять структуру и семантику плана этажа, объединяя информацию из аудио и видео с помощью компонента декодера. Планы этажей, генерируемые AV-Map, показывают свободное пространство и области, поделенные дискретным набором семантических меток комнат (например, гостиная и кухня).  Команда экспериментировала с популярными наборами данных Matternet3D и SoundSpaces, загруженных в AI Habitat Facebook. В первом они использовали виртуальную камеру, чтобы зафиксировать известный звук, пока он перемещался по комнате. Во втором они полагались только на естественные звуки, издаваемые предметами и людьми внутри дома. Исследователи говорят, что в видеороликах, записанных в 85 больших реальных многокомнатных средах AI Habitat, AV-Map превзошел традиционное картографирование. С помощью звуков, охватывающих 26% площади, нейросеть может оценить всю площадь с точностью 66%. Теперь авторы разработки планируют изучить возможности расширения планов на несколько этажей. =========== Источник: habr.com =========== Похожие новости:
Работа с видео ), #_rabota_s_3dgrafikoj ( Работа с 3D-графикой ), #_mashinnoe_obuchenie ( Машинное обучение ), #_iskusstvennyj_intellekt ( Искусственный интеллект ), #_zvuk ( Звук ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 16:33
Часовой пояс: UTC + 5