[Работа с 3D-графикой, Машинное обучение, Разработка под AR и VR, Смартфоны, AR и VR] Нейросети обучили создавать 3D-голограммы на смартфоне практически в реальном времени
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Исследователи из Массачусетского технологического института разработали новый способ быстрого создания голограмм. Основанный на глубоком обучении метод может генерировать голограммы на ноутбуке моментально. Кроме того, этот способ позволяет быстро создавать фотореалистичные цветные 3D-голограммы даже на смартфоне. Новой технологии можно найти применение в гарнитурах виртуальной и дополненной реальности и других приложениях. 
Голографические видеодисплеи создают 3D-изображения, которые люди могут смотреть, не чувствуя напряжения глаз. Это отличает их от обычных 3D-дисплеев, которые создают иллюзию глубины с помощью 2D-изображений. Однако, хотя такие компании, как Samsung, недавно добились успехов в разработке оборудования, которое может отображать голографическое видео, фактическое создание голографических данных для отображения на таких устройствах остается серьезной проблемой. Каждая голограмма кодирует большой объем данных, чтобы создать иллюзию глубины. Таким образом, создание голографического видео часто требует вычислительных мощностей. Исследователи пытались задействовать ряд различных стратегий, позволяющих сократить количество необходимых вычислений, например, заменив сложные физические симуляции простыми справочными таблицами. Однако это приводит к снижению качества изображения. Ведущий автор нового исследования Лян Ши отмечает, что использование физического моделирования для компьютерной голографии предполагает вычисление внешнего вида множества фрагментов голограммы с последующим их объединением. По его словам, использование таблиц поиска похоже на запоминание набора часто используемых фрагментов голограммы, но это сказывается на точности и требует шага комбинирования, что отнимает время. Новый метод от МТИ использует глубокое обучение. Сверточная нейронная сеть изучает ярлыки для создания полной голограммы без необходимости отдельно вычислять, как выглядит каждый ее фрагмент. Сначала исследователи создали специальную базу данных из 4000 сгенерированных компьютером изображений, каждое из которых включало информацию о цвете и глубине для каждого пикселя. Эта база данных также включала трехмерную голограмму, соответствующую каждому изображению. Используя эти данные, сверточная нейронная сеть научилась вычислять, как лучше всего создавать голограммы из изображений. Она может создавать новые голограммы из изображений с информацией о глубине, которая предоставляется с типичными компьютерными изображениями и может быть рассчитана с помощью многокамерной установки или с помощью лидарных датчиков. Такие датчики уже присутствуют на некоторых новых iPhone. 
Визуализация вычисления трехмерной голограммыНовая система требует менее 620 килобайт памяти и может генерировать 60 цветных 3D-голограмм в секунду с разрешением 1920х1080 пикселей на одном графическом процессоре потребительского уровня. Исследователи смогли запустить ее на iPhone 11 Pro со скоростью 1,1 голограммы в секунду и на TPU Google Edge со скоростью 2 голограммы в секунду.Извините, данный ресурс не поддреживается. :( По мнению авторов разработки, в недалеком будущем она сможет генерировать голограммы в реальном времени. Это поможет улучшить так называемые методы объемной 3D-печати, которые создают 3D-объекты путем проецирования изображений. Ученые отмечают, что их метод может также найти применение в оптических и акустических пинцетах и в голографических микроскопах. В будущих исследованиях в систему могут добавить технологию слежения за глазами. Это позволит создавать голограммы с учетом остроты зрения человека, поэтому пользователям в очках не понадобятся специальные гарнитуры VR.Ранее группа исследователей сообщила о новом методе создания акустических голограмм. Улучшенная техника дает более высокую чувствительность и фокусирующий эффект, чем предыдущие методы. Особенность предложенной исследователями техники заключается в том, что она обладает высокой чувствительностью и поддерживает хороший фокусирующий эффект благодаря голографической линзе. Эти особенности приведут к меньшим потерям на рассеяние и распространение.
===========
Источник:
habr.com
===========
Похожие новости:
- [Работа с 3D-графикой, Разработка под Windows, Софт] Из Windows 10 удалят Paint 3D и 3D Viewer
- [Анализ и проектирование систем, 3D-принтеры, Инженерные системы] История одной коробки передач
- [Машинное обучение] 17 марта состоится ML meetup Online
- [Python, Работа с 3D-графикой, Разработка мобильных приложений] Кроссплатформенные OpenGL + Python при помощи Kivy
- [Анализ и проектирование систем, Работа с 3D-графикой, Алгоритмы, Графический дизайн] Студенческая Лунная площадка может помочь NASA совершить посадку на Луну (перевод)
- [Информационная безопасность, Big Data, Визуализация данных, Машинное обучение] Новые возможности анализа табличных данных с алгоритмами машинного обучения в Elastic
- [Python, Программирование, Машинное обучение] Взлом reCAPTCHA v2
- Реализация OpenGL поверх DirectX достигла совместимости с OpenGL 3.3 и принята в состав Mesa
- [Машинное обучение] Оживление портрета с помощью Realistic Neural Talking Head Models
- [Машинное обучение, Карьера в IT-индустрии] Сколько зарабатывает специалист по машинному обучению: обзор зарплат и вакансий в 2021
Теги для поиска: #_rabota_s_3dgrafikoj (Работа с 3D-графикой), #_mashinnoe_obuchenie (Машинное обучение), #_razrabotka_pod_ar_i_vr (Разработка под AR и VR), #_smartfony (Смартфоны), #_ar_i_vr (AR и VR), #_mti (мти), #_gologrammy (голограммы), #_3d, #_smartfony (смартфоны), #_glubokoe_obuchenie (глубокое обучение), #_svertochnye_seti (сверточные сети), #_ar_i_vr (ar и vr), #_rabota_s_3dgrafikoj (
Работа с 3D-графикой
), #_mashinnoe_obuchenie (
Машинное обучение
), #_razrabotka_pod_ar_i_vr (
Разработка под AR и VR
), #_smartfony (
Смартфоны
), #_ar_i_vr (
AR и VR
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:15
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
|
Исследователи из Массачусетского технологического института разработали новый способ быстрого создания голограмм. Основанный на глубоком обучении метод может генерировать голограммы на ноутбуке моментально. Кроме того, этот способ позволяет быстро создавать фотореалистичные цветные 3D-голограммы даже на смартфоне. Новой технологии можно найти применение в гарнитурах виртуальной и дополненной реальности и других приложениях.  Голографические видеодисплеи создают 3D-изображения, которые люди могут смотреть, не чувствуя напряжения глаз. Это отличает их от обычных 3D-дисплеев, которые создают иллюзию глубины с помощью 2D-изображений. Однако, хотя такие компании, как Samsung, недавно добились успехов в разработке оборудования, которое может отображать голографическое видео, фактическое создание голографических данных для отображения на таких устройствах остается серьезной проблемой. Каждая голограмма кодирует большой объем данных, чтобы создать иллюзию глубины. Таким образом, создание голографического видео часто требует вычислительных мощностей. Исследователи пытались задействовать ряд различных стратегий, позволяющих сократить количество необходимых вычислений, например, заменив сложные физические симуляции простыми справочными таблицами. Однако это приводит к снижению качества изображения. Ведущий автор нового исследования Лян Ши отмечает, что использование физического моделирования для компьютерной голографии предполагает вычисление внешнего вида множества фрагментов голограммы с последующим их объединением. По его словам, использование таблиц поиска похоже на запоминание набора часто используемых фрагментов голограммы, но это сказывается на точности и требует шага комбинирования, что отнимает время. Новый метод от МТИ использует глубокое обучение. Сверточная нейронная сеть изучает ярлыки для создания полной голограммы без необходимости отдельно вычислять, как выглядит каждый ее фрагмент. Сначала исследователи создали специальную базу данных из 4000 сгенерированных компьютером изображений, каждое из которых включало информацию о цвете и глубине для каждого пикселя. Эта база данных также включала трехмерную голограмму, соответствующую каждому изображению. Используя эти данные, сверточная нейронная сеть научилась вычислять, как лучше всего создавать голограммы из изображений. Она может создавать новые голограммы из изображений с информацией о глубине, которая предоставляется с типичными компьютерными изображениями и может быть рассчитана с помощью многокамерной установки или с помощью лидарных датчиков. Такие датчики уже присутствуют на некоторых новых iPhone.  Визуализация вычисления трехмерной голограммыНовая система требует менее 620 килобайт памяти и может генерировать 60 цветных 3D-голограмм в секунду с разрешением 1920х1080 пикселей на одном графическом процессоре потребительского уровня. Исследователи смогли запустить ее на iPhone 11 Pro со скоростью 1,1 голограммы в секунду и на TPU Google Edge со скоростью 2 голограммы в секунду.Извините, данный ресурс не поддреживается. :( По мнению авторов разработки, в недалеком будущем она сможет генерировать голограммы в реальном времени. Это поможет улучшить так называемые методы объемной 3D-печати, которые создают 3D-объекты путем проецирования изображений. Ученые отмечают, что их метод может также найти применение в оптических и акустических пинцетах и в голографических микроскопах. В будущих исследованиях в систему могут добавить технологию слежения за глазами. Это позволит создавать голограммы с учетом остроты зрения человека, поэтому пользователям в очках не понадобятся специальные гарнитуры VR.Ранее группа исследователей сообщила о новом методе создания акустических голограмм. Улучшенная техника дает более высокую чувствительность и фокусирующий эффект, чем предыдущие методы. Особенность предложенной исследователями техники заключается в том, что она обладает высокой чувствительностью и поддерживает хороший фокусирующий эффект благодаря голографической линзе. Эти особенности приведут к меньшим потерям на рассеяние и распространение. =========== Источник: habr.com =========== Похожие новости:
Работа с 3D-графикой ), #_mashinnoe_obuchenie ( Машинное обучение ), #_razrabotka_pod_ar_i_vr ( Разработка под AR и VR ), #_smartfony ( Смартфоны ), #_ar_i_vr ( AR и VR ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 20:15
Часовой пояс: UTC + 5