[Обработка изображений, Машинное обучение, Смартфоны] Google показала обучение нейросети для создания портретного освещения на снимках
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Google ранее представила функцию профессионального студийного освещения на основе ИИ под названием «Портретное освещение». Она доступна не только на новом флагмане Pixel 5, но и на более старых устройствах. Теперь компания раскрыла процесс обучения этой камеры на миллионах снимков.
Для «тренировки» алгоритма потребовалось 64 камеры, которые были расставлены вокруг объектов съемки. Также в процессе задействовали 331 программируемых LED-панели и 70 человек с различным цветом кожи. Это позволило сделать миллионы снимков, которые стали базой для обучения алгоритма.
В итоге функция добавляет имитированный источник направленного света к портретам. В Pixel 4, Pixel 4a, Pixel 4a (5G) и Pixel 5 портретный свет автоматически применяется после захвата изображения в режиме по умолчанию и к ночным фотографиям, которые включают людей.
На фотографиях портретный свет обеспечивает более яркое освещение, дополняющее уже примененный эффект малой глубины резкости, в результате чего создается эффект студийного качества. При этом пользователи Pixel, которые снимают в портретном режиме, могут вручную изменить положение и яркость применяемого освещения в соответствии со своими предпочтениями.
Новые модели машинного обучения, каждая из которых обучается с использованием набора данных фотографий, снятых в системе Light Stage, позволили реализовать две новые алгоритмические возможности:
1. Автоматическое размещение направленного света: для заданного портрета алгоритм помещает синтетический направленный свет в сцену в соответствии с тем, как фотограф разместил бы источник света вне камеры в реальном мире.
2. Синтетическое повторное освещение после захвата: для заданного направления освещения и портрета синтетический свет добавляется таким образом, чтобы он выглядел реалистично и естественно.
Новая модель машинного обучения способна оценивать профиль всенаправленного освещения с широким динамическим диапазоном для сцены на основе входного портрета. Она определяет направление, относительную интенсивность и цвет всех источников света в сцене с учетом лица как светового зонда, а также оценивает позу головы объекта с помощью MediaPipe Face Mesh.
В студийной портретной съемке основной источник света вне камеры, или ключевой свет, размещается примерно на 30° над линией глаз и между 30° и 60° от оси камеры, если смотреть на сцену сверху.
Для обучения второй модели потребовались миллионы пар портретов как с дополнительным освещением, так и без него. Для каждого сфотографированного человека были созданы синтетические портреты в различных условиях освещения.
Вместо того, чтобы пытаться напрямую предсказать выходное повторное изображение, модель повторного освещения обучили выводить частное изображение с низким разрешением, то есть попиксельный множитель, который при повышении дискретизации может быть применен к исходному входному изображению для получения желаемого выходного снимка с дополнительным источником света. Этот метод поддерживает только низкочастотные изменения освещения, не влияя на высокочастотные детали изображения.
Чтобы смоделировать оптическое поведение источников света, отражающихся от относительно матовых поверхностей, модель обучили оценивать нормали поверхности по входной фотографии, а затем применили закон Ламберта для вычисления «карты видимости света» для желаемого направления освещения. Эту карту видимости света представили в качестве входных данных, чтобы обеспечить обучение модели с использованием аналитических данных на основе физики.
Те, кто использует управление двойной экспозицией, могут применять портретный свет после захвата для дополнительной гибкости редактирования изображения.
===========
Источник:
habr.com
===========
Похожие новости:
- [Разработка веб-сайтов, JavaScript, Программирование] JavaScript за 60 секунд: работаем с картой (Geolocation API, Leaflet.js, Nominatim)
- [Карьера в IT-индустрии, IT-компании] Google откладывает возвращение сотрудников в офис и рассматривает введение гибкой рабочей недели
- [Карьера в IT-индустрии] Насколько вкусные печеньки в Яндексе?
- [Локализация продуктов, Контекстная реклама, Управление продажами] Google запускает в AMP алгоритмическую рекламу в виде веб-сториз
- [Производство и разработка электроники, Смартфоны, IT-компании] В Индии на фабрике по сборке iPhone сотрудники устроили погром из-за неполной выплаты им зарплаты
- [Разработка веб-сайтов, Google Chrome, Браузеры, Тестирование веб-сервисов] Обходим проверку сертификата SSL
- [Обработка изображений, Научно-популярное] Чтобы на фотографиях на аттракционах никто не снимал маски, в парках «Диснейленда» их добавят цифровым способом
- [Спортивное программирование] Russian AI Cup 2019. 4 место, почти не умея программировать или о пользе soft skills
- [Open source, IT-стандарты, Статистика в IT] Google предложил рейтинг критически важных Open-source проектов
- [Google Cloud Platform, Облачные сервисы] Как мы случайно сожгли $72 000 за два часа в Google Cloud Platform и чуть не обанкротились (перевод)
Теги для поиска: #_obrabotka_izobrazhenij (Обработка изображений), #_mashinnoe_obuchenie (Машинное обучение), #_smartfony (Смартфоны), #_google, #_pixel, #_portretnaja_semka (портретная съёмка), #_portretnaja_fotografija (портретная фотография), #_osveschenie (освещение), #_iskusstvennyj_intellekt (искусственный интеллект), #_mashinnoe_obuchenie (машинное обучение), #_obrabotka_izobrazhenij (
Обработка изображений
), #_mashinnoe_obuchenie (
Машинное обучение
), #_smartfony (
Смартфоны
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 24-Ноя 19:35
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Google ранее представила функцию профессионального студийного освещения на основе ИИ под названием «Портретное освещение». Она доступна не только на новом флагмане Pixel 5, но и на более старых устройствах. Теперь компания раскрыла процесс обучения этой камеры на миллионах снимков. Для «тренировки» алгоритма потребовалось 64 камеры, которые были расставлены вокруг объектов съемки. Также в процессе задействовали 331 программируемых LED-панели и 70 человек с различным цветом кожи. Это позволило сделать миллионы снимков, которые стали базой для обучения алгоритма.  В итоге функция добавляет имитированный источник направленного света к портретам. В Pixel 4, Pixel 4a, Pixel 4a (5G) и Pixel 5 портретный свет автоматически применяется после захвата изображения в режиме по умолчанию и к ночным фотографиям, которые включают людей. На фотографиях портретный свет обеспечивает более яркое освещение, дополняющее уже примененный эффект малой глубины резкости, в результате чего создается эффект студийного качества. При этом пользователи Pixel, которые снимают в портретном режиме, могут вручную изменить положение и яркость применяемого освещения в соответствии со своими предпочтениями. Новые модели машинного обучения, каждая из которых обучается с использованием набора данных фотографий, снятых в системе Light Stage, позволили реализовать две новые алгоритмические возможности: 1. Автоматическое размещение направленного света: для заданного портрета алгоритм помещает синтетический направленный свет в сцену в соответствии с тем, как фотограф разместил бы источник света вне камеры в реальном мире. 2. Синтетическое повторное освещение после захвата: для заданного направления освещения и портрета синтетический свет добавляется таким образом, чтобы он выглядел реалистично и естественно.  Новая модель машинного обучения способна оценивать профиль всенаправленного освещения с широким динамическим диапазоном для сцены на основе входного портрета. Она определяет направление, относительную интенсивность и цвет всех источников света в сцене с учетом лица как светового зонда, а также оценивает позу головы объекта с помощью MediaPipe Face Mesh. В студийной портретной съемке основной источник света вне камеры, или ключевой свет, размещается примерно на 30° над линией глаз и между 30° и 60° от оси камеры, если смотреть на сцену сверху. Для обучения второй модели потребовались миллионы пар портретов как с дополнительным освещением, так и без него. Для каждого сфотографированного человека были созданы синтетические портреты в различных условиях освещения. Вместо того, чтобы пытаться напрямую предсказать выходное повторное изображение, модель повторного освещения обучили выводить частное изображение с низким разрешением, то есть попиксельный множитель, который при повышении дискретизации может быть применен к исходному входному изображению для получения желаемого выходного снимка с дополнительным источником света. Этот метод поддерживает только низкочастотные изменения освещения, не влияя на высокочастотные детали изображения. Чтобы смоделировать оптическое поведение источников света, отражающихся от относительно матовых поверхностей, модель обучили оценивать нормали поверхности по входной фотографии, а затем применили закон Ламберта для вычисления «карты видимости света» для желаемого направления освещения. Эту карту видимости света представили в качестве входных данных, чтобы обеспечить обучение модели с использованием аналитических данных на основе физики. Те, кто использует управление двойной экспозицией, могут применять портретный свет после захвата для дополнительной гибкости редактирования изображения. =========== Источник: habr.com =========== Похожие новости:
Обработка изображений ), #_mashinnoe_obuchenie ( Машинное обучение ), #_smartfony ( Смартфоны ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 24-Ноя 19:35
Часовой пояс: UTC + 5