Опубликован проект PIXIE для построения 3D-моделей людей по фотографии
Автор
Сообщение
news_bot ®
Стаж: 6 лет 2 месяца
Сообщений: 27286
Открыты исходные тексты системы машинного обучения PIXIE, позволяющей создавать 3D-модели и анимированные аватары тела человека по одной фотографии. К результирующей модели могут быть привязаны реалистичные текстуры лица и одежды, отличающиеся от изображённых на исходной фотографии. Система может применяться, например, для отрисовки с другой точки наблюдения, создания анимации, реконструкции тела по форме лица и формирования 3D-модели пальцев рук. Код написан на языке Python с использованием фреймворка Pytorch и распространяется под лицензией, допускающей только использование в некоммерческих целях.
Заявлено, что по сравнению с похожими проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрытого одеждой на фотографии, форму лица и положение суставов рук. Метод основан на применении нейронной сети, которая выделяет из пиксельного изображения параметры лица, тела и рук. Работу нейронной сети координирует специальный регулятор, который на основании анализа освещённости добавляет информацию о весовых коэффициентах различных частей тела для исключения определения неестественных поз. При создании модели учитываются анатомические отличия мужского и женского тела, параметры позы, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости.
Особенности PIXIE:
- Воссозданная 3D-модель тела, а также информация о позе, положении рук и выражении лица сохраняются в виде набора параметров SMPL-X, которые в дальнейшем могут использоваться в системе моделирования Blender через плагин.
- По фотографии определяется детальная информация о форме и выражении лица, а также его особенностях, таких как наличие морщин (для построения модели головы применяется система машинного обучения DECA, разработанная теми же авторами).
- При генерации текстуры лица оценивается
альбедо объекта.
- Построенная модель тела в дальнейшем может быть анимирована или представлена в другой позе.
- Поддержка построения модели по обычным фотографиям, на которых человек снят в естественных условиях. PIXIE хорошо справляется с определением различных поз, условий освещения и перекрытием видимости частей объекта.
- Высокая производительность, подходящая для динамической обработки картинки с камеры.
===========
Источник:
OpenNet.RU
===========
Похожие новости
- Главная ссылка к новости (https://github.com/YadiraF/PIX...)
- OpenNews: PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков
- OpenNews: Открыт код для синтеза анимации с помощью нейросетей
- OpenNews: FairMOT, система для быстрого отслеживания нескольких объектов на видео
- OpenNews: Использование нейронной сети для восстановления повреждённых изображений
- OpenNews: NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
Похожие новости:
- Выпуск VKD3D-Proton 2.5, форка Vkd3d с реализацией Direct3D 12
- GitHub заблокировал SSH-ключи, сгенерированные при помощи библиотеки keypair
- NVIDIA открыла код StyleGAN3, системы машинного обучения для синтеза лиц
- Новая версия почтового сервера Exim 4.95
- Проект Headscale развивает открытый сервер для распределённой VPN-сети Tailscale
- Выпуск Ultimaker Cura 4.11, пакета для подготовки модели к 3D-печати
- Выпуск дистрибутива Tails 4.22
- Выпуск Bubblewrap 0.5.0, прослойки для создания изолированных окружений
- Выпуск Tor Browser 10.5.4 и дистрибутива Tails 4.21
- Microsoft открыл код прослойки для трансляции команд Direct3D 9 в Direct3D 12
Теги для поиска: #_pixie, #_ai, #_3d, #_model
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 30-Апр 00:26
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 2 месяца |
|
|
Открыты исходные тексты системы машинного обучения PIXIE, позволяющей создавать 3D-модели и анимированные аватары тела человека по одной фотографии. К результирующей модели могут быть привязаны реалистичные текстуры лица и одежды, отличающиеся от изображённых на исходной фотографии. Система может применяться, например, для отрисовки с другой точки наблюдения, создания анимации, реконструкции тела по форме лица и формирования 3D-модели пальцев рук. Код написан на языке Python с использованием фреймворка Pytorch и распространяется под лицензией, допускающей только использование в некоммерческих целях. Заявлено, что по сравнению с похожими проектами PIXIE позволяет более точно воссоздать контуры тела, изначально скрытого одеждой на фотографии, форму лица и положение суставов рук. Метод основан на применении нейронной сети, которая выделяет из пиксельного изображения параметры лица, тела и рук. Работу нейронной сети координирует специальный регулятор, который на основании анализа освещённости добавляет информацию о весовых коэффициентах различных частей тела для исключения определения неестественных поз. При создании модели учитываются анатомические отличия мужского и женского тела, параметры позы, освещение, отражательная способность поверхности и поворот лица в трехмерной плоскости. Особенности PIXIE:
   =========== Источник: OpenNet.RU =========== Похожие новости
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 30-Апр 00:26
Часовой пояс: UTC + 5