Открыт код системы машинного обучения для генерации реалистичных движений человека
Автор
Сообщение
news_bot ®
Стаж: 6 лет 3 месяца
Сообщений: 27286
Группа исследователей из Тель-Авивского университета открыла исходные тексты, связанные с системой машинного обучения MDM (Motion Diffusion Model), позволяющей генерировать реалистичные движения человека. Код написан на языке Python с использованием фреймворка
PyTorch и распространяется под лицензией MIT. Для проведения экспериментов можно использовать как готовые модели, так и провести тренировку моделей самостоятельно при помощи предлагаемых скриптов, например, используя коллекцию трёхмерных изображений человека HumanML3D. Для обучения системы требуется GPU с поддержкой CUDA.
Применение традиционных возможностей для анимирования движений человека затруднено из-за усложнений, связанных с большим разнообразием возможных движений и трудностью их формального описания, а также из-за большой чувствительности человеческого восприятия к неестественным движениям. Ранее предпринимаемые попытки использования
генеративных моделей машинного обучения имели проблемы с качеством и ограниченной выразительностью.
В предложенной системе предпринята попытка использования для генерации движений диффузионных моделей, которые по своей сути лучше подходят для симуляции человеческих движений, но не лишены недостатков, таких как высокие требования к вычислительным ресурсам и сложность управления. Для минимизации недостатков диффузионных моделей в MDM задействована нейронная сеть с архитектурой "трансформер" и прогнозирование образца (sample) вместо прогнозирования шума на каждом этапе, что упрощает предотвращение аномалий, таких как потеря контакта поверхности с ногой.
Для управления генерацией предусмотрена возможность применения текстового описания действия на естественном языке (например, "человек идёт вперёд и наклоняется чтобы поднять что-то с земли") или использование типовых действий, таких как "бег" и "прыжки". Систему также можно применять для редактирования движений и восполнения утраченных деталей. Исследователями было проведено тестирование, участникам которого предлагалось выбрать из нескольких вариантов более качественный результат - в 42% случаев люди отдали предпочтение синтезированным движениям, а не реальным.
Извините, данный ресурс не поддреживается. :(
===========
Источник:
OpenNet.RU
===========
Похожие новости
- Главная ссылка к новости (https://github.com/GuyTevet/mo...)
- OpenNews: HyperStyle - адаптация системы машинного обучения StyleGAN для редактирования изображений
- OpenNews: Опубликован проект PIXIE для построения 3D-моделей людей по фотографии
- OpenNews: Компания DeepMind анонсировала открытие симулятора физических процессов MuJoCo
- OpenNews: PIFu - система машинного обучения для построения 3D-модели человека на основе 2D-снимков
- OpenNews: Открыт код для синтеза анимации с помощью нейросетей
Похожие новости:
- Компания Сollabora представила систему машинного обучения для сжатия видео
- Выпуск дистрибутива Tails 5.4
- Выпуск Tor Browser 11.5.1 и дистрибутива Tails 5.3
- Уязвимости в web-фреймворке Grails и Ruby-модуле TZInfo
- Выпуск дистрибутива Tails 5.2
- Facebook опубликовал модель для машинного перевода, поддерживающую 200 языков
- В containerd приняты изменения, позволяющие запускать Linux-контейнеры во FreeBSD
- Новая версия почтового сервера Exim 4.96
- GitHub ввёл в строй систему машинного обучения Copilot, генерирующую код
- Слияние проектов Thunderbird и K-9 Mail
Теги для поиска: #_ai, #_simulation
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 14-Май 23:04
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 3 месяца |
|
|
Группа исследователей из Тель-Авивского университета открыла исходные тексты, связанные с системой машинного обучения MDM (Motion Diffusion Model), позволяющей генерировать реалистичные движения человека. Код написан на языке Python с использованием фреймворка PyTorch и распространяется под лицензией MIT. Для проведения экспериментов можно использовать как готовые модели, так и провести тренировку моделей самостоятельно при помощи предлагаемых скриптов, например, используя коллекцию трёхмерных изображений человека HumanML3D. Для обучения системы требуется GPU с поддержкой CUDA. Применение традиционных возможностей для анимирования движений человека затруднено из-за усложнений, связанных с большим разнообразием возможных движений и трудностью их формального описания, а также из-за большой чувствительности человеческого восприятия к неестественным движениям. Ранее предпринимаемые попытки использования генеративных моделей машинного обучения имели проблемы с качеством и ограниченной выразительностью. В предложенной системе предпринята попытка использования для генерации движений диффузионных моделей, которые по своей сути лучше подходят для симуляции человеческих движений, но не лишены недостатков, таких как высокие требования к вычислительным ресурсам и сложность управления. Для минимизации недостатков диффузионных моделей в MDM задействована нейронная сеть с архитектурой "трансформер" и прогнозирование образца (sample) вместо прогнозирования шума на каждом этапе, что упрощает предотвращение аномалий, таких как потеря контакта поверхности с ногой. Для управления генерацией предусмотрена возможность применения текстового описания действия на естественном языке (например, "человек идёт вперёд и наклоняется чтобы поднять что-то с земли") или использование типовых действий, таких как "бег" и "прыжки". Систему также можно применять для редактирования движений и восполнения утраченных деталей. Исследователями было проведено тестирование, участникам которого предлагалось выбрать из нескольких вариантов более качественный результат - в 42% случаев люди отдали предпочтение синтезированным движениям, а не реальным. Извините, данный ресурс не поддреживается. :( =========== Источник: OpenNet.RU =========== Похожие новости
|
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 14-Май 23:04
Часовой пояс: UTC + 5