[Разработка игр, Машинное обучение, Контент-маркетинг, Дизайн игр] Text-to-Video. Visper – новая платформа визуальных персонажей для создания видеоконтента
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
SberDevices запустила открытое бета-тестирование платформы Visper, где можно легко превратить текст в видеоролики с визуальными персонажами. Это может быть полезно, например, при создании презентаций, обучающих видео, новостных выпусков, контента для пабликов в социальных сетях и должно упростить и удешевить продакшен.
Извините, данный ресурс не поддреживается. :(
Образ визуального персонажа можно сформировать под свою задачу, выбрав одежду, причёску и даже голос. Чтобы ролики было интереснее смотреть, прямо по тексту можно расставлять жесты – в нужный момент виртуальный аватар поздоровается со зрителями или обратится к ним во время рассказа. Очень скоро мы добавим автоматический подбор жестов: пользователю достаточно будет загрузить текст и проверить, правильные ли подсказки визуальный персонаж получил от алгоритмов.
Так выглядит монтажный стол, где создаётся ролик. В тексте проставлен жест представления
У платформы Visper есть удобная фича – можно создавать видео из файлов в формате pdf, загружая, например, готовые презентации.
Экран создания нового ролика
Прототипом для цифровых аватаров послужила виртуальная ведущая Елена. Владельцы SberBox и SberPortal, а также читатели онлайн-портала Ferra.ru знакомы с ней по новостным выпускам, которые она там ведёт.
Внешность виртуальной ведущей мы «позаимствовали» у реальной девушки-актрисы. Чтобы собрать все данные, необходимые для создания аватара, потребовалось около шести часов съёмок: актриса читала на камеру специально разработанные нами тексты, которые призваны максимально раскрыть особенности человеческого артикуляционного аппарата. В итоге мы получили парный датасет – он состоит из голоса и соответствующих ему кадров видео. Используя этот датасет, мы обучаем нейросеть по звуку генерировать соответствующее ему положение губ. Такая синхронизация звука и движений губ называется липсинк (Lip sync).
В скором времени возможности платформы существенно расширятся, в том числе пополнятся решениями для геймдев-индустрии, когда на базе инструментов Visper разработчики смогут создавать аватаров и персонажей для игр.
Чтобы создать собственное видео с цифровым ведущим, достаточно зарегистрироваться на сайте visper.tech. На этапе бета-тестирования доступ к платформе для пользователей будет открыт бесплатно.
===========
Источник:
habr.com
===========
Похожие новости:
- [Разработка мобильных приложений, Машинное обучение, Софт, Искусственный интеллект, Flutter] Flitter Your Business With AI Integrated Flutter App Development
- [IT-стандарты, Терминология IT, Машинное обучение, Учебный процесс в IT] Комментарий переводчика, или никто никого не обучает
- [Python, Обработка изображений, Машинное обучение] Распознавание дорожных знаков
- [Тестирование IT-систем, Машинное обучение, Читальный зал, Робототехника] Лучшие экспериментальные протоколы для исследования реального мира (перевод)
- [Программирование, Проектирование и рефакторинг, Разработка игр, Unity] Разделяй и властвуй — Использование FSM в Unity
- [Big Data, Машинное обучение, Искусственный интеллект, IT-компании] Контролируемое и неконтролируемое обучение: в чем разница? (перевод)
- [Программирование, Математика, Машинное обучение, Учебный процесс в IT] Ozon Masters: прием заявок на набор 2021 года
- [Разработка игр, Управление продуктом, Продвижение игр, Финансы в IT, IT-компании] Возвраты за Cyberpunk почти не повлияли на доходы CD Projekt
- [Работа с 3D-графикой, Машинное обучение] МИТАП: Как с помощью глубокого обучения можно восстановить геометрию человеческого тела?
- [Программирование, Разработка игр, Игры и игровые приставки] Портируем DOOM на serverless-платформу (перевод)
Теги для поиска: #_razrabotka_igr (Разработка игр), #_mashinnoe_obuchenie (Машинное обучение), #_kontentmarketing (Контент-маркетинг), #_dizajn_igr (Дизайн игр), #_vizualnye_personazhi (визуальные персонажи), #_visper, #_tsifrovye_avatary (цифровые аватары), #_texttovideo, #_nejroseti (нейросети), #_blog_kompanii_sberdevices (
Блог компании SberDevices
), #_razrabotka_igr (
Разработка игр
), #_mashinnoe_obuchenie (
Машинное обучение
), #_kontentmarketing (
Контент-маркетинг
), #_dizajn_igr (
Дизайн игр
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:12
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 SberDevices запустила открытое бета-тестирование платформы Visper, где можно легко превратить текст в видеоролики с визуальными персонажами. Это может быть полезно, например, при создании презентаций, обучающих видео, новостных выпусков, контента для пабликов в социальных сетях и должно упростить и удешевить продакшен. Извините, данный ресурс не поддреживается. :( Образ визуального персонажа можно сформировать под свою задачу, выбрав одежду, причёску и даже голос. Чтобы ролики было интереснее смотреть, прямо по тексту можно расставлять жесты – в нужный момент виртуальный аватар поздоровается со зрителями или обратится к ним во время рассказа. Очень скоро мы добавим автоматический подбор жестов: пользователю достаточно будет загрузить текст и проверить, правильные ли подсказки визуальный персонаж получил от алгоритмов.  Так выглядит монтажный стол, где создаётся ролик. В тексте проставлен жест представления У платформы Visper есть удобная фича – можно создавать видео из файлов в формате pdf, загружая, например, готовые презентации.  Экран создания нового ролика Прототипом для цифровых аватаров послужила виртуальная ведущая Елена. Владельцы SberBox и SberPortal, а также читатели онлайн-портала Ferra.ru знакомы с ней по новостным выпускам, которые она там ведёт. Внешность виртуальной ведущей мы «позаимствовали» у реальной девушки-актрисы. Чтобы собрать все данные, необходимые для создания аватара, потребовалось около шести часов съёмок: актриса читала на камеру специально разработанные нами тексты, которые призваны максимально раскрыть особенности человеческого артикуляционного аппарата. В итоге мы получили парный датасет – он состоит из голоса и соответствующих ему кадров видео. Используя этот датасет, мы обучаем нейросеть по звуку генерировать соответствующее ему положение губ. Такая синхронизация звука и движений губ называется липсинк (Lip sync). В скором времени возможности платформы существенно расширятся, в том числе пополнятся решениями для геймдев-индустрии, когда на базе инструментов Visper разработчики смогут создавать аватаров и персонажей для игр. Чтобы создать собственное видео с цифровым ведущим, достаточно зарегистрироваться на сайте visper.tech. На этапе бета-тестирования доступ к платформе для пользователей будет открыт бесплатно. =========== Источник: habr.com =========== Похожие новости:
Блог компании SberDevices ), #_razrabotka_igr ( Разработка игр ), #_mashinnoe_obuchenie ( Машинное обучение ), #_kontentmarketing ( Контент-маркетинг ), #_dizajn_igr ( Дизайн игр ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 13:12
Часовой пояс: UTC + 5