[Разработка робототехники, Робототехника, Видеотехника, Мультикоптеры] Экстрасенсорные шпионы из Китая пытаются украсть восторг вашего разума: дроны в кино
Автор
Сообщение
news_bot ®
Стаж: 6 лет 9 месяцев
Сообщений: 27286
Dream of Californication История о нашем первом проекте с кинодронами. В серии статей расскажу о том, как связаны кино и робототехника, и об особенностях управления коптером для автоматической видеосъемки. Также будет о нашем опыте в теме и голливудской мечте.
It's understood that Hollywoodsells Californication
Как мне кажется, у меня необычный «творческий путь». Знакомство с Unix-системами я начал с QNX, микроядерной системы реального времени с красивой «правильной» архитектурой, работу с БПЛА — с дирижаблей, которые используют аэростатическую подъемную силу и больше похожи на подводную лодку, чем на обычный дрон-коптер. Работу же с мультикоптерами я начал уже позже с первого самостоятельного проекта нашей команды RaccoonLab, состоящего в создании системы автоматизированной художественной кино-съемки с дрона. Необычность этого проекта состояла еще и в том, что он делался удаленно, во взаимодействии с командой в долине, что для робототехники даже в текущие времена общепризнанной дистанционки остается необычным.Этот проект стал важным в нашей судьбе, мы о нем часто вспоминаем и возвращаемся к нему (либо его составляющим). Например, к нам заезжал Фёдор Бондарчук, который сказал, что такие штуки ох как нужны. Или когда презентовали первый художественный фильм снятый в Иннополисе («Он, она и робот»), была сессия общения с командой FILM24.PRO. Там вживую можно было посмотреть на RED камеру, о которой было так много разговоров в нашем проекте (похоже, она действительно классная). А недавно в нашем пространстве Арт Спейс состоялась встреча о взаимном сотрудничестве по вопросам технологического развития IT-отрасли и киноиндустрии.Многие технологии, которые мы используем для других задач, отсюда тоже — гладкие кривые, параллельное управление дроном и камерой на подвесе, MPC, фотограмметрия, DJI SDK, аппаратные средства (дроны DJI, компьютеры Nvidia, RTK, радиолинки и т.п.). 
шпион из Китая :)Еще нельзя не вспомнить про волшебное знакомство с работой бизнес-ангелов и с невероятным человеком Botao (Amber) Hu. Он разработчик и предприниматель китайского происхождения из Калифорнии, делал первую версию DJI ROS SDK, стажировался и работал в HKUST, Google, Microsoft, Pinterest, Twitter, DJI, оттачивал мастерство программирования на русских онлайн-олимпиадах, запустил несколько проектов, занимался профессиональной фотографией (здесь его спич с TEDx о том как это связано с дронами) и оплатил наш заказ на коптеры для работы два раза, не сразу заметив это :)Простите, похоже опять получается лонгрид, поэтому разобью на пару частей.Про роботов в киноКинематограф будущего стоит на IT-технологиях, цифровых хранилищах, компьютерной графике, виртуальной, дополненной и смешанной реальности, искусственном интеллекте, нейросетях.Не будем рассматривать всё IT, пощупаем хотябы области пересечения кино и роботов (и прежде всего рассмотрим роботов, использующихся в процессе съемки за кадром, а не в качестве героев фильмов).
Л: Именно. Технологии всегда просто облегчали жизнь. Быстрее доехать, дешевле купить, жить в лучшем доме и прочее. То же самое и с информационными технологиями. Вот предположим, все соединены со всеми. Что дальше? Что тут еще можно сделать? Конечно, можно улучшить качество связи, но это не принципиальная разница. Значит, куда нас ведут технологии? На мой взгляд, следующий серьезный шаг – это развлечения.Д: Развлечения как венец развития…Линус Торвальдс, Дэвид Даймонд Just for Fun. Рассказ нечаянного революционера
Роботы для кино — это целая индустрия со своими звездами и серьезными бюджетами. В целом, роботы используются в кино как:
- интерактивные объекты в кадре (зачастую под проект);
- инструменты 3d моделирования;
- инструменты съемки (летающие камеры).
Motion captureОдна из технологий, которые очень роднят робототехнику и кино, — motion capture, система захвата движений на основе высокочастотных камер, определяющих положение специальных маркеров. Позволяет оцифровать движения актёра и использовать их для управления трёхмерной моделью персонажа. 
Motion captureЗдесь пересечение в том, что технология, широко применяемая в кино, известна и робототехникам. В робототехнике используется как локальная навигационная система для определения положения и ориентации робота — для управления и ground truth. Прежде всего используется в ресерче. Так, мы используем решение от Optitrack, чтобы анализировать движение нашего Тенсодрона.ФотограмметрияВместо хромакея(немного оффтоп но к месту)Недавно я узнал про новую тенденцию в кинопроизводстве: круговые дисплеи, LED-панели, которые с использованием технологий видеоигр создают реалистичный мир вокруг актеров. Эта штука выводит на первый план VFX (создание визуальных эффектов), которое делается не на этапе постпроизводства, а до съемки с актерами (virtual production workflow).Извините, данный ресурс не поддреживается. :( Ещё материал по теме: как реальные камеры снимают виртуальный мирПро технологию:Извините, данный ресурс не поддреживается. :( Как снимали «Короля льва»:Извините, данный ресурс не поддреживается. :( Собственно фотограмметрияДля создания этого фонового мира в virtual production workflows вместо ручной прорисовки 3d-художниками все чаще используется технология фотограмметрии. Фотограмметрия — это процесс создания 3D-моделей из нескольких фотографий одного объекта, сделанных с разных углов.Это технология уже связывает не только кино и роботов, но и кино и дроны, т.к. фотограмметрия очень часто делается с дронов. Мы использовали DroneDeploy, есть Pix4D и ряд опенсорс решений (Colmap и др.). Есть также Metashape от российской Геоскан, которая, кстати, используется в Голливуде. 
Мержаново 3dЛетающие камеры
Ассоциация с беспилотной летающей кинокамерой из «S.N.U.F.F.». Мы постепенно подбираемся все ближе к дронам. Но пока сфокусируемся на одной особенности камер (точнее даже не их самих), которые используются как на дронах, так и в целом для киносъемки: наличие стабилизаторов (или подвесов gimbal). 
Подвес MōVI Pro от Freefly SystemsНедавно благодаря DJI Osmo стабилизированные камеры получили уже совсем широкое распространение. Немногим ранее подвесы в основном использовались профессиональными операторами для получения гладкого видео без скачков при движении оператора. Среди производителей профессиональных решений в этой области можно назвать Freefly Systems, DJI. В России, похоже, тоже есть интересная история на эту тему (см. Forbes).Еще одна компания, специализирующаяся на робототехнике для съемки видео (больше для ТВ) — Мовиком. Когда-то давно они участвовали в проведении соревнований Мобильные роботы на мехмате МГУ. Сейчас их летающие камеры имеют тросовые системы для перемещения (по сути кабельный робот). Их решения широко используют во всем мире в ситуациях, когда нельзя летать на дроне (например, на стадионах над людьми).
RobycamНаконец, перейдём к дронам — самому удобному и свободному способу съемки. Конечно, дроны имеют и некоторые недостатки, например угроза безопасности и запреты полетов над людьми, упомянутые выше, а также относительно малое время работы. Однако, перед вертолетами, с которых выполнялась съемка раньше, дроны имеют явные преимущества в дешевизне, компактности, возможности съемки с нескольких ракурсов несколькими аппаратами. Ну и … роботизация и все прелести автономности.Что заменяет дрон в кино:
- вертолёты;
- операторский кран.
Вертолет с philpastuhov.com, кран с freeflysystems.com Не нужно рассказывать, что любительская фото-видеосъемка — основное применение дронов, и что лидером в области дронов является компания DJI (про одну новую компанию-единорога, которая круче, в следующей части). У DJI есть как любительские так и профессиональные решения для киносъемки (см. Ronin и M600). Другая компания, Freefly, специализируется именно на направлении кинодронов целиком. Совсем недавно компания Sony тоже представила высокотехнологичный кинематографический дрон.Извините, данный ресурс не поддреживается. :(
«Выход Sony на рынок произошел после того, как DJI, ведущий производитель дронов в мире, был добавлен в черный список в США вместе с другими китайскими технологическими компаниями, такими как Semiconductor Manufacturing International Corp».
Нехорошие ребята, выгнали DJI с рынка :) Тема дронов становится еще горячее.
Президент и генеральный директор Sony Кеничиро Йошида отметил, что Airpeak позволит «создателям видео исследовать новые горизонты», давая возможность удаленно снимать изображения сверху. «Он может превратить небо в бесконечную игровую площадку», - сказал он, добавив, что дрон откроет новые формы развлечений.
Это он, наверное, про витающую в умах мысль, что кино будущего превратится в компьютерную игру.Еще про роботов в кино (и в том числе про российские компании) здесь:Извините, данный ресурс не поддреживается. :( Запись эфира youtube-канала «PRO Роботов»Гладкость, плавность и повторяемость Зачем нужно автоматизировать киносъемку с дронов?
Фото эпичных чуваков из презентации DJIОбычно профессиональная съемка с БПЛА выполняется двумя операторами. Это связано с тем, что нужно одновременно управлять движением дрона в пространстве и камерой — её ориентацией, зумом, фокусом (или, в общем, тем, какой получается кадр). Соответственно, степеней свободы 6 + 3 минимум, одному справиться сложновато. 
9 DOFОсобенности (и боли) этой работы следующие:
- Сложность управления: управлять дроном в целом нужно учиться, а управлять дроном с камерой так, чтобы движения (и финальное видео) были секси (гладкие и без рывков), ещё сложнее. И плюс к этому совместная работа 2 операторов.
- Невозможность предпросмотра: нужно множество репетиций.
- Сложность повторения: если удалось один раз сделать классный кадр, то повторить (это же кино, нужны дубли) его уже сложнее или невозможно с нужной точностью в ручном режиме.
- Проблема масштабирования: длительное время обучения (и сработки) операторов.
Итого, основные требования к системе/процессу съемки с БПЛА, которые я прочувствовал, погружаясь в тематику:
- плавность кадра;
- повторяемость;
- предпросмотр.
Повторяемость, кстати, нужна не только для множества дублей, но и для создания художественных эффектов на основе съемки одной и той же сцены в разных условиях (день/ночь, зима/лето и тому подобное). Клип Radiohead Man Of War (явная игра с переключением времени суток):Извините, данный ресурс не поддреживается. :( В целом, процесс, конечно, творческий, и под определенную идею может понадобиться кастомизация. Выводы в конце статьиДроны это классно, автономные дроны это еще круче, автономные дроны для кино — мечта и апофеоз развития технологий (смайлик). И немного подробнее: роботы в кино могут использоваться как в кадре (интерактивные элементы или даже герои), так и за кадром для обеспечения самого процесса съемки. Летающие камеры (кинодроны) дают кучу преимуществ по сравнению с другими средствами (вертолетами, краном). А их автоматизация в свою очередь позволяет создавать различные художественные эффекты за счет плавности, повторяемости и точности движений.В следующей части: сплайны девятого порядка и прочая матчасть, наш Голливуд (головокружение, предпросмотр и другие кейсы), истина где-то рядом (обзор рынка).Наша команда: instagram.com/raccoon.lab Саундтрек к статье (и объяснение странного заголовка):Извините, данный ресурс не поддреживается. :(
And tidal waves couldn't save the worldFrom Californication
===========
Источник:
habr.com
===========
Похожие новости:
- [Микроформаты, Децентрализованные сети, Расширения для браузеров, Управление медиа] Смотрим любое кино мгновенно
- [Мультикоптеры, Транспорт] Первый в России полигон для тестирования беспилотников «Полигон БАС» откроется под Тверью
- [Разработка робототехники, Робототехника, Научно-популярное, Химия] Исследователи создали плавающего робота, который может лечить сам себя
- [Сетевые технологии, Стандарты связи] Суверенный DNS уже здесь, а вы и не заметили
- [Машинное обучение, Исследования и прогнозы в IT, Робототехника, Биотехнологии] Научно-исследовательские инициативы JetBrains
- [Робототехника, IT-компании] От помощи полицейским до уборки урожая. Не самые очевидные сферы применения роботов
- [Гаджеты, AR и VR, Мультикоптеры] DJI представила скоростной квадрокоптер FPV Drone
- [Разработка робототехники, Робототехника, Мультикоптеры] МТИ показал мини-дрон, который летает подобно насекомому
- [Робототехника] Американская полиция использовала робота Digidog производства Boston Dynamics в операции с заложниками
- [Машинное обучение] Как главная страница ivi оптимизируется под пользователей и их устройства?
Теги для поиска: #_razrabotka_robototehniki (Разработка робототехники), #_robototehnika (Робототехника), #_videotehnika (Видеотехника), #_multikoptery (Мультикоптеры), #_kinodrony (кинодроны), #_bpla (БПЛА), #_kino (кино), #_dpi, #_hollywood, #_razrabotka_robototehniki (
Разработка робототехники
), #_robototehnika (
Робототехника
), #_videotehnika (
Видеотехника
), #_multikoptery (
Мультикоптеры
)
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:45
Часовой пояс: UTC + 5
| Автор | Сообщение |
|---|---|
|
news_bot ®
Стаж: 6 лет 9 месяцев |
|
 Dream of Californication История о нашем первом проекте с кинодронами. В серии статей расскажу о том, как связаны кино и робототехника, и об особенностях управления коптером для автоматической видеосъемки. Также будет о нашем опыте в теме и голливудской мечте. It's understood that Hollywoodsells Californication
 шпион из Китая :)Еще нельзя не вспомнить про волшебное знакомство с работой бизнес-ангелов и с невероятным человеком Botao (Amber) Hu. Он разработчик и предприниматель китайского происхождения из Калифорнии, делал первую версию DJI ROS SDK, стажировался и работал в HKUST, Google, Microsoft, Pinterest, Twitter, DJI, оттачивал мастерство программирования на русских онлайн-олимпиадах, запустил несколько проектов, занимался профессиональной фотографией (здесь его спич с TEDx о том как это связано с дронами) и оплатил наш заказ на коптеры для работы два раза, не сразу заметив это :)Простите, похоже опять получается лонгрид, поэтому разобью на пару частей.Про роботов в киноКинематограф будущего стоит на IT-технологиях, цифровых хранилищах, компьютерной графике, виртуальной, дополненной и смешанной реальности, искусственном интеллекте, нейросетях.Не будем рассматривать всё IT, пощупаем хотябы области пересечения кино и роботов (и прежде всего рассмотрим роботов, использующихся в процессе съемки за кадром, а не в качестве героев фильмов). Л: Именно. Технологии всегда просто облегчали жизнь. Быстрее доехать, дешевле купить, жить в лучшем доме и прочее. То же самое и с информационными технологиями. Вот предположим, все соединены со всеми. Что дальше? Что тут еще можно сделать? Конечно, можно улучшить качество связи, но это не принципиальная разница. Значит, куда нас ведут технологии? На мой взгляд, следующий серьезный шаг – это развлечения.Д: Развлечения как венец развития…Линус Торвальдс, Дэвид Даймонд Just for Fun. Рассказ нечаянного революционера
 Motion captureЗдесь пересечение в том, что технология, широко применяемая в кино, известна и робототехникам. В робототехнике используется как локальная навигационная система для определения положения и ориентации робота — для управления и ground truth. Прежде всего используется в ресерче. Так, мы используем решение от Optitrack, чтобы анализировать движение нашего Тенсодрона.ФотограмметрияВместо хромакея(немного оффтоп но к месту)Недавно я узнал про новую тенденцию в кинопроизводстве: круговые дисплеи, LED-панели, которые с использованием технологий видеоигр создают реалистичный мир вокруг актеров. Эта штука выводит на первый план VFX (создание визуальных эффектов), которое делается не на этапе постпроизводства, а до съемки с актерами (virtual production workflow).Извините, данный ресурс не поддреживается. :( Ещё материал по теме: как реальные камеры снимают виртуальный мирПро технологию:Извините, данный ресурс не поддреживается. :( Как снимали «Короля льва»:Извините, данный ресурс не поддреживается. :( Собственно фотограмметрияДля создания этого фонового мира в virtual production workflows вместо ручной прорисовки 3d-художниками все чаще используется технология фотограмметрии. Фотограмметрия — это процесс создания 3D-моделей из нескольких фотографий одного объекта, сделанных с разных углов.Это технология уже связывает не только кино и роботов, но и кино и дроны, т.к. фотограмметрия очень часто делается с дронов. Мы использовали DroneDeploy, есть Pix4D и ряд опенсорс решений (Colmap и др.). Есть также Metashape от российской Геоскан, которая, кстати, используется в Голливуде.  Мержаново 3dЛетающие камеры  Ассоциация с беспилотной летающей кинокамерой из «S.N.U.F.F.». Мы постепенно подбираемся все ближе к дронам. Но пока сфокусируемся на одной особенности камер (точнее даже не их самих), которые используются как на дронах, так и в целом для киносъемки: наличие стабилизаторов (или подвесов gimbal).  Подвес MōVI Pro от Freefly SystemsНедавно благодаря DJI Osmo стабилизированные камеры получили уже совсем широкое распространение. Немногим ранее подвесы в основном использовались профессиональными операторами для получения гладкого видео без скачков при движении оператора. Среди производителей профессиональных решений в этой области можно назвать Freefly Systems, DJI. В России, похоже, тоже есть интересная история на эту тему (см. Forbes).Еще одна компания, специализирующаяся на робототехнике для съемки видео (больше для ТВ) — Мовиком. Когда-то давно они участвовали в проведении соревнований Мобильные роботы на мехмате МГУ. Сейчас их летающие камеры имеют тросовые системы для перемещения (по сути кабельный робот). Их решения широко используют во всем мире в ситуациях, когда нельзя летать на дроне (например, на стадионах над людьми).  RobycamНаконец, перейдём к дронам — самому удобному и свободному способу съемки. Конечно, дроны имеют и некоторые недостатки, например угроза безопасности и запреты полетов над людьми, упомянутые выше, а также относительно малое время работы. Однако, перед вертолетами, с которых выполнялась съемка раньше, дроны имеют явные преимущества в дешевизне, компактности, возможности съемки с нескольких ракурсов несколькими аппаратами. Ну и … роботизация и все прелести автономности.Что заменяет дрон в кино:
 Вертолет с philpastuhov.com, кран с freeflysystems.com Не нужно рассказывать, что любительская фото-видеосъемка — основное применение дронов, и что лидером в области дронов является компания DJI (про одну новую компанию-единорога, которая круче, в следующей части). У DJI есть как любительские так и профессиональные решения для киносъемки (см. Ronin и M600). Другая компания, Freefly, специализируется именно на направлении кинодронов целиком. Совсем недавно компания Sony тоже представила высокотехнологичный кинематографический дрон.Извините, данный ресурс не поддреживается. :( «Выход Sony на рынок произошел после того, как DJI, ведущий производитель дронов в мире, был добавлен в черный список в США вместе с другими китайскими технологическими компаниями, такими как Semiconductor Manufacturing International Corp».
Президент и генеральный директор Sony Кеничиро Йошида отметил, что Airpeak позволит «создателям видео исследовать новые горизонты», давая возможность удаленно снимать изображения сверху. «Он может превратить небо в бесконечную игровую площадку», - сказал он, добавив, что дрон откроет новые формы развлечений.
 Фото эпичных чуваков из презентации DJIОбычно профессиональная съемка с БПЛА выполняется двумя операторами. Это связано с тем, что нужно одновременно управлять движением дрона в пространстве и камерой — её ориентацией, зумом, фокусом (или, в общем, тем, какой получается кадр). Соответственно, степеней свободы 6 + 3 минимум, одному справиться сложновато.  9 DOFОсобенности (и боли) этой работы следующие:
And tidal waves couldn't save the worldFrom Californication
=========== Источник: habr.com =========== Похожие новости:
Разработка робототехники ), #_robototehnika ( Робототехника ), #_videotehnika ( Видеотехника ), #_multikoptery ( Мультикоптеры ) |
|
Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете голосовать в опросах
Вы не можете прикреплять файлы к сообщениям
Вы не можете скачивать файлы
Текущее время: 22-Ноя 14:45
Часовой пояс: UTC + 5