Технология захвата движения

скачать

Реферат на тему:

Захват движения

План:

    Введение

  • 1Существующие технологии
  • 2Преимущества и недостатки motion capture
  • 3Технология захвата движения
  • 4По сравнению с синим экраном
    • 4.1Преимущества motion capture
    • 4.2Преимущества «синего экрана»
    • 4.3По сравнению с 3D-мультипликацией
      • 4.3.1Преимущества motion capture
      • 4.3.2Преимущества ручной мультипликации персонажей
  • Примечания

Введение

Стиль этой статьи неэнциклопедичен или нарушает нормы русского языка.

Статью следует исправить согласно стилистическим правилам Википедии.

Motion capture — метод анимации персонажей и объектов. Дословный перевод с английского — захват движения.

Метод применяется в производстве CGI-мультфильмов, а также для создания спецэффектов в фильмах. Широко используется в игровой индустрии. С использованием этого метода в 2004 году созданы мультфильмы «Полярный экспресс» (модель — Том Хэнкс), «Последняя фантазия» (в качестве моделей выступили добровольцы) и другие, также motion capture использовалось при анимации сгенерированного компьютером киноперсонажа Голлум в трилогии «Властелин колец» (модель — Энди Серкис). В 2006 году при помощи этой технологии был создан «Ренессанс», в 2007 году — «Беовульф», в 2009 году — «Рождественская история», «Аватар». Также с помощью этой технологии было создано лицо Волан-де-Морта в фильмах «Гарри Поттер».

В марте 2007 года режиссёр Стивен Спилберг заявил об увеличении производства мультфильмов, созданных по технологии motion capture.

Существует мнение, что Американская киноакадемия отрицательно относится к созданию фильмов, полностью основанных на этой технологии, о чём говорят результаты отбора номинантов на премию «Оскар» в категории «Лучшие спецэффекты».[1]

1. Существующие технологии

Существуют два основных вида систем motion capture:

  1. Маркерная система motion capture, где используется специальное оборудование. На человека надевается костюм с датчиками, он производит движения, требуемые по сценарию, встаёт в условленные позы, имитирует действия; данные с датчиков фиксируются камерами и поступают в компьютер, где сводятся в единую трёхмерную модель, точно воспроизводящую движения актёра, на основе которой позже (или в режиме реального времени) создаётся анимация персонажа. Также этим методом воспроизводится мимика актёра (в этом случае на его лице располагаются маркеры, позволяющие фиксировать основные мимические движения).
  2. Безмаркерная технология, не требующая специальных датчиков или специального костюма. Безмаркерная технология основана на технологиях компьютерного зрения и распознавания образов. Актер может сниматься в обычной одежде, что сильно убыстряет подготовку к съемкам и позволяет снимать сложные движения (борьба, падения, прыжки, и т. п.) без риска повреждения датчиков или маркеров. Несколько практически применимых безмаркерных систем были разработаны в последние годы[2][3], хотя исследования подобной технологии проводятся уже долгое время[4]. На сегодняшний день существует программное обеспечение «настольного» класса для безмаркерного захвата движений[5]. В данном случае не требуется специального оборудования, специального освещения и пространства. Съёмка производится с помощью обычной камеры (или веб-камеры) и персонального компьютера.

На сегодняшний день существуют большое количество маркерных систем захвата движений. Различие между ними заключается в принципе передачи движений [6]:

  1. Оптические пассивные. На костюме, входящем в комплект такой системы, прикреплены датчики-маркеры, которые названы пассивными, потому что отражают только посланный на них свет, но сами не светятся. В таких системах свет (инфра-красный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и, отразившись от маркеров, попадает обратно в объектив камеры, сообщая тем самым позицию маркера.
    Минус оптических пассивных систем заключается в длительности размещения маркеров на актёре. Так же иногда при быстром движении или близком расположении маркеров друг к другу система может их путать (поскольку эта технология не предусматривает идентификации каждого маркера по отдельности).
  2. Оптические активные названы так потому, что вместо светоотражающих маркеров, которые крепятся к костюму актёра, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается ID (идентификатор), что позволяет системе не путать маркеры друг с другом, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. Во всём остальном принцип работы таких систем схож с пассивными системами.
    Минусы активных систем:
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, крепящийся к актёру и подключенный к маркерам-светодиодам, сковывает его движения
    • Хрупкость и относительно высокая стоимость маркеров-светодиодов
  3. Магнитные системы, в которых маркерами являются магниты, а камерами — ресиверы, система высчитывает их позиции по искажениям магнитного потока.
    Минусы магнитных систем:
    • Магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения (электропроводки помещения, оргтехники, арматуры в плитах строения)
    • Переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне
    • Меньшая по сравнению с оптическими системами рабочая зона
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
    • Высокая стоимость магнитных маркеров
  4. Механические системы напрямую следят за сгибами суставов, для этого на актёра надевается специальный механический mocap-скелет, который повторяет следом за ним все движения. В компьютер при этом передаются данные об углах сгибов всех суставов.
    Минусы механических систем:
    • Mocap-скелет, с дополнительным контроллером, прикреплённым к актёру и подключенным к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, сильно ограничивают движения актёра.
    • Отсутствие возможности захвата:
      • Движений и мимики лица
      • Движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т. д.)
      • Движений на полу — кувырки, падения и т. д.
    • Риск поломки механики при неосторожном использовании.
  5. Гироскопические / инертные системы для сбора информации о движении используют миниатюрные гироскопы и инертные сенсоры, расположенные на теле актёра — также как и маркеры или магниты в других mocap-системах. Данные с гироскопов и сенсоров передаются в компьютер, где происходит их обработка и запись. Система определяет не только положение сенсора, но также угол его наклона.
    Минусы гироскопических / инертных систем:
    • Отсутствие возможности захвата движений и мимики лица
    • Дополнительный контроллер, прикреплённый к актёру и подключенный к магнитным маркерам, или даже связка проводов, тянущаяся от актёра к компьютеру.
    • Высокая стоимость гироскопов и инертных сенсоров
    • Для определения положения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная)

2. Преимущества и недостатки motion capture

С одной стороны, motion capture — альтернатива живой съёмке актёров, с другой — альтернатива ручной анимации трёхмерной модели. Достоинства и недостатки mo-cap по сравнению с этими технологиями рассмотрим по отдельности.

3. Технология захвата движения

  1. захват движения камеры для последующего совмещения отснятого видео с 3D эффектами, 3D персонажами
http://www.youtube.com/watch?v=Uofim54Z1-E&sns (Простейший спецэффект)
http://www.youtube.com/watch?v=hCVN-D_0Fck
  1. захват движения или мимики актера для переноса на 3D персонажей с последующей визуализацией этого персонажа либо непосредственно в 3D среде, либо для сведения с видео.
  2. захват движения используют для переноса сложных взаимодействий, например 3D персонаж для последующего монтажа на видео должен смахнуть со стола множество объектов и еще стол должен сломаться, такое легче снять с захватом движения, чем мучить аниматора.
Технология вытеснения с синего или зеленого фона
  1. для съемки актеров на съемочной площадке, где вместо заднего фона зеленый или синий, для последующей замены этого фона на 3D сцену или нарисованный фотореалистичный фон.
  2. для съемки актеров непосредственно на синем или зеленом фоне для последующей замены этого фона на 3D сцену или нарисованный фотореалистичный фон.
  • Пример использования захвата движения и мимики актера и вытеснения зеленого фона — фильм «Я Робот»: http://www.youtube.com/watch?v=yvgRnIbmacI
  • Пример использования захвата движения и мимики актеров — фильм «Аватар», где используются зеленые маркеры на лице актера и камера, закрепленная на его голове. Объектив камеры вынесен и всегда снимает лицо актера, и при любом движении головой маркеры всегда находятся в пределах видимости камеры, что очень важно для качественного захвата: http://www.youtube.com/watch?v=1wK1Ixr-UmM
  • Дальнейшее сравнение технологии захвата движения с технологией вытеснения с синего или зеленого фона лишена всякой логики, так как эти технологи используются для достижения разных результатов.

4. По сравнению с синим экраном

4.1. Преимущества motion capture

  • Один актёр может играть много ролей.
  • Живое видео на заранее визуализированном фоне может смотреться несколько чужеродно.
  • Возможно редактирование постфактум (изменение ракурсов, света, незначительное редактирование движений).
  • Более широкие возможности костюма и грима.
  • Возможность сочетания motion capture с ручной мультипликацией и внесения изменений в данные.
  • Сцену можно показать с такого ракурса, который даже для павильонных съёмок может представлять сложность.
  • В сценах с большим количеством компьютерных эффектов сложно совместить живых актёров с компьютерными персонажами.

4.2. Преимущества «синего экрана»

  • Большинство разновидностей motion capture дорогостоящи.
  • «Синий экран» можно сделать довольно больших размеров и вести на его фоне съёмку масштабных сцен, в то время как размер студии motion capture, как правило, ограничен.
  • Фотореалистичного персонажа изобразить на компьютере сложнее, чем фотореалистичное окружение. Поэтому, начиная с некоторой планки производительности, явно «компьютерный» персонаж будет чужеродно смотреться на фоне, неотличимом от реального. См. Зловещая долина, Myst III: Exile.

4.3. По сравнению с 3D-мультипликацией

4.3.1. Преимущества motion capture

  • Уже через несколько минут после съёмки можно получить предварительный результат и понять, стоит ли переснимать/перекомпоновывать сцену.
  • Реализм движений.

4.3.2. Преимущества ручной мультипликации персонажей

  • Большинство разновидностей mo-cap дорогостоящи, компьютерная анимация дешевле.
  • В mo-cap движения персонажа ограничиваются законами физики.
  • Если анимируемая модель имеет другие пропорции, нежели актёр, возможны проблемы. Например, у «толстого» мультяшного персонажа, который анимирован данными, снятыми даже с очень полного человека, руки могут «входить» в туловище.
  • Не всегда реалистичные движения удаётся хорошо приспособить к компьютерной модели (даже имеющей обычные человеческие пропорции). Взаимодействие персонажа с крупными декорациями (например, герой подходит к двери и открывает её) в компьютерных играх часто передаётся нереалистично. Кроме того, часто в замысел режиссёра входит «гиперболизирование» движений за счет меньшего соответствия законам физики.
  • Трудности с ручным редактированием и «сшивкой» разных дублей mo-cap.
  • Разнообразие. Нарисованные персонажи могут выполнять гораздо больше движений, которые люди повторить не могут.

Мультипликаторы сравнивают mo-cap с фотографией, а ручную мультипликацию — с карандашным рисунком. В зависимости от ситуации, предпочтение может быть отдано в равной мере и той и другой технологии.

Примечания

  1. http://www.kurskcity.ru/news.php?id=25553 — www.kurskcity.ru/news.php?id=25553
  2. iPi Soft — www.ipisoft.com/
  3. Organic Motion — www.organicmotion.com/
  4. Stanford Markerless Motion Capture Project — www.stanford.edu/group/biomotion/Markerless.html
  5. RENDER.RU -> Статьи -> Эксклюзив -> Интервью с директором компании iPi Soft — Михаилом Никоновым — www.render.ru/books/show_book.php?book_id=877
  6. RENDER.RU -> Статьи -> Эксклюзив -> Все о MOCAP — www.render.ru/books/show_book.php?book_id=531

Запись данных о движении мимических мышц актёра

Суровый российский Motion Capture

АрхивМультимедиа

автор : Юрий Ильин   19.05.2010

Московская компания iPi Soft разрабатывает недорогую систему захвата движения, основанную на распознавании образов.

В московской компании iPi Soft разработали уникальную систему захвата движений iPi Desktop Motion Capture, которая не требует оборудования, стоящего десятки, если не сотни тысяч долларов. Специальные костюмы Motion Capture с датчиками и метками тоже не нужны. Всё это заменяют алгоритмы машинного зрения, распознающие людей на видео, снятом обычными камерами.

Технология Motion Capture или, если по-русски, "захват движений" позволяет оцифровать движения актёра и использовать их для управления трёхмерной моделью персонажа. Захват движения активно используется и в компьютерных играх, и в анимации, и в кинематографе. "Удивительный случай с Бенджамином Баттоном", "Рождественская история" и "Аватар" — наиболее свежие примеры интенсивного использования Motion Capture.

Впрочем, у создателей iPi Desktop Motion Capture не было опыта работы в кино или игровой индустрии. "Изначально мы занимались разработкой программного обеспечения для бизнеса, — рассказывает основатель iPi Soft Михаил Никонов. — А эта идея возникла как-то спонтанно. Началось всё с того, что я раздумывал о разработке компьютерной игрушки — сугубо в качестве хобби. Меня поразило, насколько сложно сейчас делается захват движения".

Типичная система захвата движения "промышленного уровня" — это немаленький зал, внушительное количество специализированных камер (порой — десятки) и производительные серверы для обработки поступающих данных (формирование и обработка снятого "облака точек" в режиме реального времени требует более чем серьёзных мощностей). Стоимость полного комплекта оборудования — это пяти-, а то и шестизначные суммы в долларах.

В iPi Soft попытались разработать систему, которая позволяла бы осуществлять захват движения с помощью самых что ни на есть бытовых устройств — мощного ноутбука и нескольких обыкновенных цифровых видеокамер. Цена тоже куда доступнее: стоимость программного обеспечения iPi Soft составляет 500 долларов.

Распознавание образов

Системы захвата движения бывают разные, но почти каждую из них можно отнести к одному из двух типов: первый основан на обработке видео, а в другом используются специальные датчики. Те из них, которые не требуют датчиков, по объективным причинам вышли в лидеры.

Обрабатывать видео тоже можно по-разному.

Некоторые системы требуют использования маркеров — особо выделенных областей на специальных костюмах для Motion Capture. Отыскать маркеры в отснятых кадрах относительно нетрудно — это не требует сложных алгоритмов. Существуют и безмаркерные системы — они, как можно догадаться по названию, не требуют маркеров и основаны на распознавании образов.

Считается, что безмаркерные системы прогрессивнее, и (по крайней мере с технической точки зрения) это чистая правда: технологии, лежащие в их основе, более сложные и наукоёмкие. Компьютер нужно научить отличать левую и правую стороны персонажа, а бликующие поверхности (например, блестящая ткань) способны сбить безмаркерные системы с толку. Фактически тут требуется полноценное машинное зрение, а данная область остаётся всё ещё недоразведанной территорией.

В системе iPi Soft маркеры не используются из принципа: это слишком долго и утомительно.

Захват движения

Одна только подготовка и калибровка маркерной системы занимает полчаса-час, то есть студию захвата движения приходится резервировать на целый съёмочный день — а это стоит тысячи долларов. Вдобавок, как рассказал Михаил Никонов, в студиях Motion Capture, где применяются маркерные системы, часто во всех ролях снимаются одни и те же актёры, и требуется специальная одежда под маркеры, а наборов этой спецодежды всегда ограниченное количество.

iPi Desktop Motion Capture подготовить к работе можно куда быстрее. Правда, к одежде есть свои требования, но куда более простые. Оптимальный вариант — это чёрный свитер, синие джинсы и чёрные ботинки, при этом и верх и низ должны быть однотонными, без узоров и без блёсток.

Как работает iPi Desktop Motion Capture

Всё начинается со съёмки видео, причём, желательно, с разных точек. "Восстановить трёхмерную сцену с помощью нескольких камер несложно, — говорит Никонов. — Поскольку мы видим пиксели с разных точек, с помощью триангуляции мы можем восстановить трёхмерную картинку. Основная сложность — в той части технологии, которая отвечает за распознавание образов. Программе нужно понять, где человек и где какие части тела".

У iPi Soft есть и однокамерный вариант, но он работает куда хуже: все, кто пробовал эту систему, решили, что лучше всё-таки использовать многокамерную. "Поэтому теперь мы все силы бросили на неё, — говорит Никонов. — Единственное, что нам мешает выпустить однокамерный вариант, это то, что с обычными камерами система работает плохо, а подходящих трёхмерных камер пока нет на рынке".

Небольшая стереобаза нынешних стереокамер, по словам Никонова, не позволяет создать карту глубины нужной точности. "Они все настроены, в основном, на съёмку с расстояния метр-два, то есть чтобы в упор человека снимать. А нам нужно расстояние хотя бы четыре-пять метров от камеры до актёра".

Триангуляция по данным с нескольких камер происходит быстро и надёжно. Проблемы начинаются, когда система путает левую и правую руку, например. Оптимальный вариант в таких случаях — использовать сразу три камеры: две по бокам и одна посередине. Тогда актёр виден со всех сторон.

Одной из ключевых проблем систем Motion Capture часто оказывается огромный объём генерируемых ими данных, особенно, если создаётся "облако точек". Эта проблема некоторым образом присутствует и в данном случае: дело в том, что изначально снимается просто большое количество многокамерного видеоматериала (а он занимает немало места), и уже затем система высчитывает трёхмерный "скелет".

"Структура скелетов персонажей может быть очень разная, но у нас в системе используется своего рода "технологический скелет", заточенный под распознавание 3D, и перенести его — не проблема, — рассказывает Никонов. — Получающаяся анимация оказывается довольно компактной — объём совсем небольшой, в тысячи раз меньше объёма исходного видео". Впрочем, сохранять исходное видео в качестве референсов всё же стоит — на тот случай, если потребуются какие-то доработки.

Полученные движения легко "перепривязываются" к скелетной системе Biped в редактор трёхмерной графики Autodesk 3ds Max, а также к Second Life и некоторым играм — в первую очередь, производства Valve (Half-Life 2, Counter-Strike: Source и др.) Видимо, именно поэтому iPi Desktop Motion Capture так полюбили авторы машинимы — мультфильмов, снимаемых на игровых движках. Эту систему использует автор машинима-сериала Civil Protection Росс Скотт, с её помощью снимается и известная машинима Clear Skies про мир EVE Online.

Что дальше

Впрочем, любители — не единственные клиенты iPi Soft. "Мы пока в основном работаем с американскими аниматорами, — говорит Михаил Никонов. — Вообще, у нас две страны выбились — США и Бразилия, там нашу систему используют больше всего. Нашу систему используют три голливудские студии — насколько я понимаю, в режиме эксперимента — главным образом для превизуализации".

Программу уже приобрели несколько западных студий, занимающихся спецэффектами для кино (некоторые из них в прошлом участвовали в работе над фильмами "Битва титанов", "Суррогаты" и "Властелин колец"), канадское министерство обороны, испанский производитель роботов PAL Technology Robotics, военно-промышленная корпорация Northrop Grumman.

Пока iPi Desktop Motion Capture позволяет оцифровывать лишь движения человеческого тела, но не мимику. "Для лицевой анимации у нас будет немного другое решение: небольшая "лицевая" камера будет надеваться примерно как микрофонная гарнитура; у неё будет светодиодная подсветка, и скорее всего, актёр на поясе будет носить небольшой нетбук, синхронизированный по WiFi с записью с остальных камер" — пояснил глава iPi Soft Михаил Никонов.

Похожие лицевые комеры использовались при съёмке фильма "Аватар". Мог ли Джеймс Кэмерон предположить, насколько быстро появятся столь доступные аналоги суперсовременных технологий, созданных его командой?

Хочу снять движения с поединка двух бойцов на мечах. Оборудования нет, денег нет.
Собираюсь сделать это так:

Снимаю спорт зал часов на 6-7.
С помощью тросов и синих полиэтиленовых тентов сооружаю комнату размером 12 м. на 12 м.
Беру двух парней, одеваю их  с ног до головы в чёрную облегашку.
На одежду и мечи приклеиваю половинки шариков от пинг понга.

Motion capture как искусство. История и печаль «цифрового актёрства»

Устанавливаю камеры с четырёх углов.
Снимаю бой.

Возникли пара вопросов. Вот они:

Лучше с тентами или без них? Видел видео на ютубе, где захват делают в чёрно-белом режиме. Что лучше? Сделать видео чёрно-белым, использовать белые шарики и не заморачиваться с тентами? Или лучше сделать цветным, и использовать оранжевые шарики на синем фоне. Или лучше использовать синие тенты и ораньжевые шарики (синий и ораньжевый дают хороший контраст) и при этом снимать в чёрно-белом режиме?

Как расположить шарики на актёрах? В разных роликах шарики расположены по разному. Может есть какая-нибудь специальная карта тела для этого?

.

Раскройте весь потенциал вашей веб камеры с Webcam Surveyor. С этой программой вы с легкостью сможете записывать видео, делать снимки со своей камеры, записывать последовательность изображений в видео файл с интервалом времени от 1 секунды до 59 часов. Встроенный детектор движений позволит вам наблюдать за своsим домом или офисом в ваше отсутствие, а функция Motion Capture (Захват движений) сэкономит ваше время и дисковое пространство, записывая только кадры с движением. Webcam Surveyor также поддерживает современные алгоритмы сжатия видео, такие как DivX, Mpeg4, Mjpeg и др. Интегрированный менеджер файлов поможет организовать получившиеся снимки и видеозаписи.

 

 

ЗагрузитьКупить

Новое в версии 3.6.5 :

  • Улучшена функциональность горячих клавиш в скрытом режиме;
  • Добавлена кнопка «Сбросить все горячие клавиши к значениям по умолчанию» в скрытом режиме.
  • Улучшена совместимость с последним обновлением Windows 10;
  • Незначительные улучшения;

Ключевые функции:

  • Трансляция видео и аудио потоков через Интернет и локальную сеть -Webcam Surveyor позволяет транслировать потоковое видео по локальной сети и Интернет. С помощью этой функции вы можете удаленно наблюдать за вашим домом или офисом, производственными процессами. Для просмотра медиа потоков, вы можете использовать Windows Media Player, VCL-player или другие плееры .
  • Запись видео со звуком – Используя современные алгоритмы сжатия видео Webcam Surveyor может производить запись видео со звуком на протяжении нескольких часов.
  • Захват последовательности изображений – Позволяет записывать кадры через определенный интервал времени в формате JPEG, PNG, BMP или создавать видео в формате AVI.
  • Детектор движений – позволяет настроить различные действия программы, в случае если движение обнаружено.
  • Motion capture (Захват движений) – Используется совместно с детектором движений, позволяет записывать в видео файл только те кадры, на которых обнаружено движение.
  • Оповещение через электронную почту – если движение обнаружено, то программа пришлет сообщение с прикрепленными снимками.
  • FTP оповещение – Загрузит снимки на удаленный сервер. Даже если запись будет кем-то прервана, а файлы удалены с вашего компьютера, вы всегда сможете увидеть, кто это сделал.
  • Другие оповещения – если движение обнаружено то вы можете использовать и другие оповещения: звуковой сигнал, запуск другой программы, открытие URL и запись последовательности снимков с интервалом времени.
  • Скрытый режим – дает возможность спрятать программу на вашем компьютере и управлять ей с помощью комбинаций горячих клавиш. Это позволит сделать видеозапись в присутствии нежелательных лиц или узнать, что происходит с вашем компьютером в ваше отсутствие.
  • Защита паролем – не даст воспользоваться программой в ваше отсутствие.
  • Автозапуск – Вы можете настроить запуск программы во время загрузки Windows

Поддерживаемые форматы:

  • AVI
  • WMV
  • JPEG
  • PNG (Portable Network Graphics)
  • BMP (Windows Bitmaps)

Системные требования:

  • 700 MHz Pentium IBM PC совместимый компьютер (Двух ядерный компьютер для записи HD видео).

    Краткая история Motion Capture

  • 20 MB Свободной оперативной памяти (RAM).
  • 5 MB Свободного дискового пространства .
  • Windows XP/Vista/7/8/10 or later.
  • WDM (Windows Driver Model) совместимое устройство (веб камера или карта для видео захвата).

 

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *