cgfrosty

Jobs before 3DreamTeam. Now you can see it. :)

Adobe After Effects - Part II

  RealTimeSchool (course instructor)
Adobe After Effects | Part II. Compositing and Scripting

Adobe After Effects | Part I

RealTimeSchool (course instructor)
Adobe After Effects | Part I. Advanced Animation and Visual Effects

Massive in Russia

  Cinefex magazine (author)
Matchmoving | First Steps
http://www.cinefex.ru/articles/detail.php?ID=1778

Massive software: теперь в России
Как известно любая уважающая себя серьезная студия, руководство которой хочет получить технический «Оскар» за вклад в развитие и внедрение технологий в кинопроизводство, просто обязана разработать собственный программный продукт. К примеру, студия Pixar выпустила Renderman, Digital Domain порадовала многих программным решением для композинга Nuke, что касается Weta Digital, то компания Питера Джексона отметилась 3D пакетом Massive. Об этом софте мы и поговорим с техническим директором студии RealTime Александром Лавровым. Почему именно с ним? Все просто, Александр является единственным специалистом Massive в России, о котором знают на Западе. Но для начала давайте совершим небольшой исторический экскурс.

История

Программа была разработана под чутким руководством талантливого программиста Стивена Регелуса, перед которым режиссер Питер Джексон поставил задачу создать программное решение для реализации батальных сцен с участием 70-тысячной массовки. В итоге предложенная  программа получила название Massive. Особенность софта заключалась в генерации большого числа агентов искусственного интеллекта, которые весьма правдоподобно взаимодействовали с окружением. У каждого такого агента был  уникальный A.I., что позволяло ему определенным образом реагировать на воздействие извне. Помимо этого компьютерные марионетки принимали решение со скоростью показа фильма.  К примеру, в батальных сценах в трилогии "Властелин колец", они атаковали противника в момент его наибольшей уязвимости.
К разработке столь революционного программного комплекса специалисты приступили в 1996 году. По завершении основных работ был подключен отдел, отвечавший за массовые сцены в студии Weta Digital. В задачи подразделения входила настройка нейросети, создание тел персонажей, а также формирование библиотек движения и разных вариантов внешнего вида.

Лишь по прошествии двух лет стало возможным использование Massive в кинопроизводстве. Ожидание стоило того, так как кинотрилогия «Властелин колец» оказалась отличным испытательным полигоном для программного решения. Получив восторженные отзывы, софт сразу же был взят на вооружение крупнейшими студиями, работавшими над масштабными сценами с большим количеством массовки. К примеру, Massive использовался британской VFX студией MPC (Moving Picture Company) при постановке сцены осады Иерусалима в кинофильме «Царство Небесное» Ридли Скотта.  Из более свежих примеров не можем не упомянуть  «Хроники Нарнии» Эндрю Адамсона, «Флаги наших отцов» Клинта Иствуда, «Делай ноги» Джорджа Миллера, «300 спартанцев» Зака Снайдера и "Обитель зла 3" Рассела Малкахи.

Студия RealTime

Очевидно, что появление на российском рынке столь перспективной и востребованной технологии и самое главное специалистов, которые в состоянии с ней управляться, является  важным шагом вперед для отечественного CG коммьюнити. В ближайшие 7-10 лет, если не случится дефолт, и не иссякнут финансовые потоки в сферу развлечений (игры, кино, телевидение) в России обязательно сформируется CG индустрия. Пока же нам приходится говорить лишь о единичных успехах и свершениях представителей молодой, но динамично развивающейся отрасли.  

Студия RealTime  является единственной CG компанией на российском рынке, которая работает с программным комплексом Massive. По словам технического директора студии Александра Лаврова, лицензионное высокотехнологичное удовольствие обошлось в $17 000 плюс $4000 ежегодной абонентской платы за поддержку и обслуживание. Для сравнения из коммерческих пакетов представленных на западном рынке дороже стоит лишь Face Robot компании Softimage.  Разумеется, отсутствие конкурентов обусловлено не высокой стоимостью программы, а сложностью в работе с ней и необходимостью в настройке соответствующего пайплайна. Кроме того,  в отличие от хорошо знакомых всем продуктов Autodesk, жителю России будет гораздо сложнее приобрести Massive Software, так как в нашей стране пока нет официальных реселлеров. В RealTime программный комплекс попал благодаря отличной репутации и известности Александра Лаврова среди западных специалистов. Для справки Александр является сертифицированным инструктором компании Adobe, помимо этого читает курс лекций в Университете Культуры и Искусств, преподает в школе компьютерной графики RealTime  и ежегодно посещает различные  специализированные тренинги и семинары за океаном. Собственно на одном из таких мероприятий - houdini boot camp - двухгодичной давности, Лавров познакомился с сотрудникaми vfx  студии DigitalDomain, которые и поделились с ним частичкой восхищения возможностями Massive.  
После возвращения в Россию состоялся очень серьезный разговор с Евгением Ландышевым на тему внедрения технологии в производство. Прогрессивный основатель школы RealTime после недолгих колебаний согласился, и Massive был куплен.

Pipeline

Каким образом устроен Мassive pipeline  в «Realtime»?  

«В работе мы используем несколько программных решений, - отвечает Александр, - Maya, Motion Builder, Renderman совместимые рендереры (prman, air) и, наконец,  Nuke. В принципе Massive дружит как с XSI так и с Houdini, и мы в свою очередь в состоянии импортировать и экспортировать все необходимы данные. Для некоторых таких задач  мы написали определенные «кастомные» решения. Основная доработка моделей и подготовка анимаций происходит в Maya, потому что это не только очень мощный программный комплекс, но и достаточно популярный, и хорошего майщика найти проще, чем гуру Houdini. Вся информация с mocap проходит через Motion Builder».

Об анимации и mocap  

«Агент – это своего рода  марионетка с определенным набором движений, - говорит Лавров, - у нее имеется искусственный интеллект, который и дает команды совершить то или иное действие. В работе мы используем motion capture, чтобы программное дерево движений разрасталось. Сейчас активно обсуждается вопрос приобретения небольшого механо-кинетического mocap, который работает на основе гироскопов. Кстати, агент может быть и неодушевленным предметом: корабль, автомобиль,  мяч и т.д.».  

Нейросети           

«Нейросеть и мозг – это самая сложная и важная составляющая программы, - продолжает Александр, - чтобы ее построить необходимо порядка двух месяцев упорной работы. В крупных студиях существует распределение зон ответственности. Некоторые специалисты занимаются программированием интеллекта, другие работают над анимацией и рендерингом».
«Мне бы хотелось посвящать больше времени разработке интеллекта, - добавляет он. - Вообще по первому образованию я врач и все шесть лет мединститута провел на кафедре патофизиологии изучая патологические состояния высшей нервной деятельности.  Три полки книг по физиологии нервных процессов по-прежнему со мной.  Моя работа в Университете Культуры также частично связана с построением систем машинного интеллекта на адаптивных алгоритмах анализа данных».

Брэнд RealTime School хорошо известен всем любителям и профессионалом CG. Студия RealTime имеет самое непосредственное отношение к этому образовательному центру, к тому же Лавров неоднократно проводит там мастер-классы. Будет ли курс по Massive?

Обучение    

«Спрос порождает предложение, - отвечает Лавров, - пока об этом говорить слишком рано, так как технология уникальная и очень дорогая. Если подобный курс и появится, то он будет стоить серьезных денег, так как обучение подразумевает организацию и настройку pipeline. Что касается меня, то я получаю удовольствие от преподавания, поэтому с большой охотой поделился бы накопленными знаниями»

Уникальное предложение

«Кроме  Massive, - рассказывает Александр,- существует достаточно большое количество методов увеличения числа персонажей. Размножение отснятых людей, системы частиц, state machines, автомномные агенты и  т.д.  Но ни одно из решений не сравнится по качеству и предоставляемым возможностям с мультиагентной системой Massive.  Это факт…
Отечественный заказчик, который стремится сделать качественный и уникальный аудиовизуальный (реклама, кино) продукт с большим интересом рассматривает наше предложение. Спрос уже есть и с каждым он будет только увеличиваться, потому что будущее CG массовых сцен вот за такими технологиями искусственного интеллекта».

Журнал Cinefex благодарит Александра Лаврова за встречу и желает студии RealTime и ему лично успехов на профессиональном поприще. 

Автор: Бастер Ллойд       

Adobe After Effects | Part I

  RealTimeSchool (course instructor)
Adobe After Effects | Part I. Advanced Animation and Visual Effects

Computer Graphics for Teapots

Computer Graphics for Teapots (Speaker)
Adobe Production Premium. Hollywood from the box.

Matchmoving.

Crowd related visual effects.

Russian Arhitectural Rendering Award

  Russian Arhitectural Rendering Award (Speaker)
Feature film technologies in architectural visualisation

Adobe After Effects - Part II

  RealTimeSchool (course instructor)
Adobe After Effects | Part II. Compositing and Scripting

Matchmoving | First Steps

  Cinefex magazine (author)
Matchmoving | First Steps
http://cinefex.ru/articles/detail.php?ID=1592

Match moving: первое знакомство

Предлагаем вашему вниманию ознакомительную статью Александра Лаврова, ведущего преподавателя Realtime school, в которой речь идет о технологии match moving.

Match moving: первое знакомство

Создание большинства современных визуальных эффектов было бы невозможно без совмещения движения и геометрии сцены виртуальной со сценой реальной. Технология, давшая возможность совмещать реальный и виртуальный миры получила название "match moving". Вот об этой замечательной технологии мы с Вами и поговорим.


Что такое Match moving?

Match moving ("camera tracking", "3d tracking", "3d tracing") – это процесс вычисления трехмерной траектории камеры и ее параметров, а также положений объектов в сцене (в том числе, и движущихся) на основе уже отснятых изображений. Match moving является разделом проективной геометрии. Проективная геометрия – это раздел геометрии, изучающий проективные свойства фигуры. Этот вид геометрии оформился как наука  в 4 веке до нашей эры, и именно ее законы позволяют создавать сложные визуальные эффекты в наши дни.


Немного истории

Перед тем как углубиться в разбор возможностей этой технологии на современном этапе давайте сделаем небольшой исторический экскурс. Принято выделять три основных этапа в развитии технологий совмещения виртуального с реальным.

Этап 1. Руки, руки и еще раз руки.
На этом этапе существовал только один способ совмещения – ручной. В данном случае, профессиональный match mover успевал делать трэкинг 50-60 кадров в день  при этом трэкинг не отличался точностью.

Этап 2. Аппаратный. Motion Control Systems.
Десять-двенадцать лет назад программного трэкинга камеры не существовало как такового. Первый пакет программного трэкинга камеры ras_track появился в 1996 году (в 1998 году разработчики получили Technical Achievement Award). До этого момента совмещение CG изображения с реальным миром происходило одним из следующих способов:

1. Motion Control Camera. Фактически речь идет об аппаратном трэкинге камеры. Motion Control системы обладают поразительными возможностями и высокой точностью, успешно сочетающейся  с не менее высокой ценой.

2. Второй способ был порожден высокой ценой первого. В целях экономии, снималась статическая сцена, в которой речь шла лишь о совмещении перспективы CG с отснятым материалом.

3. При небольшом движении камеры был возможен, так называемый, "ручной трэкинг камеры".

Этап 3. Программно-аппаратный.
Системы Motion Control по прежнему актуальны во многих ситуациях, но большая часть процесса совмещения перенесена на программную основу. Ввиду дешевизны и удобства программной реконструкции трехмерных данных этот способ получил большое число сторонников. Ниже приведен список основных продуктов на этом сегменте рынка.

Доступные коммерческие и бесплатные системы
3DEqualizer
BouJou
Match Mover
PFTrack
SynthEyes
VoodooCameraTracker

Закрытые In-House системы
MARS (Motion and Structure Recovery System)
TRACK

Сегодня, все в большем и большем количестве фильмов и рекламных роликов применяются сложные визуальные эффекты, требующие использования технологии match moving. Развитие технологии пошло по двум путям. С одной стороны, это развитие сложных роботизированных motion control систем. С другой стороны, возросшие мощности компьютеров дали возможность достаточно быстро производить реконструкцию трехмерных данных, используя программные средства.

Изначально появился так называемый "survey-base tracking". Название обусловлено тем, что пользователь должен был знать трехмерное положение каких-то точек в пространстве (например, углы зданий). Затем указывалась их локализация в двухмерном пространстве изображения и проводился двухмерный трэкинг. И тогда программа строила трехмерную точечную модель на основе соотнесения двухмерных позиций точек на изображении и их трехмерных координат.

В процессе эволюции технологий, появился "survey-free tracking". Трэкинг при котором не требуется знание каких-то трехмерных координат в снимаемой сцене. Первым продуктом из "survey-free" систем считается 3D Equalizer (в 2001 году разработчики получили Scientific and Engineering Award). Для построения трехмерной точечной модели используется алгоритм "Structure From Motion". При использовании этого алгоритма сначала происходит двухмерный трэкинг структур изображения, а затем на основе двухмерных точек происходит реконструкция трехмерных данных. В последние годы, в профессиональные match moving пакеты были интегрированы алгоритмы автоматического трэкинга. На первом этапе происходит трэкинг большого количества двухмерных точек. Далеко не все точки отслежены корректно и программа производит фильтрацию некорректных точек. После этого происходит реконструкция трехмерных данных по оставшимся корректным точкам. Классическим представителем систем автоматического трэкинга является boujou (в 2002 году разработчики получили Primetime Emmy Engineering Award). На практике, при использовании автоматического трэкинга, не всегда удается получить удовлетворительное трехмерное решение. Поэтому идеальным вариантом является совместное использование автоматического и ручного трэкинга.

Сущность процесса

При реконструкции камеры и объектов используются формулы проективной геометрии. Законы проективной геометрии допускают как прямой ход лучей (съемка объектов на камеру), так и обратный (реконструкция данных объектов). При этом с многих плоскостей кадров секвенции происходит реконструкция точек в трехмерное пространство.

Краткий обзор возможностей 3D Equalizer

Виртуальные (CG) объекты, помещенные в реальную среду
В создании архитектурной визуализации такие объекты используются для добавления частей зданий, отдельных строений или целых городов в реальное фото или видео изображение. Используя сходные методы, с помощью "CG-протезирования” или виртуального грима   (make-up) можно добавлять актерам в отснятой сцене некоторые интересные особенности. Например, крылья…

Реальные объекты, помещенные в виртуальную (CG) среду
Примером этого может служить движение живого актера по созданной на компьютере студии. В ТВ-студиях часто применяются "virtual sets” для решения подобных задач, требующих большого количества дорогих и сложных устройств. Однако сейчас эти задачи можно решить на пост продакшене, так как используя 3DE можно быстро воссоздать движение.

Применение 3D Equalizer

Стабилизация
Вы, конечно, смотрели трилогию "Матрица", в которых активно применялась технология "bullet time" (или "slice of life"). В основе технологии лежит одновременная съемка одной сцены большим количеством фотокамер. Информация о движении и точечная модель, экспортированная из программы 3DE исключает любые произвольные сдвиги положения и ориентации группы камер, для того чтобы кадр получился безупречным.

Физические объекты, помещенные в реальную среду
Изображения, сочетающие различные реальные элементы, выглядят неубедительно, если масштабы и перспективы всех элементов слишком сильно отличны друг от друга. Реальная окружающая среда снимается на камеру. Затем вся информация о движении воссоздается в 3DE и передается на программно-управляемую motion control camera, которая снимает другие объекты для интеграции в первичную реальную среду.

Matchmoving pipeline в среде 3DE

Match moving – это четкий этапный процесс, происходящий по конкретной схеме. Естественно, в сложных случаях схема может приобретать самые причудливые формы.

Группы точек камеры и объектов
У различных групп движений (камера, движущийся объект или moCap объект) должны быть различные группы точек трэкинга для последующей успешной реконструкции.




2d трэкинг в 3D Equalizer
Существует 3 типа 2d трэкинга в 3DE:

1. Pattern tracking
Основной принцип трэкинга точки таков: пользователь определяет положение точки на экране в определенном кадре (например, кадре j). Программа пытается отыскать "search pattern", заданную в кадре j, сканируя "search area" вокруг предопределенной точки в кадре j+1. Reference pattern отображает трансформацию образца во время трэкинга (см. рисунок ).
 
2. Marker tracking
Представим себе точку на поверхности. Эта точка будет маркером, если: точка одноцветна и симметрична относительно центра - поверхность одноцветная и ровная

3. Edge/corner tracking
Этот тип трэкинга способен определять контрастные края объектов, а так же пересечение двух контрастных краев (углы на объектах).Если вам нужно притрэкаться к стыкам пола и стен, ребрам прямоугольной колонны, или стенке грузового фургона – то этот метод просто идеален.

Определение параметров камеры

Камера программы 3DE имеет 14 параметров. Пять из них относятся к линзовому искажению. Они позволяют очень точно настроить и реконструировать виртуальную камеру соответственно камере, на которую сцена была снята.

Условия успешной реконструкции данных
Для успешной реконструкции трехмерных данных пользователь должен предоставить программе достаточное количество информации. Общие условия, необходимые для воссоздания движения камеры или объекта таковы:

1. Все детали ("features"), положение которых определяется с помощью точек,
используемые для воссоздания камеры должны быть неподвижны по отношению
друг к другу.
2. В каждом кадре, на экране должно быть как минимум 4 точки.
3. Всего должно быть не менее 6 точек.
4. Как минимум в двух кадрах эти 6 точек должны размещаться на экране, они
называются корневыми кадрами ("rootframes").

Анализ полученных результатов

В отличие от большинства match moving систем с автоматическим трэкингом в 3DE вам предоставлены мощные средства для анализа полученных результатов. Кроме того, вы можете использовать автоматические алгоритмы выявления плохо отслеженных точек. Для анализа качества реконструкции применяется тест на отклонение проекции трехмерной точки на экран относительно соответствующей точки трэкинга. В результате теста вычисляется отклонение полученной трехмерной точки в каждом кадре. Для количественной оценки качества трэкинга применяется метод шести сигм, популярный критерий качества при бизнес прогнозировании. Идеальное качество – отклонение не выходящее за первую сигму. При сигме около 6 – качество наихудшее.



Масштаб и ориентация геометрии в сцене
Для того, чтобы можно было манипулировать с реальными размерами при последующей работе в пакете трехмерной графики, обязательно необходимо совмещение масштабов сцены реальной и виртуальной. Кроме масштаба сцены, крайне желательно правильно ориентировать точки относительно земли (пола и т.д.).

Экспорт данных и скриптинг
Последним этапом является экспорт реконструированных и подготовленных данных в пакет трехмерной графики или композитинга. Встроенный скриптовый язык программирования на основе TCL/TK позволяет Вам изменять интерфейс программы, автоматизировать рутинные операции и писать собственные экспортеры в любые пакеты.

Проблемы при match moving

На данном этапе развития существуют две основные программные проблемы:

1. Камера закрепленная на треножнике
В результате трэкинга камеры с “position constraint”. Вы получаете набор точек сферически распределенных в пространстве относительно камеры, и такая точечная модель не отражает реальной геометрии сцены и глубины.

2. Точки лежат перпендикулярно оси камеры и перспектива мало изменяется на протяжении всей секвенции. Как уже говорилось ранее, для вычисления требуются несколько различных
перспектив.

Решение проблем при match moving

В 3DE существует три основных способа борьбы с некачественной реконструкцией:

1. Reference framesreference frames – это кадры снятые в той же сцене, что и основная секвенция и служащие для уточнения положения точек в пространстве. Причем они могут быть сняты на любой фотоаппарат или быть кадром секвенции, снятой на другую камеру.

Вы осуществляете трекинг точек в основной секвенции. Затем расставляете их соответственно в reference frames и… вы получаете качественную реконструкцию. И все это возможно добавлению еще нескольких перспектив из reference frames.

2. Редактирование полученной траектории движения
Предположим, что необходимое число точек отслежено, а параметры камеры верны. Тем не менее, остался один или несколько кадров, в которых положение и вращение камеры неверное, и Вы хотите исправить это вручную перед тем, как экспортировать информацию. Однако, этот метод нужно использовать только тогда, когда все остальное не помогло.

3. Применение пост-фильтра
Суть постфильтрации состоит в следующем: во время процесса реконструкции гладкость траектории движения теряется. Задачей постфильтра является - восстановить эту информацию, не слишком искажая реконструированную траекторию движения. Для этого программа 3DE использует анализ и синтез Фурье ("Fourier analysis and synthesis"). Траектория движения камеры является наложением циклических движений разной частоты. Если траектория движения колеблется, значит есть много высокочастотных движений, которые оказывают неконтролируемое влияние на траекторию. Цель анализа Фурье – найти силу (амплитуду) каждой частоты.

Линзовое искажение, WarpDistort, grid shot

Часто при съемке получается изображение с линзовым искажением. Для того что бы избавиться от него или добавить его к просчитанной трехмерной сцене, в версию 3DE film включена программа WarpDistort. Она извлекает информацию о линзе из сцены, в которой вы уже реконструировали линзовое искажение камеры.

Также в самое ближайшее время на страницах нашего журнала мы расскажем о программном решении Massive Software, которое предназначено для создания массовых сцен. Эта технология с недавних пор доступна и в России.

P.S. По match moving и трекингу журнал CINEFEX советует дополнительно ознакомиться с англоязычными статьями здесь и вот здесь. 

Автор:

Александр Лавров

Adobe After Effects | Part I

  RealTimeSchool (course instructor)
Adobe After Effects | Part I. Advanced Animation and Visual Effects