Американский рэпер A$AP Rocky выпустил музыкальное видео на песню Helicopter, в котором почти каждое выступление было снято и отрисовано с применением Dynamic Gaussian Splatting — технологии 3D Gaussian Splatting (3DGS) для реконструкции и рендеринга динамических сцен в реальном времени.
Гауссов сплэтинг позволяет быстро отсканировать существующую сцену и после короткого обучения отрендерить её с высокой точностью. Сцена для Gaussian splatting — это массив точек, каждая из которых обладает четырьмя параметрами. Для вывода на экран точки представляются в виде эллипсоидов. Учитывается их положение (глубина) и прозрачность.
По словам команды, режиссёр Дэн Стрейт подошел к проекту в июле с четкой творческой целью запечатлеть исполнение движений таким образом, чтобы обеспечить радикальную свободу в постпродакшене. Использование традиционных методов съёмки и визуальных эффектов было бы либо непрактичным, либо непомерно дорогим.
Супервайзер по компьютерной графике проекта в Grin Machine Крис Ратледж рассказал, что годами следил за технологиями объёмной съёмки, будучи очарованным новыми методами, позволяющими создавать визуальные эффекты, которые раньше были просто невозможны. Два года назад он начал предлагать эту идею режиссерам из своего круга, включая Дэна. Эстетика Dynamic Gaussian Splatting сильно опирается на кинетическое движение: столкновения танцоров, тела, зависшие в воздухе, хаотичные сцены драк и взаимодействие исполнителей с реквизитом и многое другое. Каждый удар, бросок, подтягивание и падение были физически исполнены и запечатлены в 3D. Также и каждая человеческая фигура в видео, включая самого рэпера, была записана объёмным способом с использованием системы Evercoast.
Основные съёмки Helicopter проходили в августе в Лос-Анджелесе. Evercoast развернула массив из 56 RGB-D камер, синхронизированных на двух рабочих станциях Dell. Исполнители были подвешены на тросах, висели вниз головой, делали подтягивания на потолочных перекладинах, раскачивали реквизит и выполняли трюки.
Сцены, которые кажутся сюрреалистичными, на самом деле были основаны на применении физических атрибутов, таких как деревянные доски, заменяющие лопасти вертолёта, настоящие тросовые системы и остальной реквизит. Объёмные данные позволили удалить, перекомпоновать или полностью переосмыслить эти элементы позже, не теряя при этом аутентичности движений человека.
В ходе съёмок Evercoast записала более 10 терабайт необработанных данных, в итоге отрендерив примерно 30 минут финального видеоматериала с эффектом «сплайсинга». Его экспортировали в виде PLY-последовательностей общим объёмом около одного терабайта.
Затем эти данные были импортированы в Houdini, где команда постпродакшена использовала GSOP от CG Nomads для манипуляций и секвенирования, а также OctaneRender от OTOY для финального рендеринга. Благодаря этой комбинации команда также смогла отредактировать свет.
Одним из наиболее мощных аспектов рабочего процесса была возможность предварительного просмотра объёмных снимков Evercoast на нескольких этапах. Режиссёр мог видеть пространственную обратную связь в реальном времени на съёмочной площадке, создавать быстрые предварительные просмотры на основе сетки через несколько секунд после дубля, а затем видеть полностью отрендеренные «сплайсинги» через веб-плеер Evercoast перед загрузкой больших PLY-последовательностей для Houdini.
На практике это означало, что творческие решения можно было принимать быстро и дешево, без необходимости сложной последующей обработки.
Крис также обнаружил, что интеграция Octane с Houdini улучшилась, и ранняя поддержка «сплайсов» достаточно развита, чтобы обеспечить переосвещение. По словам команды, эта возможность наряду с добавлением теней и достижением более объёмного вида «3D-видео» стала одной из главных причин, по которой финальная эстетика получилась именно такой.
Команда также активно использовала Blender для компоновки и предварительной визуализации, преобразуя последовательности «сплайсов» в легковесные прокси-кэши для планирования сцен. Уилфред описал, как внутренние инструменты WildCapture использовались выборочно для обеспечения временной согласованности. По его словам, команда разработала примитивные скелеты для оценки позы, которые можно использовать для передачи движения, а инструментарий моделирования Houdini мог обрабатывать взаимодействия твёрдых, мягких тел и физически обоснованные взаимодействия.
Это не первый раз, когда A$AP Rocky использует продвинутые технологии в своих видео. В клипе 2023 года на песню Shittin’ Me применялось несколько NeRF-камер и даже графический интерфейс Instant-NGP.