Концерты в расширенной реальности

19 декабря пройдет МТС LIVE XR — первый интерактивный музыкальный онлайн-фестиваль. В лайнапе: Дора, Cream Soda, Feduk, Пошлая Молли и ЛСП — каждый из артистов выступит в собственном виртуальном мире. А зрители смогут в прямом эфире влиять на происходящее в кадре. Как? Давайте разберёмся.

В этой статье: что представляет собой технология XR; чем отличается от более распространенных AR и VR; в каких фильмах и на каких концертах зарубежных артистов её применяли; как это будет на фестивале МТС LIVE XR.

«До чего техника дошла!»

2020 год сильно ограничил нас в выборе офлайн-развлечений, вместе с тем распахнув новые горизонты и спровоцировав буст онлайн-форматов. Концерты в прямом эфире успели стать обыденностью, которая по ощущениям мало чем отличается от просмотра какой-нибудь записи лайва — не хватает «той самой» атмосферы, не чувствуешь себя полноценным участником живого действа. Тут на помощь приходят технологии, которые по-разному миксуют элементы реального и виртуального мира, позволяя не просто с головой погрузиться в происходящее, но и влиять на это тем или иным способом. Речь о AR-, VR-, MR-, XR-решениях.

Что есть что: объясняем на пальцах

AR (augmented reality) — дополненная реальность. Это «улучшение» реального мира, на который накладываются виртуальные объекты (изображения, текст и анимация), с помощью специальных AR-очков или смартфона. Наиболее наглядные примеры: наделавшая шума в 2016-м игра Pokémon GO или фильтры-маски в Snapchat.

VR (virtual reality) — виртуальная реальность. Пользователи полностью погружаются в смоделированную цифровую среду благодаря VR-гаджетам (например, шлемам). Получив 360-градусный обзор искусственного мира, мозг обманывается, заставляя поверить в то, что вы, допустим, летите в пропасть. Индустрия игр была одной из первых, кто внедрил эту технологию. В этом году в VR проходили некоторые концерты МТС Live (например, проекта Шуры Би-2 «Куртки Кобейна»); шоу дуэта Ceraadi, подписанток лейбла Jay-Z; ежегодный фестиваль Burning Man.

MR (mixed reality) — смешанная, гибридная реальность. В ней цифровые и реальные объекты сосуществуют и могут взаимодействовать друг с другом в реальном времени. Эта иммерсивная технология сложнее и дороже: она требует специальной гарнитуры и гораздо большей вычислительной мощности, чем VR или AR. Из примеров — очки HoloLens от Microsoft, которые позволяют размещать цифровые объекты в вашей комнате и вращать их.

XR (X reality, cross reality, extended reality) — расширенная реальность. Это совокупность AR, VR, MR и других инноваций, работающих с человеческим восприятием. XR создает ощущение максимального присутствия, позволяет «телепортировать» реальный объект за пределы места его фактического расположения в искусственно созданные миры.

Это вам не хромакей: как работает XR на примерах

Данный комплекс технологий применялся на съёмках нового сериала вселенной «Звёздных войн» — «Мандалорец». На гигантские светодиодные экраны, размещённые на стене и потолке, выводили реалистичный динамический фон — локацию, заранее сгенерированную в 3D.

Нашей задачей было создать практически реальную среду, которая позволила бы не только выстроить композицию кадра, но и снять все сцены в реальном времени. Чтобы актёры были соответствующим образом освещены, вписывались в среду, и всё это — сразу в момент съёмки, 

— рассказывал оператор шоу Грег Фрейзер изданию Collider.

XR-решение позволяет исключить привычные проблемы хромакея, такие, как неправильный свет и синие или зелёные отблески, которые требуют коррекции на постпродакшене (что в случае онлайн-концертов вообще недоступно); а помещённый в виртуальную среду живой объект ведёт себя естественнее, так как и сам видит происходящее на экране.

Но главная изюминка технологии — параллакс-эффект, изменение видимого расположения объектов заднего плана относительно друг друга в зависимости от нахождения наблюдателя. Картинка на экране синхронизирована в реальном времени с данными по расположению объектива, что позволяет двигать камеру и получать достоверное изображение в любой точке съёмки.

«Технологию довольно сложно понять, если вы не стоите там на фоне экрана с проекцией и не двигаете камеру сами, — объяснял Фрейзер. — Это фотореалистичное трёхмерное изображение, которое генерируется в реальном времени с помощью игрового движка».

С подобными технологиями работали, например, над ремейками анимаций «Книга джунглей» (2016), «Король лев» (2019) и фильмом «Бегущий по лезвию 2049» (2017) — там использовался игровой движок Unity.

XR-решения применялись и на недавних концертах Билли Айлиш (24 октября 2020 года) и Кэти Перри (17 мая и 11 ноября 2020 года).

«Разрази меня гром!» Что будет на фесте МТС LIVE XR

МТС LIVE XR пройдёт в прямом эфире 19 декабря. В событии примут участие Дора, Cream Soda, Feduk, Пошлая Молли и ЛСП — каждый артист выступит в собственном виртуальном мире.

Локации были созданы на топовом игровом движке Unreal Engine 4, который позволяет точнейшим образом передавать физические свойства, менять объекты в реальном времени и даже добавлять спецэффекты, например, туман или молнии. Зрители смогут сами опробовать всё это во время просмотра выступлений, влияя на картинку с помощью своих комментариев и лайков.

Трансляция пройдёт из специально построенной для фестиваля виртуальной студии в Москве. На огромных LED-экранах будут отображаться графические локации, создавая естественное освещение героя в кадре, а специальные датчики-трекеры синхронизируют картинку с движением камеры, что создаст полное ощущение присутствия артиста в виртуальном мире. Смотреть фестиваль можно будет с любого устройства — дополнительное оборудование не потребуется.

В 2020 году МТС провела множество успешных онлайн-концертов, в том числе с использованием VR, но технология расширенной реальности будет применяться впервые.

Это решение позволит нам первыми в России выйти на качественно новый уровень и организовать онлайн-фестиваль в технологичном и сверхактуальном формате расширенной реальности XR с вовлекающими интерактивами для аудитории,  

— отметила директор департамента маркетинговых коммуникаций МТС Мария Яковлева.

Начало фестиваля — в 17:00 по Москве. Смотрите на странице фестиваля и в сообществах МТС в ВК и TikTok, влияйте на происходящее и задавайте свои вопросы артистам в прямом эфире!