MTC LIVE

Концерты в расширенной реальности

Стираем грани между настоящим и виртуальным: что такое XR и как это работает

loading...

19 декабря пройдет МТС LIVE XR — первый интерактивный музыкальный онлайн-фестиваль. В лайн-апе: Дора, Cream Soda, Feduk, Пошлая Молли и ЛСП — каждый из артистов выступит в собственном виртуальном мире. А зрители смогут в прямом эфире влиять на происходящее в кадре. Как? Давайте разберемся.

В этой статье: что представляет собой технология XR; чем отличается от более распространенных AR и VR; в каких фильмах и на каких концертах зарубежных артистов ее применяли; как это будет на фестивале МТС LIVE XR.


«До чего техника дошла!»

2020 год сильно ограничил нас в выборе офлайн-развлечений, вместе с тем распахнув новые горизонты и спровоцировав буст онлайн-форматов. Концерты в прямом эфире успели стать обыденностью, которая по ощущениям мало чем отличается от просмотра какой-нибудь записи лайва — не хватает «той самой» атмосферы, не чувствуешь себя полноценным участником живого действа. Тут на помощь приходят технологии, которые по-разному миксуют элементы реального и виртуального мира, позволяя не просто с головой погрузиться в происходящее, но и влиять на это тем или иным способом. Речь о AR-, VR-, MR-, XR-решениях.


Что есть что: объясняем на пальцах

AR (augmented reality) — дополненная реальность. Это «улучшение» реального мира, на который накладываются виртуальные объекты (изображения, текст и анимация), с помощью специальных AR-очков или смартфона. Наиболее «наглядные» примеры: наделавшая шума в 2016-ом игра Pokémon GO или фильтры-маски в Instagram и Snapchat.

VR (virtual reality) — виртуальная реальность. Пользователи полностью погружаются в смоделированную цифровую среду благодаря VR-гаджетам (например, шлемам). Получив 360-градусный обзор искусственного мира, мозг обманывается, заставляя поверить в то, что вы, допустим, летите в пропасть. Индустрия игр была одной из первых, кто внедрил эту технологию. В этом году в VR проходили некоторые концерты МТС Live (например, проекта Шуры Би-2 «Куртки Кобейна»); шоу дуэта Ceraadi, подписанток лейбла Jay-Z; ежегодный фестиваль Burning Man.

MR (mixed reality) — смешанная, гибридная реальность. В ней цифровые и реальные объекты сосуществуют и могут взаимодействовать друг с другом в реальном времени. Эта иммерсивная технология сложнее и дороже: она требует специальной гарнитуры и гораздо большей вычислительной мощности, чем VR или AR. Из примеров — очки HoloLens от Microsoft, которые позволяют размещать цифровые объекты в вашей комнате и вращать их.

XR (X reality, cross reality, extended reality) — расширенная реальность. Это совокупность AR, VR, MR и других инноваций, работающих с человеческим восприятием. XR создает ощущение максимального присутствия, позволяет «телепортировать» реальный объект за пределы места его фактического расположения в искусственно созданные миры.


Это вам не хромакей: как работает XR на примерах

Данный комплекс технологий применялся на съемках нового сериала вселенной «Звездных Войн» — «Мандалорец». На гигантские светодиодные экраны, размещенные на стене и потолке, выводили реалистичный динамический фон — локацию, заранее сгенерированную в 3D.

«Нашей задачей было создать практически реальную среду, которая позволила бы не только выстроить композицию кадра, но и снять все сцены в реальном времени. Чтобы актеры были соответствующим образом освещены, вписывались в среду, и все это — сразу в момент съемки», 
— рассказывал оператор шоу Грег Фрейзер изданию Collider.

XR-решение позволяет исключить привычные проблемы хромакея, как неправильный свет и синие или зеленые отблески, которые требуют коррекции на постпродакшене (что в случае онлайн-концертов вообще недоступно); а помещенный в виртуальную среду живой объект ведет себя естественнее, так как и сам видит происходящее на экране.

Но главная изюминка технологии — параллакс-эффект, изменение видимого расположения объектов заднего плана относительно друг друга в зависимости от нахождения наблюдателя. Картинка на экране синхронизирована в реальном времени с данными по расположению объектива, что позволяет двигать камеру и получать достоверное изображение в любой точке съемки.

«Технологию довольно сложно понять, если вы не стоите там на фоне экрана с проекцией и не двигаете камеру сами, — объяснял Фрейзер. — Это фотореалистичное трехмерное изображение, которое генерируется в реальном времени с помощью игрового движка».

С подобными технологиями работали, например, над ремейками анимаций «Книга джунглей» (2016), «Король лев» (2019) и фильмом «Бегущий по лезвию 2049» (2017) — там использовался игровой движок Unity.

XR-решения применялись и на недавних концертах Билли Айлиш (24 октября 2020) и Кэти Перри (17 мая и 11 ноября 2020).


«Разрази меня гром!» Что будет на фесте МТС LIVE XR

МТС LIVE XR пройдет в прямом эфире 19 декабря. В событии примут участие Дора, Cream Soda, Feduk, Пошлая Молли и ЛСП — каждый артист выступит в собственном виртуальном мире.

Локации были созданы на топовом игровом движке Unreal Engine 4, который позволяет точнейшим образом передавать физические свойства, менять объекты в реальном времени и даже добавлять спецэффекты, например, туман или молнии. Зрители смогут сами опробовать все это во время просмотра выступлений, влияя на картинку с помощью своих комментариев и лайков.

Трансляция пройдет из специально построенной для фестиваля виртуальной студии в Москве. На огромных LED-экранах будут отображаться графические локации, создавая естественное освещение героя в кадре, а специальные датчики-трекеры синхронизируют картинку с движением камеры, что создаст полное ощущение присутствия артиста в виртуальном мире. Смотреть фестиваль можно будет с любого устройства — дополнительное оборудование не потребуется.

В 2020 году МТС провела множество успешных онлайн-концертов, в том числе с использованием VR, но технология расширенной реальности будет применяться впервые.

Это решение «позволит нам первыми в России выйти на качественно новый уровень и организовать онлайн-фестиваль в технологичном и сверхактуальном формате расширенной реальности XR с вовлекающими интерактивами для аудитории»,  
— отметила директор департамента Маркетинговых коммуникаций МТС Мария Яковлева.

Начало фестиваля — в 17:00 по Москве. Смотрите на странице фестиваля и в сообществах МТС в InstagramВК и TikTok, влияйте на происходящее и задавайте свои вопросы артистам в прямом эфире!

Что почитать на МТС Live в ожидании фестиваля:
Покупайте билеты через приложение – это выгодно и удобно
А для посетителей концертов удобные сервисы: инстаграм‑маски и AR, навигация, заказ из бара и другое
Продолжая пользоваться данным сайтом, вы принимаете пользовательское соглашение
Ок