что позволяют делать иммерсивные технологии
AR и VR для прома. Какие задачи иммерсивные технологии помогают решать в тяжелой промышленности
Мы продолжаем публикацию лекций с наших онлайн-практикумов «Цифровое горное предприятие» и «Цифровое производство». Сегодня речь пойдет о практическом применении промышленных AR и VR-решений. Полная лекция сооснователя компании «Рубиус» Антона Кудинова доступна в рамках онлайн-практикумов при бесплатной регистрации. Здесь мы приводим основные выдержки из нее.
По оценкам экспертов, в ближайшее время рост числа проектов по внедрению технологий дополненной и виртуальной реальности только усилится. Эта группа технологий является одной из ключевых составляющих концепции «Индустрия 4.0», и компании по всему миру инвестируют миллиарды долларов в их развитие.
AR и VR активно применяются в разных сферах: от маркетинга и развлечений до образования и медицины. Но с точки зрения экономики важнейшим сектором применения является промышленность. Даже ведущие вендоры, от Google и Microsoft до Magic Leap и НТС, изначально ориентировавшие свои продукты на потребительский рынок, пришли к пониманию, что массовый спрос и наибольший диапазон кейсов применения способна генерировать только промышленность, и предусмотрели промышленное использование своих устройств.
Цель этой лекции — разобраться в том, как и для чего AR и VR внедряют в работу производства.
Уже сейчас AR и VR используются для упрощения решения разных задач: от проектирования новых промышленных линий и конечных изделий до обучения персонала и помощи при ремонтах. Применяя эти технологии, предприятия снижают риски неправильной эксплуатации оборудования и роль человеческого фактора при работе на опасных объектах.
Достоинство иммерсивных технологий – это возможность заранее наглядно представить будущий производственный объект или выпускаемое изделие. Для этого используется сначала 3D-проектирование, а затем визуализация полученных 3D-моделей в дополненной или виртуальной реальности. Это выводит на новый уровень качество и скорость промышленного проектирования, а также позволяет избежать ошибок как в технологии исполнения, так и в эргономике использования оборудования. По данным исследования Министерства цифрового развития, скорость проектирования возрастает на 30-50%, а число ошибок при проектировании сокращается до 30%.
Конструкторские 3D-модели затем прекрасно переиспользуются в качестве помощников при монтаже и сборке изделий. Так, компания Lockheed Martin отчиталась о почти 90% сокращении затрат на ручной труд при сборке нового космического корабля «Орион» благодаря применению AR и VR. С помощью AR-очков специалисты получают подсказки по сборке непосредственно поверх собираемого узла с трассировкой линий монтажа и автоматическим контролем качества. В России есть пример применения дополненной реальности при сборке самолета Су-57 на заводе в Комсомольске-на-Амуре.
Чтобы добиться таких результатов, предприятию необходимо соблюдать ряд довольно простых требований к созданию 3D-моделей, чтобы их конвертация из конструкторских форматов в форматы, совместимые с AR/VR-движками, проходила без особых сложностей. Как правило, эти процессы хорошо отрабатываются на пилотных проектах, и дальнейшее масштабирование решения проходит без проблем.
Значительного экономического эффекта удаётся достичь при использовании иммерсивных технологий для управления ремонтами. AR-очки, телефон или планшет позволяют обеспечить оперативный доступ к технической документации, текущим производственным данным, базам знаний по ремонтам непосредственно на месте поломки, что повышает качество ремонта, сокращает сроки его проведения, а значит и убытки от простоя. Примером может быть наша совместная разработка с компанией «Цифра» – интерактивная инструкция для обслуживания станков с числовым программным управлением. Это AR-приложение, которое в режиме реального времени накладывает на действующий станок его 3D-модель. Оно делает видимым всё, что скрыто под его корпусом: от конкретных деталей до внутренних процессов. Это позволяет максимально быстро проводить техническое обслуживание оборудования – теперь не нужно носить с собой многостраничные мануалы и привлекать дорогостоящих специалистов для консультаций.
Ценным кейсом применения дополненной реальности является удалённый помощник. С помощью этой функции высококлассные профессионалы, находящиеся за тысячи километров от технологических установок, могут видеть производственную ситуацию как бы глазами местного специалиста в AR-очках. Они могут удаленно давать ему консультации по диагностике, ремонту или управлению оборудованием. Благодаря этому компания экономит на командировках дорогих специалистов в отдалённые регионы, а также снижает потери от простоев оборудования. Так, компания Vodafone внедрила удалённого помощника в свой клиентский сервис и на 26% сократила количество выездов на места поломок, а также на 68% увеличила удовлетворённость клиентов качеством сервиса. В России такие решения уже успешно эксплуатируются в компаниях «Сибур», «Росатом», «Газпром нефть» и других. В «Сибуре» в период карантинных ограничений провели более 700 онлайн-консультаций с помощью инструмента «Удаленный эксперт AR».
Однако необходимо учитывать возможность средств связи на предприятии обеспечить достаточную пропускную способность каналов для передачи видео эксперту в реальном времени. Типовым средством решения этой проблемы является промышленный Wi Fi. Большие надежды также возлагаются на дальнейшее развитие сетей 5G.
Обучение производственного персонала — одна из сфер, где применение иммерсивных технологий показывает высокую эффективность и позволяет сэкономить миллионы рублей. Например, AR-тренажёр позволяет тренировать сотрудников для работы на инженерном полигоне удаленно, не выезжая на этот полигон, или же в режиме смешанной реальности на месте. Приложение создаёт пошаговые инструкции по работе с реальным оборудованием и позволяет тестировать сотрудников на знание базовых операций и правил. При этом высококвалифицированным специалистам не нужно надолго отрываться от производственного процесса, чтобы ехать на полигон и выступать в качестве наставников на обучении — необходимые консультации можно проводить удаленно.
План будет сильно зависеть от специфики предприятия и важности для него того или иного сценария применения AR/VR-технологий из рассмотренных выше. Однако в качестве общей рекомендации можно посоветовать начать с пилотного проекта в том бизнес-сценарии, который может быстро дать экономический эффект. Как правило, это удалённый помощник и тренажёры для обучения персонала. При этом важно с самого начала поставить задачу в рамках пилота по определению реального эффекта от внедрения. На основе этой информации принятие дальнейших решений о масштабировании и включении новых бизнес-сценариев проходит без особых сложностей.
Эта и другие лекции на тему технологий Индустрии 4.0 доступны на наших бесплатных онлайн-практикумах. Зарегистрироваться на них можно по ссылкам ниже:
Куда нас погружают иммерсивные технологии
Термин «иммерсивный» сейчас стал общеупотребительным, его можно встретить в отчетах таких именитых исследовательских компаний (strategic future search) как Gartner (immersive experience) или CBInsights.
Технологии расширенной реальности
Иммерсивные технологии также называют технологиями расширенной реальности. В их список входит виртуальная и дополненная реальность, а также 360°-видео. Они обеспечивают эффект полного или частичного присутствия в альтернативном пространстве и тем самым изменяют пользовательский опыт в абсолютно разных сферах. В этом посте мы расскажем о том, на каком уровне эти технологии находятся сегодня, как они реализуются и используются для бизнеса.
Для начала определимся с терминами и сокращениями, которые вы можете увидеть в отчетах, статьях и презентациях:
Иммерсивный (eng. immersive – погружать) — технологии полного или частичного погружения в виртуальный мир или различные виды смешения реальной и виртуальной реальности.
RR (real reality) — дословно «реальная реальность» или объективная реальность, в которой мы находимся и которую воспринимаем органами чувств. Примечательно, что реальную реальность приходится определять. Но ведь надо понимать, с чем мы смешиваем виртуальную реальность.
VR (virtual reality) — виртуальная реальность — полностью смоделированная реальность с применением современных технологий. Это не только 3D или 360 сцены, это также звук, тактильные ощущения и даже запахи. Об этом подробнее чуть позже.
AR (augmented reality) — дополненная реальность — augmented надо переводить скорее как «добавленная». То есть мы добавляем в нашу реальную реальность (RR) элементы виртуальной, смоделированной реальности.
MR (mixed reality) — смешанная реальность — термин появился благодаря запуску Windows Mixed Reality. С одной стороны, сам термин позволяет, на мой взгляд, отстроиться от конкурентов. С другой, говорит о некоем конкретном типе устройств и способов смешения реальности. Хотя по сути это VR с некоторыми дополнениями RR. Или AR с применением Hololens.
XR (extended reality) — расширенная реальность — это общее название для AR- и VR-технологий.
360-фото, видео — контент, состоящий из одной 360°- или нескольких сшитых фото и видео. Распространены также 360°-трансляции. Russia Today делает очень много такого контента, его можно посмотреть в кардборде с любым более-менее мощным телефоном.
Теперь разберем подробнее, что скрывается под этими аббревиатурами.
Панорамные и 360°-фото или видео
В фотоаппаратах доступны довольно давно, с 2018 года поддерживаются фейсбуком. По сути это сшитые с помощью алгоритмов последовательные наборы снимков. Делать их можно как одной камерой, так и специальными 360°-камерами. Это очень удобный формат, с помощью которого вы, например, можете пойти на виртуальную экскурсию в Пушкинский музей.
360°-видео
Как реализуется. 360°-камеры снимают окружающее пространство, после чего полученные видеоролики сшиваются в специальных программах. Существуют и бесшовные решения, но они более затратны для бизнеса. Иногда в уже готовое видео добавляется дополнительная графика.
Сейчас также распространены «панорамные» онлайн-трансляции. Когда у вас есть несколько точек с панорамным обзором, достаточно установить оборудование и начать съемку. Но такой формат имеет довольно высокие требования к аппаратному обеспечению, а также требует тщательной настройки звука.
Где используется. Эта технология широко применяется при демонстрации недвижимости. Нехитрый поиск в Google выдаёт множество B2B-агентств, которые делают виртуальные туры для нужд риэлторов и застройщиков: 360 Real Estate, 360walkthruproperty, Forj и другие.
Панорамные видео используются и в СМИ. Выше я уже давал ссылку на проект RT 360, который дает зрителю возможность «присутствовать в моменте» — будь это празднование Нового Года в Берлине или международный кубок по супербайку. Помимо размещения в интернете, такие иммерсивные материалы также демонстрируются на постоянной выставке Управления ООН по вопросам космического пространства в Вене.
Дополненная реальность
Как и многие инновационные технологии, дополненная реальность появилась в середине прошлого века для военных разработок. Ее планировали и затем успешно начали применять для проецирования на стекло гермошлема или лобовое стекло истребителя важных показаний приборов, чтобы сократить время получения информации и повысить скорость реакции летчиков.
Сегодня развивается несколько направлений дополненной реальности. Самое распространенное — это AR в смартфоне. Apple уже несколько лет развивает свой AR kit. Сегодня в мире насчитывается более 5 млрд смартфонов, и потенциально это очень большой охват для продуктов с AR. Яркий пример успеха — это игра Pokemon Go, которая прогремела на весь мир. Есть маркетинговые проекты, в которых, например, в AR разбрасываются монетки, а пользователь должен их искать и собирать, чтобы получить скидку. Монетки разбросаны так, что по ним как по крошкам пользователь приходит на порог магазина. Также стоит вспомнить недавно запущенный в США проект Google Street, который помогает с навигацией. Востребованы также и более простые сценарии: например, в 2017 году Positive Technologies выпустила мерч — календарь и ежедневник, на которых картинки оживали при наведении телефона.
Другие устройства для работы с дополненной реальностью — это очки дополненной реальности. Google Glass — пока не совсем состоявшийся проект. Hololens, проект Microsoft — это дорогое решение, но его преимущество в том, что оно сразу интегрировано с экосистемой компании. Кроме того на рынке много других очков дополненной реальности — от Ericsson, Huawei и многих других крупных компаний и стартапов.
Отдельные решения реализуются для промышленности по модели подписки, которая включает консультации и ремонт оборудования.
Как реализуется. Проецирование виртуального объекта в реальный мир может осуществляться с помощью телефона. Часто используются метки, проецирование на стекло автомобиля, самолета, очков — например, в очках Microsoft Hololens. Если использовать технологию виртуальной реальности на улице, то нужно уделять особенное внимание освещению, так как при слишком ярком свете AR-объекты могут выглядеть тусклыми. В целом, хоть это и не самая совершенная технология, даже она позволяет делать развлекательные приложения.
Где используется. Голограммы, наложения картинок в прямом эфире телеканалов, использование интерактивных мониторов — это те воплощения AR, которые кажутся нам уже привычными. Однако есть и более неожиданные примеры использования технологии.
Например, Pepsi Max использовала AR-технологию для создания своего рекламного ролика. Компания установила специальные мониторы дополненной реальности на одной из лондонских остановок и засняла реакцию случайных прохожих.
Еще один пример — планирование интерьера IKEA:
Дополненная реальность — это, как я уже говорил, один из секретов успеха PokemonGo, Также фишка приложения Argon4 на AR Browser SDK, с помощью которого можно, например, предоставлять справочную информацию о достопримечательностях при наведении на них камеры смартфона.
Что касается AR в очках, то эта сфера пока менее развита, поскольку нынешние модели довольно громоздкие и дорогие. Но с каждым годом очки становятся все легче и симпатичнее. Еще одно направление AR — это проецирование на контактные линзы. Его недостаток пока что в том, что на линзе видно сетку. Но при этом достоинств у такого метода множество.
Виртуальная реальность
Как реализуется. Виртуальная реальность — это прежде всего визуальное и звуковое наполнение. Звук в данном случае имеет ключевое значение: он дополняет виртуальность и создает эффект присутствия в нереальной локации за счет имитации отражения и направления звуковых волн.
Попасть в альтернативную, виртуальную реальность можно, например, надев специальные очки. Разделяя картинку перед глазами на две части, они создают стереоскопический эффект. При наличии трекинга для положений тела виртуальное пространство будет также учитывать движения головы и туловища.
Есть и другие способы попасть в виртуальную реальность:
Почти все крупные производители телефонов и ноутбуков выпустили свои шлемы виртуальной реальности: они есть у HTC, Lenovo, Xiaomi, Samsung, Oculus и других компаний. Некоторые пытаются создать экосистему: например, HP продвигает линейку ноутбуков и шлемов с манипуляторами и внешним трекингом.
Для таких решений используют уже другое название — mixed reality. На самом деле, оно больше маркетинговое, появилось вместе с релизом Windows Mixed Reality — платформы для разработки приложений. По своей сути это конструктор с 3D моделями, определенным набором ассетов в комплекте. С точки зрения качества создаваемого продукта, решение Windows куда слабее, чем движки Unreal Engine и Unity. У них, в отличие от платформы Windows Mixed Reality, есть не только возможность разрабатывать и создавать виртуальные объекты, работать с текстурами и со светом, но также создавать определенную бизнес-логику.
Где используется. Интересный проект в области VR сделала IKEA. Компания предложила своим клиентам надеть специальные очки и оказаться на виртуальной кухне. Здесь с помощью джойстика они могли прочитать книгу рецептов, приготовить тефтели, отправить продукты на переработку.
С виртуальной реальностью экспериментирует и немецкий перевозчик Deutsche Bahn. Уже четыре года компания предлагает своим потенциальным сотрудникам надеть VR-очки и продемонстрировать свои способности в симуляции реального рабочего дня.
Израильская технологическая компания Actiview и вовсе разработала платформу для дистанционного найма сотрудников с использованием VR-технологий. «Симуляция в виртуальной реальности позволяет нам контролировать то, что пользователь видит, слышит, чувствует. Мы видим его поведение и можем собирать эти данные», — комментирует Рой Элишков, вице-президент компании по стратегии и развитию бизнеса.
Применением VR в разных сферах занимаются и российские компании. Например, Modum Lab создает в VR проекты для обучения и других сценариев.
Разработки ВТБ
Мы в ВТБ тоже работаем над несколькими «виртуальными» кейсами. Первый из них — сервис VR-голосования для акционеров в формате виртуальной реальности, интегрированный с роботом-консультантом. Мы использовали этот продукт в рамках годового собрания акционеров банка в июне 2019 года. Сервис легко трансформируется: мы рассчитываем, что он может быть адаптирован для голосования акционеров в любых крупных организациях, сопоставимых по масштабам с ВТБ. А разработан он был для дочерней компании «ВТБ Регистратор», входящей в Группу ВТБ.
Второй кейс, который сейчас находится на стадии пилотного проекта, — это VR-инвестиции, главная цель которых — онбординг клиентов для брокерского обслуживания. Здесь VR — это способ дистанционной доставки первоначальной автоматической консультации в формате квеста. За 5 минут VR-сеанса пользователь полностью «погружается» в мир инвестирования, выбирает цель составления портфолио, узнает, какие возможности дают брокерские продукты ВТБ. После этого менеджер помогает клиенту открыть брокерский счет и перевести на него средства. С точки зрения бизнеса этот кейс позволяет оптимизировать затраты на обучение сотрудников и число необходимых менеджеров для продажи продуктов брокерского обслуживания.
VR имеет большой потенциал и для ипотечного бизнеса банка. Мы запустили платформу «VR-ипотека ВТБ» — площадку, объединяющую застройщиков и клиентов. Она предоставляет сервис дистанционного консультирования и дистанционного просмотра недвижимости. Платформа позволяет создать виртуальное пространство с возможностью выбора конфигурации квартиры, ипотечным калькулятором и встроенными инструментами продаж, а также подключением консультанта, который дистанционно из другого региона проконсультирует потенциальных покупателей.
AR может стать универсальным инструментом для трансляции персонализированных маркетинговых предложений нашим клиентам. Правда, пока пользователи в целом еще далеки от того, чтобы, например, наводить камеры смартфона на заинтересовавший плакат в отделении банка. Так что нам стоит иметь это в виду при разработке стратегии внедрения AR и предлагать клиентам небанальные игровые сценарии, побуждая их к новому формату взаимодействия.
Общие тенденции
Напоследок попробую обобщить опыт отрасли и предположить, что будет дальше. Стремясь к реалистичному изображению, мы столкнемся с ограничениями графики и скорости обработки информации. Выходом могут стать гибридные системы с участием облаков. При этом текущее «мультяшное» изображение все равно позволяет делать «погружающий» контент, так как для мозга этого достаточно. Попробуйте пройтись по VR-доске над VR-пропастью.
Проникновение VR-шлемов сейчас небольшое, поэтому мы создаем VR-инсталляции в наших офисах и приглашаем туда потребителей. Понятно, что у такого подхода есть перспектива для продажи дорогих и сложных продуктов — недвижимость, яхты, автомобили, экскурсионные туры. Ключевым здесь является переход от решений adhoc, то есть приложений, реализующих конкретный кейс, к целым платформам XR, которые позволят покупателям и продавцам находить друг друга.
В сфере иммерсивных технологий пока не видно резкой монетизации, игроки действуют будто на ощупь. Причина в том, что не так много людей пользуются расширенной реальностью в повседневной жизни. Чтобы их попробовать, нужно как минимум скачать дополнительное приложение — это усложняет путь получения технологий конечным потребителем.
Во всех этих разработках нет значительной геймификации, напротив — есть стремление к реалистичности. Создание инструментов легкого взаимодействия — это как раз-таки главная задача для разработчиков, развитие контента сейчас вторично по отношению к развитию UX/UI. Разрешение картинки пока еще низкое и она не фотореалистичная, поэтому технологиям есть куда расти и развиваться. Совершенствование пользовательского опыта связано с производительностью процессоров, со скоростью передачи и обработки данных.
Возможно, скоро появятся гибридные решения: например, обработка изображения будет производиться на сервере в режиме онлайн и далее оно будет передаваться через радио, Wi-Fi или Bluetooth-канал на мобильный шлем пользователя. Однако пока это только предположения. В любом случае, мы уверены, что иммерсивные технологии найдут применение во многих отраслях, в том числе и в нашей, финансовой. опубликовано econet.ru
Автор: Сергей Лукашкин
Если у вас возникли вопросы по этой теме, задайте их специалистам и читателям нашего проекта здесь.
Понравилась статья? Напишите свое мнение в комментариях.
Подпишитесь на наш ФБ:
Иммерсивный сторителлинг: синергия истории, эмоций и технологий
Феномен сторителлинга уже давно вошел в коммуникационную практику, но со временем он приобрел новый иммерсивный формат и вышел за рамки маркетинга. В феврале мы провели образовательную вечеринку PHYGITAL NIGHTS, посвященную теме иммерсивного сторителлинга. В статье мы подробнее расскажем о термине, и как можно создавать захватывающие истории, используя технологии.
Искусство рассказывать историю для достижения нужного эффекта используется в журналистике, социальных проектах, рекламе и маркетинге.
Сторителлинг позволяет выделиться на фоне других кампаний и произвести яркое впечатление на целевую аудиторию — от рекламы (например, страховой компании Travelers) в качестве классического повествования, в которой мы проходим путь вместе с главным героем, до целых историй становления крупных компаний (история LEGO). Конечно, в таких видео зритель будет чувствовать эмпатию и будет больше следить за развитием сюжета, но в подобных случаях мы переживаем чужой опыт, что не всегда дает нужный отклик внутри нас.
Мы постепенно приходим к тому, что привычные форматы кино и театра уже недостаточны — при просмотре мы можем почувствовать грусть или радость, но очень трудно пережить сложные эмоции. Чувство стыда или осуждающего взгляда намного сложнее передать с помощью привычных медиа, а обилие информации влияет на то, как мы начинаем воспринимать печатный текст.
Классические элементы сторителлинга и их преобразование в иммерсивный сторителлинг
Именно поэтому новые технологии приходят на помощь, которые позволяют через создание уникального, детализированного и продуманного мира с людьми, музыкой и звуками передать смысл визуально и аудиально, погрузить человека в нужную атмосферу и дать прожить опыт самостоятельно.
В этом случае также важно правильно выбрать технологию, так как от этого полностью зависит степень иммерсивности — то, как сообщение будет доставлено, какое впечатление оно оставит у аудитории.
Именно поэтому необходимо находить баланс между технологией и креативом и понимать, как можно создавать потрясающие истории. Далее мы хотели бы рассмотреть некоторые сторителлинг кейсы и на их примере показать, как отличать иммерсивный сторителлинг от других видов сторителлинга.
На данный момент есть много различных социальных и медиа платформ, позволяющих донести информацию до нужной целевой аудитории, но технологии дают возможность сделать этот процесс запоминающимся и более эффективным. Можно выделить целый ряд инструментов, которые позволяют воплотить иммерсивный сторителлинг в жизнь:
Виртуальная и дополненная реальность — это, возможно, одни из самых доступных инструментов иммерсивного сторителлинга на данный момент. С их помощью можно не просто перенести человека в другую вселенную и предоставить возможность творить и принимать решения внутри нее, а также воплощать самый разный спектр эмоций и взаимодействовать как с вымышленными персонажами, так и с реальными людьми.
В связи с этим мы хотели бы поделиться самыми интересными примерами сторителлинг-проектов в VR и AR.
Иммерсивный театр — это новая форма представления историй, в котором каждый желающий может стать участником рассказа, и The Under Presents является ярким примером воплощения этой идеи.
Доступное в Oculus Store приложение изначально работало как театральное представление — в запланированную дату любой человек мог присоединиться к платформе и лично прожить историю. В ней были все элементы сторителлинга: от активного участия и истории, до возможности принятия решений, разгадывания загадок и исследования мира.
Для полного погружения, как и в театре, в этой виртуальной среде есть персонажи-актеры, которые были отыграны реальными людьми, и с которыми мог взаимодействовать каждый пользователь:
Платформа работает и вне мероприятий, по расписанию в мультиплеере, что делает ее привлекательным времяпрепровождением для людей, любящих новые эмоции и увлекательные представления.
Для того, чтобы прикоснуться к искусству, иногда недостаточно просто сходить на выставку и посмотреть произведения и работы художника или скульптора. Почти всегда произведения искусства — это результат долгой работы и какого-то жизненного опыта, пережитого автором. Мы постепенно приходим к тому, что обычный текст уже не воспринимается так, как раньше, как и аудиогид не всегда позволяет полностью погрузиться в сюжет работы.
Именно поэтому Lucid Realities Studio с помощью VR воссоздала целый мир художника Клода Моне, который не просто показывает картину в виртуальной реальности, а отправляет в целое путешествие — мы погружаемся в жизнь Моне, его картину и идею, в процесс ее создания.
Начиная в саду, по пути останавливаясь в мастерской, и заканчивая в выставочных залах музея, вы погружаетесь в природу и мир, окружавший художника, исследуете его мир и пространство. Всего проект завоевал более 15 наград и был представлен на многих выставках.
В этом опыте сторителлинга несколько отсутствует интерактивность, но тем не менее, благодаря иммерсивности VR, пользователь чувствует себя частью истории, в которой продумано все до мелочей — и именно это делает его иммерсивным.
Музыкальная сфера также трансформируется под влиянием новых технологий, виртуальные концерты — это уже новая реальность, и использовать иммерсивные технологии можно также и для сторителлинга.
Проект Zemfiroom — это как раз пример того, как с помощью веб-технологий можно не просто привлечь внимание аудитории к юбилею первого альбома исполнительницы, но и погрузить пользователя в атмосферу, в которой он был написан.
С помощью технологий мы переносимся в квартиру, чувствуем ту атмосферу, в которой творила певица, и можем взаимодействовать с объектами внутри нее, таким образом добавляя иммерсивность и интерактивность опыту.
Изучение многих гуманитарных наук связано с поглощением большого объёма информации, который очень трудно запомнить без использования специальных инструментов. В данном случае иммерсивный сторителлинг помогает прожить и прочувствовать события определенного времени.
VR является отличной платформой для сторителлинга, именно поэтому на многих фестивалях уже выделяют отдельную категорию VR фильмов и сюжетов, что частично говорит о популяризации и принятии этого вида искусства, и сторителлинга, как отдельной области. Подобным ярким примером является фильм 360, который был также номинирован на Эмми — Travelling While Black, доступный в Oculus Store.
Этот фильм лауреата премии «Оскар» Роджера Росса Уильямса и лауреата премии «Эмми», студии Felix & Paul, ярко показывает то, насколько явно можно перенестись в рассказ другого человека, прочувствовать то, что чувствовал он, и при этом познать важные исторические проблемы, актуальные и по сей день. Именно это и придает этому проекту необходимую иммерсивность и эмоциональность, которые найдут отклик во многих.
Через историю о сложностях путешествия людям других рас, в этом фильме затрагивается острая тема расизма, историю которой так мало кто знает. Такое путешествие в прошлое подчеркивает настоятельную необходимость не только помнить историю, но и извлекать уроки из нее, а также способствовать диалогу о проблемах, с которыми путешественники из числа меньшинств все еще сталкиваются сегодня.
Однако, к сожалению, ситуация не всегда меняется, и сейчас многие люди до сих пор страдают от расизма. Это не всегда выражается в действиях, иногда пренебрежительное отношение причиняет много душевной боли. Такие сложные эмоции очень трудно передать с помощью фильмов или текстов.
В проекте 1000 Cut Journey от Стэнфордского университета была наглядно показана проблема расового отношения: мы своего рода “вселяемся” в тело молодого парня и проживаем сами все то, с чем сталкиваются люди каждый день — неприятные взгляды, нападки со стороны полицейских, идем по главным улицам города, и чувствуем на себе неприятные взгляды.
Технологии таким образом учат эмпатии и помогают понять все масштабы проблемы — эта ментальная вовлеченность и отличает иммерсивный сторителлинг от привычных коммуникаций.
«Страницы Победы» — это документальный соцмедиа проект, нацеленный через современное искусство предоставить особый взгляд на события войны и 9 мая 1945 года, на его исторический масштаб через частное, личное восприятие каждого сегодня.
В этом проекте использовалось сразу несколько технологий, которые в совокупности дали иммерсивный эффект погружения в исторические события тех времен, и по сути это пять небольших проектов, объединенных одной идеей.
Первый проект был связан с разработкой уникального шрифта «Май», который был составлен на основе надписей солдат на стене полуразрушенного Рейхстага 9 мая 1945 года.
Каждая буква имеет альтернативную версию, что делает этот шрифт уникальным. В контексте сторителлинга такая разработка уникальна тем, что она создает своеобразный мир вокруг проекта, в котором все продумано до мельчайших деталей. Это и есть одна из составных частей иммерсивного сторителлинга.
Для интеграции сторителлинг части нашей командой были созданы «Уроки Аушвица», которые с помощью целого стека технологий и молодой аудитории смогли рассказать о всех ужасах войны. Основная идея проекта заключалась в том, что растет поколение людей, которое не слушало истории от бабушек и дедушек про войну, и у которых нет прямой связи с людьми, участвующими в войне. И для того, чтобы показать всю серьезность прошлого, прибегли к использованию современных технологий — VR и Volumetric-съемке.
К 75-летию освобождения советскими войсками крупнейшего нацистского лагеря смерти Аушвиц-Биркенау команда проекта отправилась в музей лагеря в Польше вместе с девятью учениками, дав возможность подросткам увидеть всё своими глазами. После поездки мы попросили их выразить свои эмоции в виртуальной реальности под творческим руководством одного из ведущих российских VR-художников Дениса Семёнова — они почувствовали, что это могло коснуться каждого, и все пережитое нарисовали в TiltBrush.
Главным преимуществом VR здесь является то, что для передачи чувств не нужно быть художником — именно поэтому получилось сохранить и передать все сложные эмоции, которые ощущали молодые люди. В этом и заключается иммерсивность проекта:
В проекте были также реализованы уникальные проекты и хэштеги в социальных сетях Twitter и Instagram, разработано AR-приложение с душецепляющими цитатами из писем, с которыми более подробно вы можете на сайте проекта.
С помощью мобильного телефона, гуляя по улицам Нью-Йорка, любой желающий мог посмотреть исторические фотографии с места трагедии и увидеть последствия катастрофы. Несмотря на то, что сама механика привязки к геолокации и показа фотографии не демонстрирует все в качественной и детализированной 3D-графике, этот проект иммерсивен. Через показ фотографий мы можем сравнить «тогда” и “сейчас» и прочувствовать сильнее кошмар всей ситуации, и такой эмоциональный подход и делает проект примером иммерсивного сторителлинга.
Похожий концептуальный эксперимент с Outdoor навигацией создает VR/AR Engineer из Токио Mechpilot.
Вот, например, отличная идея для проведения иммерсивной выставки — наложение видео из прошлого на локацию реального времени. Для такого эксперимента используются карты города, на которых к конкретным местам, через координаты, привязываются цифровые объекты.
Не стоит забывать, что в истории важно не только помнить о том, что было раньше, но и думать о возможном будущем. В нашем проекте с Лабораторией Касперского мы постарались визуализировать то, как будут выглядеть главные мировые столицы в будущем.
Этот пример интерактивной экскурсии по футуристичным городам с помощью порталов демонстрирует возможности такой механики в дополненной реальности рассказывать истории и переносить нас не только в исторические события, но и в образы будущего.
Еще один пример погружения в страшную и реальную историю — это AR-портал-приложение Enter The Room, которое рассказывает о всех ужасах войны в Сирии.
Попадая в комнату, пользователь внимает истории, которая рассказывается через звуки и окружение — войдя в яркую и светлую детскую, мы чувствуем умиротворение, и через какое-то время появляются звуки выстрелов и бомбежки, и мы понимаем, что началась война. Видя ту же комнату через 3 и 4 года, мы осознаем, насколько разрушительны все военные действия для жизней и домов людей, и понимаем всю необходимость решать такие проблемы, влияющие на жизнь тысячи человек. В этом примере также нет интерактива — мы не можем напрямую взаимодействовать с объектами в комнате, но все окружение и атмосфера комнаты полностью погружают нас в историю девочки, что делает опыт эмоциональным и полным.
Семья Романовых любила фотографировать, и в этих фотографиях было много уникального и интересного. Команда RT Creative Lab решила показать 4000 фотографий семьи, но демонстрировать их в изначальном виде было бы не так интересно для аудитории.
Проект был реализован на 4 платформах: Facebook, Instagram, YouTube и Twitter.
Для интерактивного погружения в историю, совместно с командой phygitalism было разработано мобильное приложение с дополненной реальностью, которое позволило «оживить» фотографии семьи Романовых и запечатлить историю последней российской царской семьи в мультимедиа формате.
AR помог из обычной книги сделать запоминающийся фотоальбом, который удерживает внимание читателя и мотивирует читать его дальше.
В данном случае иммерсивность сторителлинга также ограничивается участием пользователя, так как зритель выступает больше наблюдателем, чем активным участником истории.
Проект #1917LIVE является хорошим примером интерактивного сторителлинга, который частично соотносится с иммерсивным сторителлингом по критерию генеративности конетинта. Главная и изначальная идея проекта — показать, что было бы, если бы Twitter существовал 100 лет назад. В соцсети были созданы Twitter-аккаунты для всех исторических личностей того времени, и днем за днем с них публиковались твиты с хэштегом #1917LIVE.
Интерактивная часть проекта появилась, когда люди вдохновились подобной идеей и начали создавать собственные аккаунты с другими личностями. Аудитория настолько вовлеклась в проект, что со временем придуманный для этих аккаунтов #1917CROWD перерос в #1918CROWD и #1919CROWD. Генеративный контент, созданный обычными людьми со всего мира, позволил достичь широкого охвата аудитории.
В этом проекте были также использованы видео 360, которые рассказывали об истории России того времени в 8 сериях — с помощью этого опыта вы можете переместиться в окопы Первой мировой войны, посетить революционную типографию, проникнуть в укрытие Ленина и посетить Петроградский железнодорожный вокзал.
В проекте было еще много интерактивных элементов, с которым вы можете ознакомиться на сайте https://1917live.red/
Этот проект показывает то, как можно привлекать широкую аудиторию с помощью новых медиа и инструментов, при этом здесь нарративный контент был переведен в генеративный, и каждый мог стать соавтором.
Использование технологии 360, которая позволяет почувствовать виртуальный опыт, — это недостаточный критерий для иммерсивного сторителлинга, поскольку оно не гарантирует активного участия зрителя. Кроме того, у видео форматов 360 есть ряд ограничений, связанный с устройством, на котором осуществляется просмотр контента.
Как мы отметили ранее, сторителлинг является отличным способом донесения до широкой аудитории информации о проблемах, напоминания об их актуальности и призыва к действиям. Иммерсивные технологии в этом плане только усиливают этот эффект, и поэтому уже есть примеры социального сторителлинга.
Создатели webAR решения Below the surface хотят с помощью иммерсивного погружения привлечь внимание людей к гибели морских жителей, попадающих в сети вместе с вылавливаемой рыбой — после улова их выбрасывают за борт мертвыми.
Этот кейс демонстрирует то, как с помощью даже короткого погружения в другую реальность можно рассказать историю, которая сподвигнет людей на нужные действия и сможет затронуть эмоционально.
Социальные платформы и сети можно также использовать для сторителлинга. Многие острые и социально-значимые темы не освещаются должным образом, и для поднятия обсуждения о проблеме бездомных людей в Snapchat был добавлен фильтр Homeless Realities, показывающий насколько трудно жить людям на улицах.
Видя эти ужасные условия жизни и слушая рассказы бездомных людей, мы задумываемся о том, о чем думаем очень редко — о счастье иметь крышу над головой, что и является одним из главных посылов этого опыта. Иммерсивный сторителлинг позволяет поднять обсуждение таких проблем, и надеемся, что также сподвигнет общество решать их.
Не менее важный опыт был представлен в рамках 50 фильтров Grey Matter — в них 10 пожилых людей делятся жизненным опытом и советами с молодой аудиторией в интерактивном формате, и с различными AR-фильтрами:
Благодаря такому сторителлингу можно воздействовать на самые различные аудитории и вдохновлять людей не забывать про пожилых людей, заботиться о них и делиться эмоциями, знаниями и опытом друг с другом.
Стоит отметить, что преображаются также и привычные нам медиа. Например, прогноз погоды по телевидению на многих телеканалах уже содержит в себе элементы иммерсивности.
Самый яркий пример — прогноз погоды с предупреждением о возможных наводнениях и уровне осадков. Вместо привычных цифровых значений наподобие “50 сантиметров”, нам показывают сразу как это будет выглядеть на улицах города. Именно это и добавляет иммерсивность, технологии помогают понять, что именно имеется в виду.
Природные явления и катастрофы можно также показывать не в формате иммерсивных прогнозов погоды, но в формате иммерсивного сторителлинга — в Австралии проект Mt. Resilience наряду с другими проектами от ABC получили премию на Национальном Австралийском фестивале документальных фильмов.
В этом WebAR кейсе мы можем ознакомиться с тем, как природные условия и катастрофы влияют на жизнь в австралийских городах, и как города готовятся к ним. Несмотря на простое исполнение с точки графики, иммерсивность здесь заключается в передаче всего масштаба последствий разрушительных сил природы, выполненное в форме рассказов.
В иммерсивную реальность в целом все чаще начинают входить и документальные фильмы. В рамках фестиваля Sundance Film Festival был представлен фильм в AR про самого крупного фальшивомонетчика Fortune!
Этот документальный AR-фильм рассказывает историю Фрэнка Бурассы с его скромного начала честного рабочего человека, и заканчивая его карьерой «Бога» фальшивомонетчиков, напечатавшего купюр на сумму 250 миллионов долларов. С помощью такого сторителлинга мы можем окунуться в историю, почувствовать, что она является частью этого мира, интерактивно и наглядно рассказать документальный фильм. В этом случае, кстати, AR и в целом иммерсивные технологии выступают хорошим инструментом реновации этого жанра, так как у многих подобные фильмы воспринимаются как что-то скучное, нудное и долгое.
Печатные СМИ уже давно освоили онлайн, но многие из известных мировых изданий уже начали внедрять инструменты иммерсивного сторителлинга в свою практику. Например, The New York Times уже несколько лет внедряют AR в свое мобильное приложение:
А за последний год издание USA Today выпустило 8 иммерсивных опытов, которые в общей сложности помогли достичь общего числа взаимодействий с AR-опытами в 15 млн просмотров.
Среди последних проектов можно отметить реконструкцию штурма Капитолия в январе — всего за 12 часов команда смогла воссоздать все события в хронологическом порядке и представить их в AR опыте с фотографиями.
В этих проектах отлично показано то, как даже в короткие сроки можно воссоздать практически любую историю, иммерсивно и интерактивно, при этом вовлечь читателей, и не делать процесс познавания историй скучным.
Покорение космоса — это одно из многих желаний всего человечества. Но путешествия на другие планеты всегда связаны с уровнем развития науки и техники. С помощью новых технологий можно иммерсивно показать, как развивается отрасль, и рассказать о самых значимых событиях.
Приложение от NASA с Марсоходом — это яркий пример популяризации науки, когда с помощью дополненной реальности организация рассказывает, на что именно тратится так много денег в аэрокосмической отрасли. В своем мобильном приложении они показывают то, как выглядит марсоход в реальном размере.
В сторителлинг-отрасль мы переносимся тогда, когда нам передают часть истории. В данном случае с помощью приложения Mission to Mars AR мы можем пережить одни из самых волнующих минут в 2021 году для всех любителей космоса — высадку марсохода на поверхность планеты.
Этот образовательный опыт не просто рассказывает о «7 минутах ужаса», но и дает возможность интерактивно взаимодействовать с марсоходом, помещать его у себя в интерьере, узнавать больше планете в целом. Такое интегрированное решение — это не только пример иммерсивного путешествия, но и успешного сторителлинга, позволяющего нам почувствовать себя частью чего-то большего.
Для нас тема космоса очень интересна и важна, три года назад мы создали VR-симулятор, демонстрирующий возможности терраформирования на планете Марс. Поверхность планеты в экспириенсе повторяла реальный ландшафт.
Исторические моменты космического прошлого — это то, что вдохновляет людей делать новые шаги к освоению вселенной. Поэтому очень важно не забывать то, какие великие события произошли в 20 веке, и иммерсивный сторителлинг с использованием дополненной реальности — отличный инструмент для интерактивной и вовлекающей подачи информации. Так, в приложении Apollo’s Moon Shot AR, мы можем ознакомиться с историей высадки человека на Луну: