Не стоит путать или объединять дополненную и виртуальную реальности — это две разные технологии и работают они по-разному.

В августе 2018 Apple делает очередное приобретение, раскрывающее амбиции корпорации в сфере AR, — Akonia Holographic. Компания занимается созданием линз нового типа для экранов дополненной реальности. Наконец, в октябре 2019 Apple покупает компанию iKinema, разрабатывающую ПО для отслеживания движений в реальном времени для VR и AR. Направление понятно.

Выход на рынок очков или гарнитуры дополненной реальности от Apple прогнозируют очень давно. Но в ноябре 2019 года появилась инсайдерская информация, что в компании организовали массовую встречу всех департаментов разработки, где объявили, что в 2022 году компания планирует выпустить AR-гарнитуру, а уже в 2023-м — AR-очки. Весной же появилась информация, что легковесные очки компания выпустит уже в начале 2021-го.

Проблема у AR такая же, как и у VR, — носимое на голове оборудование. Но фору ей дало применение технологии на мобильных устройствах. Сейчас аналитики сходятся во мнении, что именно дополненная реальность, а не виртуальная в ближайшее десятилетие предопределит способ взаимодействия человека с технологиями и окружающим миром.

Наиболее впечатляющее применение дополненная реальность нашла в медицине и инклюзивных практиках.

В 2020 году Microsoft провела исследование на незрячем 12-летнем мальчике Тео. Камеры и сенсоры HoloLens использовались для составления карты комнаты и определения объектов и людей. Если лицо человека, заходящего в комнату, было знакомым устройству, оно подавало один сигнал либо называло имя этого человека в уши мальчику; если нет — другой. Также камеры распознавали и семантически описывали объекты в комнате: ноутбук, стол, лампу и т. д., помогая слепому ребёнку составить более подробное понимание среды вокруг.

Другой пример — стартап Altoida при помощи несложных игровых тестов в дополненной реальности с точностью 94% может определять предрасположенность человека к нейродегенеративным заболеваниям.

В некоторых лондонских больницах Microsoft HoloLens используют для реконструкции сложных операций для пациентов с серьёзными травмами. До появления таких технологий врачи во время операций вынуждены были в ручном режиме искать крупные кровяные сосуды. Теперь же есть возможность просто разместить перед глазами 3D-модель и ориентироваться на неё.

Ещё один из совсем близких примеров — белорусский стартап Voka использует HoloLens для операций на переломах и кардиологических операций. Работает это следующим образом: человека со сломанной костью отправляют на компьютерную томографию. Данные, полученные на КТ, вручную переводят в 3D-модель сломанной кости с учётом даже мелких осколков (это важно), а затем модель загружают в HoloLens, при помощи которого врач может руками вращать эту модель перед собой либо разместить её непосредственно на ноге/руке пациента и сделать необходимые намётки для разрезов и вставки пластин. Такие операции (сотрудники Voka говорят, что провели их первыми в мире и уже сделали около 40 штук) проводятся на базе белорусского РНПЦ травматологии и ортопедии.

Помимо использования в индустрии жизни AR используется и в индустрии смерти — военных структурах. Пока что самый мощный пример — сотрудничество армии США и Microsoft, начавшееся ещё в 2016 году с первых прототипов и развернувшееся в 2018 году, когда армия закупила у MS 100 000 шлемов HoloLens. Этот контракт вызвал огромное сопротивление у рядовых сотрудников компании. Правда, в армию поставляются не совсем обычные версии HoloLens — их модифицированный для военных вариант называется IVAS. Он имеет ряд программных и технических дополнений, в которых сделан упор на работу с картами, ночное видение, опознавание местности и людей для того, чтобы отличать своих от чужих, а врагов от гражданских.

Ещё раньше, чем армия, к Microsoft пришло NASA. Самые ранние прототипы HoloLens отправляли на орбиту, чтобы помогать астронавтам с Земли. Позже это оформилось в проект Sidekick — AR-гарнитура на голове астронавта отправляет видеопоток на Землю, чтобы эксперты в центре управления понимали, что астронавт видит, а ему на экран выводились подробные инструкции — где что нажать, какой болт закрутить (нажмите, чтобы посмотреть➡).

Знакомство России с дополненной реальностью началось, разумеется, с тюрьмы. Вспомним резонансное дело Руслана Соколовского, которое завели в июле 2016-го, почти сразу после запуска игры Pokemon GO (нажмите, чтобы посмотреть➡). Как ни странно, это не единственный конфликт с церковью из-за этого приложения. Почти в то же время на одного из игроков накинулась Баптистская церковь Вестборо в США, правда, до СИЗО дело не дошло. Компания Niantic, выпустившая игру и продолжающая обновлять её до сих пор, сегодня один из лидеров AR-рынка. Они разрабатывают свои собственные программные технологии, особенно напирая на мультипользовательский функционал, компьютерное зрение и обучение.

В Финляндии главный лютеранский храм выпустил приложение, реконструирующее в дополненной реальности события протестантской реформации в этой стране. В нём можно буквально развернуть сцену у себя в комнате и наблюдать, как полноростовые монахи ходят туда-сюда.

Ещё один пример: в румынском городе Брашов есть так называемая чёрная церковь, лютеранский храм XV века, который был сильно разрушен пожаром в XVII веке и значительно перестроен в XVIII. Восстановить его оригинальный вид физически невозможно, поэтому группа исследователей сделала 3D-модель оригинальной архитектуры и при помощи AR-приложения предоставила возможность в реальном времени накладывать эту картинку на реальный храм. Может быть, Русская православная церковь возьмёт на заметку такое разнообразное применение этой технологии.

Совсем недавно создатели русской адаптации «Очень смешной комедии о том, как шоу пошло не так» использовали приложение с AR-контентом для рекламы: наведя камеру на билборды, можно было увидеть объёмную сцену, в которой актёр что-то исполнял.

AR используется в журналистике и медиа. Ещё в 2009 году первым отличился американский журнал Esquire, сделав обложку номера с Робертом Дауни мл. Если поместить её перед веб-камерой (!) ноутбука, возникнет Роберт Дауни, и под дождём из букв произнесёт речь. В мае 2016-го журнал The New Yorker выпустил номер с AR-обложкой художника Кристофа Нимана. При наведении на неё айфона или айпада появлялись анимированные поезда и небоскрёбы. Журнал Time в июле 2019-го запустил приложение Time Immersive, в котором рассказывает особо важные истории при помощи дополненной реальности: например, можно развернуть у себя на столе гибнущие леса Амазонки и посмотреть, как над ними летают птицы. Правда, выпустив две истории, приложение заглохло. Зато The New York Times и USA Today в последние месяцы ушли далеко вперёд коллег по использованию AR в иммерсивных сюжетах.

Пока кто-то рекламу в дополненной реальности показывает, кто-то её скрывает. Два стартапа — один в 2010-м, другой в 2014-м — предлагали решения по замене рекламных баннеров на улицах на изображения цифрового и живописного искусства. Вообще, потенциал AR в области современного искусства — гигантский. И сегодня он вообще не используется или используется чудовищным образом. В основном работа культурных институций с AR сводится к условно «ожившим полотнам Ван-Гога» — художники добавляют поверх висящей на стене картины цифровой слой с анимацией или видео, а музеи антропологии, истории и техники показывают в AR халтурные 3D-модели каких-нибудь динозавров или танков.

Совсем редко появляются примеры нестыдные, как, например, проект [AR]T Walk от Apple. В сотрудничестве с нью-йоркским Новым музеем и семью современными художниками в семи столицах мира из магазина Apple можно отправиться на арт-прогулку длиной примерно в два километра. На пути будут встречаться и объёмный текст, и анимированные сцены, и порталы в деревьях.

Что касается реалистичного расположения цифровых объектов в среде, то здесь на помощь приходят камеры глубины со специальными сенсорами, оценивающие расстояние до физического объекта, а благодаря компьютерному зрению и машинному обучению оценивающие его границы, размеры и фактуру.

Есть ещё одна проблема: как разместить цифровую сцену в реальном мире в конкретном месте, например, на определённой площади или улице. Для этого есть также несколько решений; например, русский стартап ARConа использует технологию Slam.. Она моментально выстраивает карту окружающей среды на телефоне, учитывая разные факторы. Если вы в AR-приложении посадите цифровое дерево рядом с памятником Пушкину, а потом кому-то нужно будет его увидеть на своем девайсе, то, по словам разработчиков, дерево будет стоять на том же месте с погрешностью в 8–10 сантиметров.

Мы до сих пор думаем про дополненную реальность как про некую симпатичную технологию, которая в каких-то местах способна немножко улучшить наш опыт обращения с реальностью. В действительности есть все основания думать, что это, как выразился Тим Кук, «the next big thing» («следующий большой шаг»). Примерно такой же большой, как интернет и изменения, пришедшие с ним. Возможно, уже в ближайшие десять лет AR в огромной степени предопределит не просто способы коммуникации с окружающей средой, а трансформирует сам тип человеческой чувственности.

В марте прошлого года журнал Wired вышел со статьей «Welcome to the mirrorworld». В ней автор рисует концепцию параллельного цифрового пространства, которое, по его мнению, должно неизбежно появиться с распространением дополненной реальности: люди будут ходить с камерами в очках и непрерывно всё сканировать. Собственно, уже сейчас стартапы типа Display.Land от Ubiquity6 занимаются именно этим — составлением обновляемой 3D-карты планетарного масштаба. Автор текста уверен, что у любого физического места будет свой цифровой двойник и его придётся защищать от посягательств, только не воров, а цифровых гигантов. Уже сейчас в Британии появился стартап Darabase, который предлагает пользователям защитить своё физическое пространство в дополненной реальности. Чтобы в палисаднике, которым вы владеете, никто не посадил рекламный стенд, а если хотят посадить — пусть платят копеечку.

Появление монополии корпорации в дополненной реальности — самая страшная опасность. По мнению автора, в будущем необходимо создать открытую децентрализованную платформу для потребления контента в AR, иначе в тёмном переулке, где вы живёте и по которому не ходят даже крысы, появится баннерная реклама. И да, она будет показывать вам то, что вы искали утром в интернете.