Когда-то музей был складом древностей, а посетители почтительно переходили от одного экспоната к другому, и это совпадало с их ритмом жизни. Сейчас люди потребляют информацию быстрее и по другим принципам. Они хотят быть участниками событий и проживать новый опыт. Поэтому музеи создают не только художники, но и программисты, инженеры, математики и архитекторы. Многослойная иммерсивная среда становится интерфейсом, а посетитель — частью происходящего.

Привет, Хабр! Давайте посмотрим, как «внутри» работает музей цифрового искусства teamLab Borderless в Токио, который только за первый год посетили 2,3 миллиона человек. Как создаётся экспозиция площадью 10 000 м², которая возникает на глазах у посетителей. Как работают сенсоры, проекторы, симуляции и projection mapping, и как всё это связано в одном из самых технологичных музеев мира.

Почему Borderless сложнее обычной инсталляции

В 2018 году в Токио открылся teamLab Borderless и почти сразу стал одной из самых радикальных пересборок музейной логики. Он изначально спроектирован как софт, развёрнутый в физическом пространстве. Инсталляции перетекают друг в друга, выходят за пределы залов, пересекаются и реагируют на посетителя.

«На рынке долго разделяли физическую среду и цифровую. В иммерсивных пространствах этого разделения больше нет. Среда — и есть интерфейс. И как только вы начинаете проектировать пространство как систему с состояниями, событиями и логикой поведения, архитектурные задачи становятся неотличимы от архитектуры ПО. Если раньше музей был статичным местом хранения, то теперь он должен "считывать" посетителя и перестраиваться под него. Это меняет сам подход к проектированию: мы больше не думаем о том, как расставить экспонаты, мы думаем о том, как запрограммировать среду на диалог с человеком»

Как музей понимает, где находится человек

Полный список сенсоров в Borderless не раскрывается, но по механике проектов понятно, как и какие задачи они решают. Движение здесь не просто триггер. Если человек идёт вдоль стены, визуальная часть движется вместе с ним. Если пересекает пространство, меняется направление потоков, поведение частиц или логика взаимодействия между объектами. Посетитель как будто управляет реальностью, и эта иллюзия должна сохраняться постоянно.

В некоторых сценах учитывается касание. Посетитель даже может добавить свой объект со смартфона. И в этот момент сенсорный слой должен не просто принять событие, а связать его с координатами в пространстве и встроить в текущую логику сцены. Это выглядит так: сенсоры → сырые данные (координаты, глубина, движение) → фильтрация шумов → сопоставление объектов → (трекинг) события. Поэтому, чтобы упростить сопоставление объектов, пространство сцены делится на логические области:

[ зона A ]   [ зона B ]   [ зона C ]

Для каждой зоны задаются свои правила:

if enter(zone A) → start(scene A)

if distance < threshold → increase intensity

if count(zone B) > N → switch mode

if velocity > X → change behaviour

Но посетитель может одновременно находиться в нескольких логических слоях, поэтому в таких музеях используются мягкие границы, градиенты расстояния и перекрывающиеся зоны. Например, это может выглядеть так:

зона A (основная сцена)

зона B (усиление эффекта)

зона C (глобальное влияние)

Тогда одно и то же движение влияет сразу на несколько уровней сцены. На локальную анимацию рядом с человеком, на интенсивность эффекта вокруг и на общее поведение пространства. Поэтому задержка между движением посетителя и цепочкой «сенсор → обработка → событие → движок → проекция» больше ~50-100 мс в таких проектах уже критична и приводит к рассинхрону.

При этом система должна учитывать, сколько человек в моменте в каждой зоне. Их среднюю плотность на условный квадратный метр. А также в каком направлении движется основной поток. Всё это напрямую влияет на масштаб эффекта, скорость анимации и поведение объектов. Они реагируют на приближение, расходятся перед человеком, меняют траекторию или плотность в зависимости от того, сколько людей рядом.

if count > 10 → снизить детализацию

if плотность высокая → упростить сцену

if поток направлен вправо → сместить динамику

Крайне важно удерживать идентичность посетителя в потоке. Если два человека пересеклись, система не должна склеить их в одного, потерять трек или скакнуть куда-то по координатам. Потому что, если на входе будет шум, ошибки и скачущие треки, никакой движок это не компенсирует, а просто отрисует неправильную реакцию. Поэтому у сенсорного слоя есть три жёстких ограничения:

• событий должно быть как можно меньше;

• обработка должна быть максимально локальной;

• лишние преобразования нужно исключить.

А вот когда на входе всё стабильно, можно собирать визуал.

Как сцена пересчитывается в реальном времени

Водопад в музее легко принять за очень дорогую, хорошо сведённую проекцию. Как в интерактивных инсталляциях, где сенсор запускает следующую анимацию в ответ на движение посетителя. Но из-за отсутствия границ между сценами в Borderless геометрия помещения, высота потолков и поверхность стен влияют на результат почти так же сильно, как действия посетителей. Сценарий нельзя просто перенести в другой зал, а приходится заново собирать под конкретное пространство. Изображение здесь пересчитывается в реальном времени много раз в секунду по той же логике, что и в современных игровых движках.

Так в Unity поведение сцены обычно задаётся скриптами и компонентами, которые обновляют объекты на каждом кадре и реагируют на входные сигналы. А в Unreal ту же задачу решают Gameplay Framework, Actors, Blueprints и событийная логика.

Водопад в Borderless — это сотни тысяч частиц в виртуальном 3D-пространстве. Сначала рассчитывается их движение, и только потом из него собирается видимый поток. Если посетитель встаёт на его пути, вода расходится так, как будто перед ней появился камень. Это уже не запуск очередного эффекта, а взаимодействие с живой моделью мира.

посетитель входит в поток → меняется состояние симуляции → пересчитывается движение частиц → меняются линии, из которых собран водопад → посетитель видит уже другой поток

Но основной объём работы, конечно, происходит не в моменте. Визуальные ассеты, модели, правила поведения сцены, параметры симуляции и логика взаимодействий создаются заранее.

Как собирают интерактивную сцену

По сути, это полноценный продакшен на стыке геймдева и VFX. Обычно над такими проектами работают инженер по компьютерному зрению, инженер интерактивных систем, визуальный дизайнер и Art Catalyst. Один отвечает за реакцию системы на движение людей и распознавание объектов, другой пишет софт для интерактивных сцен, симуляций и визуальных эффектов, третий собирает 3D-модель пространства, а Art Catalyst координирует художественную и техническую части проекта.

Сначала команда решает, что происходит при движении человека, как объекты реагируют друг на друга, какие у сцены есть состояния и переходы. А поверх этой логики собирается визуальный слой: модели, анимация, процедурные эффекты, свет и звук.

Отсюда и вполне земные инженерные задачи. Нужно контролировать количество объектов и частиц, упрощать геометрию, ограничивать сложность шейдеров и держать стабильный FPS. Нельзя просто взять сложную симуляцию из офлайн-рендера и перенести в музей. Её приходится упрощать, переписывать или пересобирать так, чтобы она просчитывалась на каждом кадре.

Это хорошо видно в зале, где посетители идут по подвесной конструкции над летящими разноцветными птицами. На тестах из-за движения людей и раскачивания самой конструкции в сцене появлялись лишние тени, которые сильно портили визуал и мешали погружению посетителя в экспозицию. Команде пришлось долго экспериментировать вместе со специалистами по компьютерному зрению, чтобы убрать эти артефакты и сохранить чистоту изображения.

Но даже когда сцена работает внутри движка и не разваливается на тенях, её ещё нужно без потерь перенести в реальное пространство.

Как проекцию подгоняют под реальность

Графика должна без искажений ложиться на стены, пол, углы, проходы и стыки между залами. Для этого в Borderless используют projection mapping. Изображение заранее деформируют под геометрию помещений и объектов, чтобы зритель видел ровную картинку. На практике это означает долгую настройку на площадке. Что особенно хорошо видно по Borderless в Azabudai Hills, где работает около 560 проекторов.

Их расставляют и выравнивают с помощью камер, тестовых паттернов, 3D-моделей сцены и даже облака точек. При настройке нужно точно понимать, где начинается и заканчивается зона каждого проектора, как она связана с общей сценой, где проходит стык с соседней зоной и как изображение ведёт себя на разных материалах и углах.

Схематично это выглядит так:

проектор A  >>>>>>>>

               зона перекрытия

проектор B      >>>>>>>>

Система должна точно свести проекторы в зоне перекрытия. Если света слишком много, участок будет пересвечен. Если слишком мало, появится тёмный шов. А если ошибиться с геометрией, то при движении начнёт расплываться линия стыка.

На мониторе всё может выглядеть чисто и предсказуемо, но в зале может выясниться, что конструкция даёт лишнюю тень, поверхность съедает контраст, а человек своим движением ломает контур изображения. Поэтому после компьютерных проверок сцену начинают доводить на площадке. Её собирают в реальном пространстве, настраивают проекцию и проверяют на настоящих стенах. А когда стен нет, появляются другие сложности.

Ещё в одном проекте teamLab вместе с Panasonic настраивала сложную многопроекторную проекцию на ArtScience Museum в Сингапуре. Изображение проецировали через реку на расстояние более 200 метров и собирали с помощью 17 проекторов. Сложность добавлял фасад с лепестковой геометрией, а место для установки проекторов ограничивалось площадкой у воды. Для настройки использовали камеры и телеобъективы, чтобы точно свести проекцию и выровнять яркость и цвет.

Это долгий этап. В одном из кейсов на создание большой сцены вместе с проверками и доводкой у teamLab ушло два месяца. Так что музеи стоят дорого не только из-за оборудования. Большая часть сложности и затрат уходит на производство и доводку сцен.

Почему такие музеи интересны не только посетителям

Снаружи это увлекательный аттракцион из проекторов, анимации и музыки, а внутри — полноценная распределённая система. У неё есть медиасерверы, сеть, системы синхронизации, резервирование и охлаждение. И всё это должно ежедневно поддерживаться в рабочем состоянии.

Контент тоже не живёт вечно. Стоит передвинуть стену, изменить свет, маршрут посетителей или конфигурацию зала, и всю сцену нужно переделывать заново. Это съедает огромное количество ресурсов и по уровню сложности приближает такие проекты к большим цифровым продуктам. 

«У таких объектов есть любопытное свойство: чем незаметнее работает технология, тем сложнее она устроена внутри. Посетитель не думает о задержке, синхронизации и отказоустойчивости — он просто чувствует, что пространство живёт. И в этом, пожалуй, лучшее определение качества системы: когда её не видно. Но чтобы эта магия случалась каждый день, за ней стоит кропотливая работа инженеров. Это непрерывный мониторинг, калибровка и обслуживание систем. Музей кажется живым именно потому, что кто-то постоянно следит за его пульсом»

P.S. Контекст от редакции

Идея цифрового музея хорошо показывает нам как искусство позволяет взглянуть на привычные вещи по-новому. Пересборка музейной логики - это не только про TeamLab. Тот же подход работает и в других форматах. Например, проект «Искусство технологий» (КРОК) переосмысляет классическое искусство через современные технологии. Центральный образ - работа художника Алексея Морозова «Олимпия на сигвее», где античный архетип переносится на новую технологическую платформу, не теряя суть: гармонию, красоту, человечность. 

Похожий процесс происходит и в TeamLab: привычные мотивы и «экспонаты» остаются прежними (цветы, животные и природные пейзажи),  а вот среда вокруг них становятся цифровой, реагирующей на пользователя и взаимодействующей с ним. Все это позволяет перенести привычный опыт в новый технологический контур, не растеряв в пути смысла и человечности.