Интерактивная инсталляция для «Ночи инноваций»
Идея
В этом проекте нам было важно не только показать свои навыки, но и отразить главные принципы студии в работе с данными. Мы планировали создать real-time дашборд, потому что это наша сильная сторона, — но в остальном у нас была полная творческая свобода. На начальном этапе было много интересных идей, но в итоге остановились на одной: «Весь мир — это данные, которые можно визуализировать». Эта концепция позволяла разрушить представление о дашбордах как об обычных таблицах с цифрами и показать, насколько интересной может быть визуализация данных.
При создании визуального стиля дашборда мы вдохновлялись дизайном сервисов, которые каждый день видим на экранах телефонов — как и эти приложения, дашборд должен был собирать и отображать данные в реальном времени.
Для нас было важно, чтобы дизайн был максимально легким для восприятия, поэтому мы использовали достаточно простые графики и понятные цветовые акценты. Дашборд включал в себя 12 виджетов, которые изменяли свое положение на экране при переключении страницы.
Никита Плюхин
Руководитель отдела дизайна студии AkademiaDev
Реализация
Мы поставили по всему залу фестиваля камеры, подключили несколько нейросетей и анализировали данные в реальном времени, выводя результаты на экран. Нужно было определить, какие данные получится максимально быстро собирать и обрабатывать, и определить количество категорий, которые будут выглядеть эффектно, но визуально не перегрузят дашборд. Выбрали следующие: общее количество посетителей, их возраст, пол, цвет одежды и волос, наличие бороды. Использовали Нейрозрение yolo v8 — для него были обучены модели, позволяющие определять выбранные характеристики. Для каждой категории были определены несколько вариантов ответа, а финальные данные мы отразили в виде зрелищных диаграмм и в табличном режиме.
Для определения данных было одновременно запущено 40 моделей с искусственным интеллектом, которые работали в реальном времени. С помощью этих моделей заполнялась единая база данных, и потом на основе схожести формировались уникальные данные — то есть удалялась информация, собранная несколько раз об одном человеке. Таким образом удалось посчитать количество посетителей. Этот этап был очень важен, потому что собрать данные несложно, а вот выделить информацию по каждому пользователю, рассортировать и выводить в реальном времени — гораздо сложнее.
Захар Зотов
Разработчик Touchdesigner/Ventuz студии Akademia
На отдельном виджете дашборда выводились фото, сделанные на фестивале, на которых визуально были показаны результаты анализа: у лица каждого человека на фотографии отображались 1-2 параметра из данных, собранных о нем в системе. Также на экране в виде диаграмм можно было увидеть динамику посещения мероприятия по часам, соотношение мужчин и женщин, преобладающий цвет одежды и настроение.
Для создания тепловой карты мы применили новую для нас технологию и изобрели сетап, позволяющий анализировать количество людей в определенных точках. Мы использовали общедоступные модели на yolo v8, позволяющие определить положение головы, и на основе этих координат вычисляли плотность людей в помещении. Эти показатели отображались на виджете красным цветом, показывая наиболее загруженные зоны — чем больше людей в конкретной точке, тем ярче цвет.
У нас возникла идея создать генеративного цифрового двойника: когда человек подходил к экрану, камера выводила его изображение, делая цифровую накладку и визуально «разбирая» его на данные. Посетитель будто становился частью облака данных и его движения меняли изображение и влияли на громкость звука. Эту технологию мы также использовали впервые, но после «Ночи инноваций» стали применять ее в других проектах.
Вызовы
Экран состоял из 9 равных по размеру мониторов, и нужно было на старте продумать, чтобы, в какой бы части дашборда ни появлялся виджет, он адаптировался под конкретные размеры и не попадал на стык между мониторами. Остальная часть сетапа также была технически сложной и требовала тщательной подготовки: вся информация с камер должна была передаваться без перебоев.
Вторым вызовом стала обработка большого количества данных. Нейросети должны были сливать все в общую базу данных, и для визуализации их нужно было отбирать и анализировать в реальном времени, — из-за большого количества переменных важно было предусмотреть все возможные ошибки. На начальном этапе наши амбиции были колоссальными: например, выбрали семь позиций настроения для нейроанализа. Приступив к работе поняли, что такое количество переменных повлияет на точность анализа, и сократили до трех.
Данные с камер попадали в Touchdesigner, обрабатывались по заранее прописанным запросам и загружались в базу данных. Я развернул Postgres, и раз в 3-5 минут Ventuz давал внутри базы команду для той или иной визуализации. На момент запуска на фестивале база данных была полностью пуста, и заполнялась данными в реальном времени. Самая большая техническая сложно была в том, чтобы данные от нейросетей попадали в базу в нужном формате: изначально они приходили в формате в json, который приходилось парсить.
Сергей Тищенко
Аналитик данных студии AkademiaDev
На финальных этапах работы мы столкнулись с проблемой, типичной в проектах для мероприятий: пришлось сменить локацию. Изначально визуализация разрабатывалась под макет 4×4, а в момент начала сборки визуала его пришлось пересобирать 3×3. Тем не менее, команде удалось быстро адаптироваться к новым условиям. Благодаря тому, что изначальная визуализация состояла из модульных окон, дизайн получилось пересобрать под новый экран.
Это был прежде всего очень смелый исследовательский проект — многое мы пробовали и изучали впервые, от инструментов до форматов. Например, до этого мы ни разу не настраивали передачу данных с Touchdesigner в базу данных. Детект по камерам, цифровой двойник, тепловая карта — ни одну из этих технологий мы прежде не использовали.
Работа велась очень интенсивно и в короткие сроки, постоянно появлялись новые идеи сложнее и интереснее предыдущих, и все это мы тестировали в офисе. Получился проект, колоссальный с точки зрения приложенных усилий.
Алексей Полищук
Разработчик Ventuz студии AkademiaDev
Возможности
Этот проект стал для нас особенным с точки зрения свободы творчества и эксперимента. Обычно мы создаем заказные разработки под конкретные запросы крупных клиентов — в таких проектах риски недопустимы. В этом же случае мы получили уникальную возможность протестировать свои креативные идеи и новые технологии. На выставке мы проверили и отшлифовали некоторые решения, и благодаря этому можем уверенно использовать их в будущем.
Еще одна особенность этого проекта — непривычный для команды AkademiaDev пайплайн. Дашборд создавался в сотрудничестве с направлением дизайна для ивентов, студией Akademia. Поэтому помимо классической разработки в проекте использовался креативный подход: над ним работали два арт-директора, Никита Плюхин от AkademiaDev и Анна Валуева от студии Akademia. Был риск столкновения двух разных видений, но в итоге непривычный формат помог найти свежие решения.
Проект стал точкой притяжения на фестивале: благодаря идее анализа данных в реальном времени посетителям было интересно взаимодействовать с дашбордом, а цифровой двойник побудил их делать фотографии и делиться ими в соцсетях.