1 · Камера
Веб-камера снимает движения, которые вы показываете.
Музыка жестами рук
Как движения становятся музыкой.
Инструмент отслеживает положения рук камерой, преобразует их в музыкальные команды и создаёт звук в реальном времени.
2 · Распознавание
Положение суставов, кистей и устойчивые жесты становятся командами.
3 · Преобразование
Команды задают аккорды, ноты, фильтр и громкость.
4 · Звук
Аудиодвижок браузера создаёт звук и меняет его вслед за движениями.
Больше, чем визуальный эффект
Для игры нужны отзывчивый звук, устойчивое распознавание и понятное отображение распознанных жестов.
Без носимых датчиков
Достаточно обычной веб-камеры. Качество распознавания зависит от освещения, положения рук и устройства.