Поделиться
Rhizomatiks совместно с Dentsu Lab Tokyo разработали технологию под названием «Система отслеживания и визуализации фехтования».
Система отслеживает движения меча и визуализирует их с помощью дополненной реальности. Человеческий глаз не способен делать это без AR — слишком большая скорость.
Зацените, как это выглядит:
Раньше работало с неудобными метками
Работать над проектом начали ещё в 2012 году — 9 лет назад.
Фестиваль Geek Picnic 2021
21–22 августа, Москва, От 2500 до 4000 ₽
tproger.ru
События и курсы на tproger.ru
Уже тогда они придумали использовать дополненную реальность, Motion Capture, высокоскоростную камеру, самодельные маркеры и программы для отслеживания и визуализации быстрого движения спортсменов.
Тогда разработчики системы использовали светоотражающие маркеры для определения наконечников меча, а это доставляло неудобство спортсменам.
В 2017 году маркеры заменили на ленты — это тоже оказалось не очень удобно.
Потом задействовали искусственный интеллект
В 2016 году разработчики начали работать над системой, которая могла бы обнаруживать положение наконечника меча только по изображению с камеры — без каких-то дополнительных меток.
Это оказалось не так просто, поскольку мечи двигаются очень быстро, а их форма сильно меняется, когда они изгибаются. Ещё одна сложность — ширина мечей: она составляет всего несколько пикселей, даже если снимать в 4K.
Так работает алгоритм обнаружение наконечникам меча
Поэтому разработчики решили применить нейронные сети для обнаружения объектов с каскадным классификатором на основе YOLO v3 в сочетании со специальной аппаратной и конфигурацией камеры.
В итоге, алгоритм удалось научить отслеживать положение наконечника меча. Чтобы покрыть всё поле матча, понадобилось 24 камеры. Из-за того, что снимать поединок надо очень детально, одна камера покрывает всего 8 метров.
Коротко: как это в итоге работает
Архитектура системы отслеживания и визуализации фехтования
24 высокоскоростные камеры захватывают изображение по всему полю поединка.
С помощью Motion Capture и алгоритма Deep Learning для обнаружения объектов под названием YOLO 3 система отслеживает положение наконечника меча.
На изображение с помощью дополненной реальности накладывается след от мечей.
Видео с AR подсказкой для зрителей транслируется в эфир.
Источник: Rzhizomatiks
Источник: