ИИ научился восстанавливать музыку в беззвучном видео игры на пианино

Группа исследователей из Вашингтонского института сделала технологию, восстанавливающую звуки пианино при игре на инструменте в беззвучном видеоролике. Для работы искусственного ума, получившего заглавие Audeo, нужно только наличие видеозаписи играющих на инструменте рук.

Публикация о свежайшем проекте учёных возникла на официальном веб-сайте института. Судя по ней, исследователи не употребляли выработки иных установок и делали модель, которая легла в базу Audeo, с нуля.

Во время тренировки ИИ, систему обучили уделять свое внимание не только лишь на размещение пальцев и их перемещение по кнопкам, но также и на силу нажатия с продолжительностью удержания. Всё это позволило спецам достигнуть 86% точности при распознавании через приложение SoundHound. Для сопоставления, оригинальное видео со звуком достигнуло точности в 93% в том же приложении.

Методу нужно определять «индивидуальности» в кадрах видео, которые соединены с генерацией музыки. И методу нужно «воображать» звук, который звучит меж кадрами. Для этого нужна система, которая совмещает для себя и пророчество, и «воображение». Факт того, что мы смогли достигнуть музыки, которая звучит весьма отлично, был сюрпризом.

Эли Шизерман, основной разраб

Источник: Вашингтонский институт

Источник: tproger.ru

Поделиться с друзьями:
Андройд IT
Добавить комментарий