Группа исследователей из Вашингтонского института сделала технологию, восстанавливающую звуки пианино при игре на инструменте в беззвучном видеоролике. Для работы искусственного ума, получившего заглавие Audeo, нужно только наличие видеозаписи играющих на инструменте рук.
Публикация о свежайшем проекте учёных возникла на официальном веб-сайте института. Судя по ней, исследователи не употребляли выработки иных установок и делали модель, которая легла в базу Audeo, с нуля.
Во время тренировки ИИ, систему обучили уделять свое внимание не только лишь на размещение пальцев и их перемещение по кнопкам, но также и на силу нажатия с продолжительностью удержания. Всё это позволило спецам достигнуть 86% точности при распознавании через приложение SoundHound. Для сопоставления, оригинальное видео со звуком достигнуло точности в 93% в том же приложении.
Методу нужно определять «индивидуальности» в кадрах видео, которые соединены с генерацией музыки. И методу нужно «воображать» звук, который звучит меж кадрами. Для этого нужна система, которая совмещает для себя и пророчество, и «воображение». Факт того, что мы смогли достигнуть музыки, которая звучит весьма отлично, был сюрпризом.
Эли Шизерман, основной разраб
Источник: Вашингтонский институт
Источник: