Нейросеть научили переносить движения людей между видеороликами

Американские ученые создали нейросетевой алгоритм, движения людей между двумя видеороликами переносить способный. Для обучения ему нужно предоставить записи человека с целевого видео длиной в несколько мин, новейшее видео после этого ему можно дать, движения из которого алгоритм на целевой ролик перенесет. Статья с описанием технологии опубликована на arXiv.org. Перенос деталей и стиля между изображениями и видеороликами -одна из областей, машинного обучения в которой результат алгоритмов наглядно виден. В частности, широкую известность получил алгоритм пользователя Reddit deepfakes, способный лица на видеороликах подменять.

Кроме этого, совершенные алгоритмы есть и более, которые мимики для создания параметров видеозаписей множество учитывают, которые непросто от значимых отличить. Не смотря на это, как правило разработчики подобных систем концентрируются на переносе только движений частей лица, а не всего тела. Группа исследователей из Университета Калифорнии в Беркли под руководством Алексея Эфроса создали алгоритм, людей между двумя видеороликами движения который так же переносит, но это для всего тела делает. Разработчики не прямой перенос применили, а перенос через промежуточные модели тела. Способ по нескольким причинам такой они выбрали.

Основная из них заключается в том, что довольно непросто такой набор кадров собрать, чтобы каждое рисунок из него в точности отражало движения из исходного видео. Кроме этого, даже при полном совпадении расположений частей тела на кадрах могут присутствовать сильные стилистические различия, переносу мешающие, к примеру, разная одежда.