Реалистичная анимация от Champ

Реалистичная анимация от Champ Китайские разработчики выпустили нейронку, оживляющую любое изображение. На вход подаётся собственно картинка и пример из библиотеки движений. В подходе комбинируются параметрическая 3D-модель и диффузионная нейросеть. 🚩 SMPL (Skinned Multi-Person Linear) создаёт 3D-форму и позу человеческого тела по референсной картинке, а также формирует карту глубины картинки. Normal maps моделируют неровности на объекте; semantic maps отвечают за сегментацию. 🚩 Всё это вместе со схемой “скелета” персоны передаётся в диффузионную модель, совмещающую 3D-представление о человеке с нужным движением. Согласно бенчмаркам, Champ удаётся генерировать высококачественные анимации, сохраняя нужную позу и форму тела лучше аналогов. Модель хорошо генерализуется, в том числе на реальные данные.