产品信息:VideoSwap 是一款由新加坡国立大学和 Meta 研究团队合作开发的视频编辑模型,支持在不改变视频背景、运动轨迹的前提下替换掉视频主体。
产品功能:在 VideoSwap 的帮助下,用户仅需一张图片就能替换掉一段动态视频的主角。比如将转头的小猫换成小狗,疾驰的 SUV 换成超跑等。
VideoSwap 的原理是通过使用少量语义点来对齐物体的运动轨迹并改变主体形状,再利用图像扩散模型将视频运动层集成,以确保视频生成结果的时间一致性。
研究团队表示,VideoSwap 通过大量测试,最终取得了 SOTA(State of the arts)成绩,成为目前最好的视频变换模型。