3 月 22 日,阿里、南京大学、复旦大学团队合作发布基于 3D 的人物图片转视频动画模型 Champ,预训练模型已开源。该方法利用 SMPL 模型作为三维人体参数模型,建立统一的人体形状和姿势表示法。具体来说,作者将从 SMPL 序列中获取的渲染深度图像、法线映射和语义映射与基于骨骼的运动引导结合起来,用全面的三维形状和详细的姿势属性来丰富潜在扩散模型的条件。据悉,该项目成果是基于此前通义千问“全民舞王”底层技术 AnimateAnyone 构建。
项目地址:
https://fudan-generative-vision.github.io/champ/#/
论文地址: