推荐：使用NSDT场景编辑器助你快速搭建可二次编辑器的3D应用场景
华盛顿大学和Facebook的研究人员最近发表了一篇论文，展示了一种基于深度学习的系统，可以将静止图像和绘画转换为动画。称为照片唤醒的算法使用卷积神经网络从单个静止图像以 3D 形式对人或角色进行动画处理。
“我们的方法适用于各种各样的全身，相当正面的照片，从体育照片到艺术和海报，”研究人员在他们的论文中说。“此外，用户还可以编辑图像中的人体，在3D中查看重建，并在AR中探索它。
为了展示算法的力量，该团队使用了涂鸦，卡通人物，NBA球星斯蒂芬库里和毕加索绘画的图像。
这项工作的关键是一种独特的方法，它允许研究人员更紧密地扭曲静止图像中人物的2D切口，使算法能够生成与图像中的角色相匹配的逼真的3D动画网格。
使用NVIDIA TITAN GPU和cuDNN加速的PyTorch深度学习框架，研究人员将他们的软件基于一个名为SMPL的预训练模型，该模型最初由Microsoft和德国马克斯普朗克智能系统研究所的一个团队开发。
方法概述。给定一张照片，使用现成的算法执行人员检测、2D 姿势估计和人员分割。然后，将 SMPL 模板模型拟合到 2D 姿势中，并作为法线贴图和蒙皮贴图投影到图像中。我们系统的核心是：找到人的轮廓和SMPL轮廓之间的映射，将SMPL法线/蒙皮贴图扭曲到输出，并通过集成扭曲的法线贴图来构建深度图。重复此过程以模拟模型的后视图，并结合深度和蒙皮贴图以创建完整的绑定 3D 网格。网格被进一步纹理化，并使用彩绘背景上的动作捕捉序列进行动画处理。