阿里巴巴提出Animate Anybody方法，效果优于现行图像转视频方法。角色动画（Character Animation）是将源角色图像按照所需的姿态序列动画化为逼真视频的任务，具有许多潜在的应用，例如在线零售、娱乐视频、艺术创作和虚拟角色等。从GAN开始，研究者一直在不断深入了解将图像进行动画化以及进行姿态迁移的探索，然而，生成的图像或视频仍然存在局部失真、细节模糊、语义不一致和时间不稳定等问题，从而阻碍了这些方法的应用。近日，阿里巴巴的研究团队提出了一种名为Animate Anybody的方法，能够将角色图像转换为动画视频，而形成的视频遵循所要求的姿态序列。该研究继承了StableDiffusion的网络设计和预训练权重，并修改了去噪UNet以适应多帧输入。目前，许多研究都提出了基于大规模训练数据、具有强大生成能力的视频扩散模型。阿里的研究者选择了两种最著名、最有效的图像转视频方法进行比较：AnimateDiff和Gen2。由于这两种方法不进行姿态控制，因此研究者只比较了它们保持参考图像外观保真度的能力。研究发现，当前的图像转视频方法在生成大量角色动作方面面临挑战，并且难以在视频中保持长期的外观一致性，从而阻碍了对一致角色动画的有效支持。而Animate Anybody可以制作任意角色的动画，包括全身人像、半身人像、卡通人物和仿人角色。该方法能够生成高清晰度和逼真的人物细节。即使在大幅度运动的情况下，它也能与参考图像保持时间上的一致性，并在帧与帧之间表现出时间上的连续性。
　　Animate Anybody可以运用在时尚领域，为2B落地奠定基础。时尚视频合成方面，该方法的目的是利用驱动姿态序列将时尚照片转化为逼真的动画视频。实验在UBC时尚视频数据集上进行，该数据集由500个训练视频和100个测试视频组成，每个视频包含约350个帧。研究发现，Animate Anybody优于其他方法，尤其是在视频度量指标方面表现出明显的领先优势。此外，为了进行公平比较，阿里的研究者使用DreamPose的开源代码获得了未进行样本微调的结果。在时尚视频领域，对服装细节的要求非常严格。然而，DreamPose和BDMM生成的视频无法保持服装细节的一致性，并在颜色和精细结构元素方面表现出明显的误差。相比之下，Animate Anybody生成的结果能更有效保持服装细节的一致性。我们认为，Animate Anybody整体技术实力领先，并且该技术能用于时尚领域，为其在2B的落地奠定了基础。
　　微软推出GAIA，实现单图生成虚拟视频。会说话的虚拟人物生成旨在根据语音合成自然视频，生成的嘴型、表情和头部姿势应与语音内容一致。以往的研究通过实施特定虚拟人物训练（即为每个虚拟人物训练或调整特定模型），或在推理过程中利用模板视频实现了高质量的结果。最近，人们致力于设计和改进零样本会说话的虚拟人物的生成方法（即仅有一张目标虚拟人物的肖像图片可以用于外貌参考）。不过，这些方法通过采用基于warping的运动表示、3DMorphable Model等领域先验来降低任务难度。这些启发式方法虽然有效，但却阻碍了从数据分布中直接学习，并可能导致不自然的结果和有限的多样性。近日，微软的研究团队提出了Generative AI for Avatar（GAIA）方法，其能够从语音和单张肖像图片合成自然的会说话的虚拟人物视频，在生成过程中消除了领域先验。研究人员将GAIA与三个强大的基准方法FOMM、HeadGAN和Face-vid2vid进行比较，发现GAIA中的VAE比以前的视频驱动基线实现了持续的改进，这说明GAIA成功地分解了外貌和运动表示。语音驱动方面，微软将GAIA与MakeItTalk、Audio2Head和SadTalker方法进行定量和定性比较，GAIA在主观评价方面大幅超越了所有基准。更具体地说，即使参考图像是闭着眼睛或拥有不寻常的头部姿态的，基准方法的生成往往高度依赖于参考图像，相比之下，GAIA对各种参考图像具有鲁棒性，并生成具有更高自然度、口型高度同步、视觉质量更好以及运动多样性的结果。我们认为，类似于GAIA、AnimateAnybody之类的图转视频的方法不断涌现，未来AI应用场景有望持续扩展。
　　风险提示：AI技术发展不及预期，AI商业落地不及预期。