字节发表Magic-Me，仅需几张图片即可实现特定人物的AI视频生成

简介

在视频生成中，特别是与人相关的场景中，控制对象身份仍然是一个挑战。图2中观察到的失败案例突出了两个基本问题。1)收集的参考图像具有不同的背景，捕捉了同一个人的表情、外观和环境的变化。这种多样性被印在唯一的ID令牌上。因此，在推理过程中，即使使用相同的ID令牌，生成的视频帧也可能显示不同的ID。虽然这在图像上下文中可能不会造成问题，但在视频生成中会出现问题。2)目前的视频生成框架依赖于预训练的运动模块来建立帧间一致性。当ID令牌以不同的信息独立初始化每个帧时，运动模块可能很难生成时间一致的视频帧。

在本文中，主要关注特定ID的自定义，其目标是在保持目标ID的同时，通过不同的运动和场景来实现目标身份的动画。

为解决第一个问题，本文提出一个ID模块，改进了学习到的ID令牌信息与主观ID的对齐。该模块将身份的特定特征学习到几个紧凑的文本标记嵌入中，即扩展ID标记，其使用的参数比SVDiff少约105倍(16KB vs 1.7MB)。

为解决第二个问题，本文提出一种新的3D高斯噪声先验来建立输入帧之间的相关性。它无需训练，并确保了推理阶段初始化的一致性。因此，尽管ID标记可能包含不同的信息，但在去噪过程中，所有帧都倾向于描述一致的ID，从而改善了视频片段。

视频自定义扩散(VCD)，介绍了一种模块化方法来生成特定于身份的视频。优化过程在T2V VCD和V2V VCD两个管道中复用相同的ID模块以保持其一致性。基于Stable Diffusion，这些管道可以使用在推理过程中在同一基础上进行微调的任何特定领域模型。

文本主要贡献如下：

• 提出一种新的框架，视频自定义扩散(VCD)，致力于生成高质量的特定id视频。VCD展示了将IDs与所提供的图像和文本描述进行对齐的实质性改进。
• 提出一种鲁棒的3D高斯噪声先验用于视频帧去噪，增强帧间相关性，从而改善视频一致性。
• 提出两个V2V模块，即Face VCD和Tiled VCD，以将视频放大到更高的分辨率。
• 设计了一种新的训练范式，通过提示到分割来掩盖损失，以减少ID token中的噪声。

文本到视频生成

T2V是生成模型的新应用，比图像生成更具挑战性。视频生成需要高计算成本，需要在多个帧之间保持长期的空间和时间一致性，并且需要根据简短的视频字幕进行条件控制。早期的探索使用GAN和VAE方法生成帧，但这些方法仅适用于低分辨率视频。最新的扩散模型成功地引领了视频生成的新浪潮，MagicVideo和Video LDM等先驱性工作引入了新的条件采样技术。

视频编辑

一些方法可以通过微调模型来改变视频内容，同时保留运动。其他方法则结合可训练的运动动态模块和预训练的稳定扩散模型，进一步实现由文本、姿势/边缘/图像引导的视频合成，而无需使用任何配对的文本-视频数据。最近，一种名为AnimateDiff的方法通过在运动模块的训练中提取合理的运动先验，使现有的个性化文本到图像模型动画化。

图像动画

以前的图像动画主要集中在将静态图像扩展为一系列帧，而没有改变场景或修改角色属性。我们的框架不仅能够动画化给定的帧，还能修改主体的属性和更改背景，所有这些都以合理的动作呈现。

3D高斯噪声先验

为了减轻推理过程中的曝光偏差，我们将无需训练的3D高斯噪声先验应用于现成的运动模块。选择的运动模块将网络扩展到时间维度，将2D卷积和注意力层转换为时间伪3D层，遵循方程2中的训练目标。3D高斯噪声先验通过从多元高斯分布N(0, Σf(γ))中采样来处理由f帧组成的视频。其中，Σf(γ)表示由γ ∈ (0, 1)参数化的协方差矩阵。上述协方差确保了初始化的3D噪声在m-th和n-th帧之间的相同位置上具有γ |m −n|的协方差。超参数γ代表了稳定性和运动幅度之间的权衡关系。较低的γ值会导致具有剧烈运动但不稳定的视频，而较高的γ值会导致更稳定但幅度较小的运动。

ID模块

本文提出了两种方法来改进T2V生成中的身份定制问题。首先，使用扩展ID令牌来与条件编码交互，以更好地保留身份的视觉特征。其次，使用prompt-to-segmentation方法来消除编码的背景噪声，以提高图像文本一致性。这些方法可以提高视频质量并减少参数空间。

Face VCD和Tiled VCD 

Face VCD用于提高视频中人脸的清晰度和分辨率。该方法首先检测和裁剪视频中的人脸区域，并将其拼接成一个以人脸为中心的视频。然后使用VCD进行部分去噪处理，提高人脸的分辨率和清晰度。为了进一步提高视频的分辨率，作者还提出了Tiled VCD方法，将视频分割成4个512×512像素的瓷砖，并使用VCD进行部分去噪处理，以恢复缺失的细节和身份信息。最终，视频被放大到1024×1024像素。

实现细节

训练。ID模块使用Stable Diffusion 1.5进行训练，并在推理过程中使用Realistic Vision。

数据集。从DreamBooth数据集和CustomConcept101以及互联网中精心选择了16个主题，确保了人类、动物和物体的多样化表示。对于每个主题，我们要求GPT-4V在不同的背景下创建25个动画提示。为了评估目的，该模型为每个提示生成4个视频，使用不同的随机种子。这个过程总共产生了1600个视频。

评价指标。从三个角度评估生成的视频。(i)身份对齐：生成的身份的视觉外观应与参考图像中的视觉外观保持一致。利用CLIP-I和DINO计算每对视频帧与参考图像之间的相似度得分。(ii)文本对齐：在CLIP特征空间中计算文本-图像相似性得分。(iii)时间平滑性：通过计算所有连续视频帧对的CLIP和DINO相似性得分来评估生成视频的时间一致性。需要注意的是，时间平滑性不仅受到连续帧之间内容一致性的影响，还受到运动幅度的影响。因此，在比较结果时，建议综合考虑文本对齐、图像对齐和时间平滑性。

基线。由于缺乏特定于身份的T2V方法，本文将ID模块的选择与AnimateDiff的组成和几种特定于身份的定制方法进行了比较，如CustomDiffusion、Textual Inversion和LoRA，这些方法都结合了3D高斯噪声先验。

定量结果

Realistic Vision是一个在Stable Diffusion基础上进行微调的社区开发模型，其生成的图像更加逼真。在表1中，Realistic Vision通常优于SD，因此我们选择它作为基础模型。然而，对于像DreamBooth这样需要对UNet中的所有权重进行微调的模型来说，替换基础模型的权重是不可行的。它的性能通常较差，突显了广泛微调的局限性。

消融分析

本文进行了详细的消融研究，发现3D高斯噪声先验对于视频平滑、图像对齐和CLIP-T得分至关重要。相反，去除提示到分割模块会增加视频平滑度，但会降低CLIP-T和CLIP-I得分。这是因为这种去除会导致令牌中编码的背景噪声，从而破坏文本条件。因此，生成的视频缺乏运动，导致平滑度得分更高。