阿里达摩院发表AnyText，解决文生图中文字生成模糊、错误问题

方法

AnyText框架包括文本控制扩散流水线和两个主要组件（辅助潜在模块和文本嵌入模块）。训练目标由文本控制扩散损失和文本感知损失组成，通过调整权重比例λ来平衡两个损失函数。接下来的章节将详细介绍文本控制扩散流水线、辅助潜在模块、文本嵌入模块和文本感知损失。

文本控制扩散管道

文本控制扩散管道的工作原理，通过变分自编码器生成潜在表示，然后逐步添加噪声产生噪声潜在图像。通过条件包括时间步长、辅助特征和文本嵌入，应用网络预测噪声，以控制文本生成。通过模块化绑定，可以生成各种基本模型。

辅助潜在模块

AnyText使用三种辅助条件来生成潜在特征图z a：字形l g，位置l p和掩码图像l m。通过在图像上根据位置渲染字符，可以简化字符在曲线或不规则区域的准确渲染过程。通过引入专门的位置l p，我们仍然可以在非矩形区域生成文本。位置l p是通过在图像上标记文本位置来生成的。在训练阶段，文本位置可以通过OCR检测或手动注释获得。在推理阶段，l p是从用户的输入中获得的，用户可以指定所需的文本生成区域。

此外，位置信息可以使文本感知损失精确地定位到文本区域。最后一个辅助信息是掩码图像l m，它指示在扩散过程中应该保留图像中的哪个区域。在文本到图像模式下，l m被设置为完全掩码，而在文本编辑模式下，l m被设置为掩盖文本区域。

在训练过程中，文本编辑模式的比例会以概率σ随机切换。为了将基于图像的条件纳入其中，我们使用字形块和位置块来下采样字形l g和位置l p，使用VAE编码器ε来下采样掩码图像l m。字形块G和位置块P都包含几个堆叠的卷积层。将这些基于图像的条件转换为与z t的空间大小匹配的特征图后，我们使用卷积融合层f将l g，l p和l m合并，得到生成的特征图z a。

文本嵌入模块

文本编码器在提取标题的语义信息方面表现出色，但要渲染的文本的语义信息微不足道。此外，大多数预训练的文本编码器都是在拉丁语为基础的数据上进行训练的，对其他语言的理解能力较差。在AnyText中，我们提出了一种解决多语言文本生成问题的新方法。具体而言，我们将字形线条渲染成图像，编码字形信息，并从标题标记中替换它们的嵌入。文本嵌入不是逐个字符学习的，而是利用预训练的视觉模型，特别是PP-OCRv3 Li等人（2022）的识别模型。

然后，替换的嵌入被馈送到基于变压器的文本编码器中作为标记，以获得融合的中间表示，然后使用交叉注意机制将其映射到UNet的中间层。由于使用图像渲染而不仅仅依赖于特定语言的文本编码器，我们的方法显著增强了多语言文本的生成，如图4所示。接下来，我们详细解释文本嵌入模块。将结合文本字形和标题语义信息的表示c_te定义为

其中y’是经过处理的输入标题y，其中要生成的每个文本行（用双引号括起来）被替换为特殊占位符S*。然后通过标记化和嵌入查找（表示为ϕ(·)），获得标题嵌入。然后，将每个文本行渲染到图像上，表示为e_g。请注意，e_g仅通过将单个文本行渲染到图像中心来生成，而第3.2节中的l_g是通过将所有文本行渲染到单个图像上的位置来生成的。然后，将图像e_g馈入OCR识别模型γ_θ以提取最后一个全连接层之前的特征作为文本嵌入，然后应用线性变换ξ以确保其大小与标题嵌入匹配，并将其替换为S*的嵌入。最后，使用CLIP文本编码器τ_θ对所有标记嵌入进行编码。

文本感知损失

本文提出了一种文本感知损失来进一步提高文本生成的准确性。该方法通过将时间步t和噪声潜在图像z_t结合起来预测z_0，并利用VAE解码器获得原始输入图像的近似重构。通过将潜在空间转换为图像空间，可以在像素级别进一步监督文本生成。该方法利用位置条件l_p精确定位生成文本的区域，并使用PP-OCRv3模型作为图像编码器。通过处理原始图像x_0和预测图像x’_0，可以获得用于OCR模型的输入图像p_g和p’_g。

通过MSE惩罚，可以尝试在所有文本区域中最小化预测图像和原始图像之间的差异。时间步t与预测图像x’_0中的文本质量有关，需要设计一个权重调整函数φ(t)。将φ(t)设置为α¯t是一个不错的选择，其中α¯t是Ho等人介绍的扩散过程系数。