InstantID

InstantID 是一种基于扩散模型的图像生成技术，专注于实现零次（zero-shot）身份保留（Identity-Preserving）的个性化图像合成。该技术允许用户仅使用一张面部图像，在多种风格中生成个性化的图像，同时确保高保真度。InstantID 的设计旨在解决现有个性化图像合成方法在实际应用中的一些限制，例如高存储需求、漫长的微调过程以及需要多张参考图像。 InstantID 包含了三个关键组成部分：ID 嵌入、图像适配器和 IdentityNet。首先，InstantID 使用一个预训练的面部模型来提取参考面部图像的身份嵌入，包含了丰富的语义信息，如身份、年龄和性别等。其次，它引入了一个轻量级的图像适配器，使用解耦的交叉注意力机制来支持图像作为视觉提示。最后，一个专门设计的 IdentityNet 编码参考面部图像的详细特征，并结合额外的空间控制。在生成图像时，InstantID 首先使用 ID 嵌入作为条件，然后通过图像适配器和 IdentityNet 的引导，将这些条件传递给扩散模型，扩散模型随后在这些条件下生成图像。