PiT：基于视觉零件的图像生成框架

PiT：把图像碎片“拼”成完整杰作的神奇框架

家人们，今天必须给大家介绍一个超酷的图像生成框架——PiT（Piece - it - Together），它就像一个超级厉害的图像设计师，能把零碎的图像“拼”成一幅完整又惊艳的作品。

什么是PiT？

简单来说，PiT是一个基于视觉零件的图像生成框架。你给它随机输入几个图像的“部分”，它就能自动帮你“脑补”并生成一个完整、连贯、符合语义和风格的新图像。就好比你给它一张翅膀、一撮头发、一只眼睛，它就能像变魔术一样“拼”出一个完整的角色图像，就像设计师自动把灵感“拼”成了一幅完整作品。

PiT的独特之处

• 不靠文字靠碎片：和很多依赖文字提示来生成图像的模型不同，PiT直接用图片碎片做输入。这就好比一个艺术家拿到几张参考图，就能自己“拼”出一整套设计，完全不需要文字去描述，直接通过图像碎片就能理解你想要的效果。
• 有意义地拼接碎片：PiT训练了一个专门的模型，能让这些图片碎片“有意义地拼起来”。它可不是简单地把碎片堆在一起，而是会分析碎片之间的关系，生成一个完整又合理的新图像。就像搭积木一样，不是随便乱搭，而是按照一定的规则和逻辑搭出一个漂亮的造型。
• 风格随心变：PiT还能控制生成图像的风格。比如说，你想让生成的角色“变可爱”或者“变肌肉男”，它都能轻松做到。这就好比一个设计师可以根据你的要求，把作品设计成不同的风格，满足你多样化的需求。
• 理解简单草图：就算你输入的是简单的草图，PiT也能理解你的意思并生成图像。这就好比一个画家，即使你只是在纸上随便画了几笔，他也能看出你的意图，然后把它变成一幅精美的画作。

背后的技术原理

IP - Prior架构

给定一个输入图像，PiT会先提取其语义组件，采样一个子集，然后使用冻结的IP - Adapter + 将每个图像块编码到IP + 空间中。接着，图像嵌入会通过IP - Prior模型一起传递。IP - Prior模型会输出一个干净的图像嵌入，这个嵌入捕获了预期的概念，最后使用SDXL从中生成概念图像。在推理时，用户可以提供不同数量的对象部分图像来生成与学习分布一致的新概念。

IP + 空间的优势

CLIP空间虽然适合语义操作，但在保存复杂概念方面能力有限，会导致细节丢失。这是因为CLIP从未接受过重建图像的训练，而是学习文本和图像的联合表示空间。而IP + 空间是IP - Adapter + 的内部表示，使用这个空间不仅可以改进重建，还能保留执行语义操作的能力，是视觉概念的有效表示。

IP + 空间中的语义操控

把输入图像编码到不同的嵌入空间中，通过遍历每个空间来修改其潜在表示，再用SDXL渲染编辑后的图像。实验表明，CLIP很难重建概念并遵循所需的编辑，而在IP + 空间中，渲染的图像在整个范围内都忠实于概念和所需的编辑。

使用IP - LoRA恢复文本一致性

IP - Adapter + 支持通过SDXL渲染生成的概念，但文本一致性通常存在问题。为了解决这个问题，通过配对示例对LoRA适配器进行微调，其中条件图像具有干净的背景，而目标图像将对象放置在使用文本提示描述的场景中。这种轻量级训练（仅使用50个提示）可有效恢复文本控制，同时保持视觉保真度。

风格化生成

当以相同的概念嵌入输入为条件时，可以使用相同的调整机制来强制SDXL模型的输出采用特定的风格。

生成效果展示

多重先验

给定单个输入部分，在不同的学习到的IP - Prior模型中生成概念，能突出显示每个模型如何根据其学习到的分布自然地解释和调整该部分。

单输入

PiT使用单个输入部分生成的概念，展示了生成结果的变化。

总之小编认为，PiT就像一个拥有无限创意和想象力的图像艺术家，它能把你的图像碎片变成一幅幅令人惊叹的完整作品。无论是设计师寻找灵感，还是普通人想创造独特的图像，PiT都能满足你的需求。怎么样，是不是觉得超厉害？赶紧来体验一下吧！