Meta将Transformer和Diffusion融合，推出了Transfusion模型，开创了多模态模型的新时代。该模型通过统一的架构和轻量级特定于模态的组件，实现了文本和图像的无缝处理，克服了传统多模态模型在信息丢失和性能上的限制。Transfusion采用因果注意力和双向注意力机制，保证了高效的信息交流和整合。实验结果显示，Transfusion在多模态任务上表现优异，尤其在生成图像与文本质量和扩展能力上，优于传统方法如DALL-E 2和SDXL，预示着未来多模态研究的潜力。