本文介绍了 DeepSeek Janus 系列模型，这是一组开源的多模态人工智能模型，旨在统一多模态理解与生成任务。DeepSeek Janus 通过分离视觉编码路径，分别针对多模态理解任务和视觉生成任务优化视觉编码器，解决了传统模型中视觉编码器在不同任务间角色冲突的问题。这种创新设计不仅提高了模型的灵活性，还在多个基准测试中取得了优异的性能表现，甚至在某些指标上超越了 OpenAI DALL-E 3 等知名模型。 DeepSeek Janus 的架构基于 DeepSeek-LLM-1.3B 和 DeepSeek-LLM-7B，使用 SigLIP-L 作为视觉编码器，支持 384×384 的图像输入。模型通过独立的适配器将视觉特征映射到语言模型的输入空间，然后通过统一的自回归变换器进行处理。这种设计使得模型在处理多模态任务时更加灵活，并且可以轻松扩展到其他模态，例如点云、EEG 信号或音频数据。 此外，DeepSeek 还发布了 JanusFlow，这是一个结合了自回归语言模型和流修正（Rectified Flow）的新型多模态模型。JanusFlow 通过在大语言模型框架内直接训练流修正，无需复杂的架构修改，显著提升了多模态任务的性能，尤其是在图像生成方面，能够生成更高质量的图像。 DeepSeek Janus 系列模型的发布，标志着多模态人工智能领域的一个重要进步。这些模型不仅为研究人员和开发者提供了强大的开源工具，还为未来多模态模型的发展提供了新的方向。