中文命名实体识别（Named Entity Recognition, NER）初探
深入探索 DeepSeek Janus Pro：本地部署与应用实践
2025-02-05
DeepSeek Janus Pro 作为一款强大的多模态理解与生成框架，正在成为研究人员和开发者的热门选择。本文将详细介绍如何在本地环境中设置和使用 DeepSeek Janus Pro，以及它在多模态任务中的强大功能。
一、DeepSeek Janus Pro 简介
DeepSeek Janus Pro 是基于 DeepSeek 团队开发的 Janus 系列模型的高级版本，旨在统一多模态理解与生成任务。Janus 系列模型通过解耦视觉编码路径，解决了传统多模态模型在理解与生成任务中的冲突问题，同时保持了单个统一的 Transformer 架构。这种创新的设计不仅提高了模型的灵活性，还在多个标准基准测试中超越了专门的任务模型。
二、本地部署 DeepSeek Janus Pro
（一）环境准备
在开始之前，确保你的本地开发环境满足以下要求：
- 操作系统：推荐使用 Linux 或 macOS，Windows 用户可以通过 WSL（Windows Subsystem for Linux）进行配置。
- Python 环境：需要安装 Python 3.8 或更高版本。
- Docker：用于构建和运行模型的容器化环境。
（二）构建 Docker 镜像
DeepSeek Janus Pro 提供了详细的 Docker 镜像构建指南。你可以通过以下步骤在本地构建镜像：
- 克隆项目代码
git clone https://github.com/deepseek-ai/Janus.git
cd Janus- 构建 Docker 镜像
docker build -t deepseek-janus-pro .- 运行 Docker 容器：
docker run -p 8000:8000 deepseek-janus-pro通过上述步骤，你可以在本地运行 DeepSeek Janus Pro 的 Web 应用程序，并通过浏览器访问 http://localhost:8000 来体验其功能。
三、使用 DeepSeek Janus Pro 进行多模态任务
（一）多模态理解
DeepSeek Janus Pro 在多模态理解任务中表现出色，能够处理图像、文本等多种输入形式。以下是一个简单的多模态理解示例：
import torch
from transformers import AutoModelForCausalLM
from janus.models import MultiModalityCausalLM, VLChatProcessor
from janus.utils.io import load_pil_images
# 加载模型和处理器
model_path = "deepseek-ai/Janus-1.3B"
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer
vl_gpt = MultiModalityCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()
# 准备输入
conversation = [
{
"role": "User",
"content": "<image_placeholder>\nConvert the formula into latex code.",
"images": ["images/equation.png"],
},
{"role": "Assistant", "content": ""},
]
pil_images = load_pil_images(conversation)
prepare_inputs = vl_chat_processor(conversations=conversation, images=pil_images, force_batchify=True).to(vl_gpt.device)
# 运行模型
inputs_embeds = vl_gpt.prepare_inputs_embeds(**prepare_inputs)
outputs = vl_gpt.language_model.generate(
inputs_embeds=inputs_embeds,
attention_mask=prepare_inputs.attention_mask,
pad_token_id=tokenizer.eos_token_id,
bos_token_id=tokenizer.bos_token_id,
eos_token_id=tokenizer.eos_token_id,
max_new_tokens=512,
do_sample=False,
use_cache=True,
)
answer = tokenizer.decode(outputs[0].cpu().tolist(), skip_special_tokens=True)
print(f"{prepare_inputs['sft_format'][0]}", answer)（二）文本到图像生成
DeepSeek Janus Pro 还支持强大的文本到图像生成功能。以下是一个示例代码：
import os
import PIL.Image
import torch
import numpy as np
from janus.models import MultiModalityCausalLM, VLChatProcessor
# 加载模型和处理器
model_path = "deepseek-ai/Janus-1.3B"
vl_chat_processor = VLChatProcessor.from_pretrained(model_path)
tokenizer = vl_chat_processor.tokenizer
vl_gpt = MultiModalityCausalLM.from_pretrained(model_path, trust_remote_code=True)
vl_gpt = vl_gpt.to(torch.bfloat16).cuda().eval()
# 准备输入
conversation = [
{
"role": "User",
"content": "A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair",
},
{"role": "Assistant", "content": ""},
]
# 定义生成函数
@torch.inference_mode()
def generate(
mmgpt, vl_chat_processor, prompt, temperature=1, parallel_size=16, cfg_weight=5, image_token_num_per_image=576, img_size=384, patch_size=16
):
input_ids = vl_chat_processor.tokenizer.encode(prompt)
input_ids = torch.LongTensor(input_ids)
tokens = torch.zeros((parallel_size * 2, len(input_ids)), dtype=torch.int).cuda()
for i in range(parallel_size * 2):
tokens[i, :] = input_ids
if i % 2 != 0:
tokens[i, 1:-1] = vl_chat_processor.pad_id
inputs_embeds = mmgpt.language_model.get_input_embeddings()(tokens)
generated_tokens = torch.zeros((parallel_size, image_token_num_per_image), dtype=torch.int).cuda()
for i in range(image_token_num_per_image):
outputs = mmgpt.language_model.model(inputs_embeds=inputs_embeds, use_cache=True, past_key_values=outputs.past_key_values if i != 0 else None)
hidden_states = outputs.last_hidden_state
logits = mmgpt.gen_head(hidden_states[:, -1, :])
logit_cond = logits[0::2, :]
logit_uncond = logits[1::2, :]
logits = logit_uncond + cfg_weight * (logit_cond - logit_uncond)
probs = torch.softmax(logits / temperature, dim=-1)
next_token = torch.multinomial(probs, num_samples=1)
generated_tokens[:, i] = next_token.squeeze(dim=-1)
next_token = torch.cat([next_token.unsqueeze(dim=1), next_token.unsqueeze(dim=1)], dim=1).view(-1)
img_embeds = mmgpt.prepare_gen_img_embeds(next_token)
inputs_embeds = img_embeds.unsqueeze(dim=1)
dec = mmgpt.gen_vision_model.decode_code(generated_tokens.to(dtype=torch.int), shape=[parallel_size, 8, img_size // patch_size, img_size // patch_size])
dec = dec.to(torch.float32).cpu().numpy().transpose(0, 2, 3, 1)
dec = np.clip((dec + 1) / 2 * 255, 0, 255)
visual_img = np.zeros((parallel_size, img_size, img_size, 3), dtype=np.uint8)
visual_img[:, :, :] = dec
os.makedirs('generated_samples', exist_ok=True)
for i in range(parallel_size):
save_path = os.path.join('generated_samples', "img_{}.jpg".format(i))
PIL.Image.fromarray(visual_img[i]).save(save_path)
# 调用生成函数
generate(vl_gpt, vl_chat_processor, prompt="A stunning princess from kabul in red, white traditional clothing, blue eyes, brown hair")
四、DeepSeek Janus Pro 的优势
（一）灵活性与扩展性
DeepSeek Janus Pro 的架构设计允许开发者根据具体需求进行定制和扩展。无论是多模态理解还是生成任务，它都能提供强大的支持。此外，其开源特性使得社区可以共同推动模型的进一步发展。
（二）高性能与效率
通过解耦视觉编码路径，DeepSeek Janus Pro 在多模态任务中表现出色，能够高效处理复杂的输入数据。其优化的 Transformer 架构确保了模型在大规模数据上的高效训练和推理。
（三）丰富的应用场景
DeepSeek Janus Pro 可以应用于多种场景，包括但不限于：
- 内容创作：生成高质量的图像和文本内容。
- 智能客服：理解用户输入并提供准确的反馈。
- 教育领域：辅助教学，生成教学材料。
五、总结
DeepSeek Janus Pro 是一个多模态理解与生成的强大工具，它通过创新的架构设计和高效的实现方式，为开发者提供了强大的功能支持。通过本文的介绍，你可以在本地环境中快速部署和使用 DeepSeek Janus Pro，并探索其在多模态任务中的应用。无论是学术研究还是商业应用，DeepSeek Janus Pro 都是一个值得尝试的选择。
如果你对 DeepSeek Janus Pro 有任何疑问或需要进一步的帮助，可以通过 DeepSeek 官方网站 或 GitHub 项目页面 获取更多信息。
同话题下的热门内容
