所有文章
> 当前分类:AI驱动

扩散模型实战(十三):ControlNet结构以及训练过程
2024/12/09
经过前面的学习,我们已经可以熟练的使用文本Prompt来生成一副精美的图片了。通常来说,文本Prompt准确性越高,描述越丰富,生成的图像越符合用户的预期,然而,有些事物很难通过文本Prompt来指导Stable Diffusion模...

扩散模型实战(十二):使用调度器DDIM反转来优化图像编辑
【AI驱动】
一、配置环境 # !pip install -q transformers diffusers accelerate import torch import requests import torch.nn as nn i...
2024/12/09

扩散模型实战(十):Stable Diffusion文本条件生成图像大模型
【AI驱动】
在AIGC时代,Stable Diffusion无疑是其中最亮的“仔”,它是一个强大的文本条件隐式扩散模型(text-conditioned latent diffusion model),可以根据文字描述(也称为Prompt)生成精美图片...
2024/12/09

扩散模型实战(九):使用CLIP模型引导和控制扩散模型
【AI驱动】
上篇文章中介绍了如何微调扩散模型,有时候微调的效果仍然不能满足需求,比如图片编辑,3D模型输出等都需要对生成的内容进行控制,本文将初步探索一下如何控制扩散模型的输出。 我们将使用在LSUM bedrooms数据集上训练并在WikiAr...
2024/12/09

扩散模型实战(八):微调扩散模型
【AI驱动】
微调在LLM中并不是新鲜的概念,从头开始训练一个扩散模型需要很长的时间,特别是使用高分辨率图像训练。那么其实我们可以在已经训练好的”去噪“扩散模型基础上使用微调数据集进行二次微调训练。  ...
2024/12/09

扩散模型实战(七):Diffusers蝴蝶图像生成实战
【AI驱动】
在本文中,我们以生成绚丽多彩的蝴蝶图像为例,学习Diffusers库相关知识,并学会训练自己的扩散模型。 一、环境准备工作 1.1 安装Diffusers库 %pip install -qq -U diffusers...
2024/12/09

扩散模型实战(五):采样过程
【AI驱动】
在扩散模型实战(四):从零构建扩散模型文章中已经介绍了在原始数据集MNIST中添加噪声以及基于基本的UNet网络训练扩散模型,模型已经可以进行预测,但是发现输入数据噪声量很大的时候预测的效果并不好,如下图所示:  ...
2024/12/09

扩散模型实战(四):从零构建扩散模型
【AI驱动】
本文以MNIST数据集为例,从零构建扩散模型,具体会涉及到如下知识点: 退化过程(向数据中添加噪声) 构建一个简单的UNet模型 训练扩散模型 采样过程分析 下面介绍具体的实现过程...
2024/12/09

扩散模型实战(三):扩散模型的应用
【AI驱动】
扩散只是一种思想,扩散模型也并非固定的深度网络结构。除此之外,如果将扩散的思想融入其他领域,扩散模型同样可以发挥重要作用。 在实际应用中,扩散模型最常见、最成熟的应用...
2024/12/09

LLM漫谈(四)| ChatDOC:超越ChatPDF性能并支持更多功能的阅读聊天工具
【AI驱动】
在过去的一年里,ChatGPT的兴起催生了许多基于GPT的人工智能工具,其中Chat PDF工具得到了广泛关注。这些工具对知识密集型专业人员来说尤其有价值,大大提高了生产力。随着Chat PDF工具的激增,选择正确的工具变得至关重要。 ...
2024/12/09

LLM漫谈(三)| 使用Chainlit和LangChain构建文档问答的LLM应用程序
【AI驱动】
一、Chainlit介绍 Chainlit是一个开源Python包,旨在彻底改变构建和共享语言模型(LM)应用程序的方式。Chainlit可以创建用户界面(UI),类似于由OpenAI开发的ChatGPT用户界面,Chain...
2024/12/09

FastAPI:高效的Python Web框架的库
【AI驱动】
1. 为啥选FastAPI? 写过Django或Flask的都知道,这俩框架各有各的好。但FastAPI借鉴了它们的优点,还加入了很多现代特性。它基于Python 3.6+的类型提示功能,写代码时编辑器直接就能提示哪里写错了,不用等到...
2024/12/06

LangChain | 一种语言模型驱动应用的开发框架
【AI驱动】
1. LangChain介绍 LangChain 是一个框架,用于开发由语言模型驱动的应用程序,它使基于AI模型工作和应用构建的复杂部分变的更容易。LangChain可以将LLMs与外部数据源链接,也允许LMMs模型间的交互。 ...
2024/12/06

LLM之RAG理论(十二)| RAG和Graph RAG对比
【AI驱动】
最近Graph RAG非常火,它来自微软的一篇论文《From Local to Global: A Graph RAG Approach to Query-Focused Summarization》,论文地址: 和...
2024/12/06

LLM之RAG理论(十一)| 面向生产的RAG应用程序的12种调整策略指南
【AI驱动】
本文对文本RAG涉及到的主要12种关键“超参数”进行简单总结,主要包括摄取阶段(数据清洗、数据分块、embedding模型选择、元数据过滤、多重索引和索引算法)和推理阶段【检索和生成】(查询转换、检索参数、高级检索策略、重排序、大模型和Pr...
2024/12/06

LLM之RAG理论(十)| RAT:一种协同CoT和RAG的 AI 提示策略,助力解决长任务推理和生成
【AI驱动】
论文地址: Github地址: Demo地址: 北京大学、加州大学洛杉矶分校和北京通用人工智能研究院的研究人员探索如何在信息检索的帮助下迭代修改思想链提高大型语言模型在长生成任务中的推理和生成能力,同时极大地减轻幻觉。特...
2024/12/06
搜索文章
热门话题