所有文章
> 当前分类:AI驱动
LLM之RAG实战（十九）| 利用LangChain、OpenAI、ChromaDB和Streamlit构建RAG
2024/12/09
生成式人工智能以其创造与上下文相关内容的能力彻底改变了技术，开创了人工智能可能性的新时代。其核心是检索增强生成（RAG），将信息检索与LLM相结合，从外部文档中产生智能、知情的响应。 本文将深入...
LLM之RAG实战（十八）| 使用Query转换来改进RAG效果
【AI驱动】
在本文中，我们将分析查询转换，以及如何使用路由器根据输入提示选择适当的转换。 查询转换背后的想法是，检索器有可能从数据库中检索到与用户初始提示不相关的块。在这些情况下，...
2024/12/09
LLM之RAG实战（十七）| 高级RAG：通过使用LlamaIndex重新排序来提高搜索效率
【AI驱动】
基本RAG的检索是静态的，会检索到固定数字（k）个相关文档，而如果查询需要更多的上下文（例如摘要）或更少的上下文，该怎么办？ 可以通过在以下两个阶段来实现动态检索： 预检索：检索器初步选择...
2024/12/09
LLM之RAG实战（十六）| 使用Llama-2、PgVector和LlamaIndex构建LLM Rag Pipeline
【AI驱动】
近年来，大型语言模型（LLM）取得了显著的进步，然而大模型缺点之一是幻觉问题，即“一本正经的胡说八道”。其中RAG（Retrieval Augmented Generation，检索增强生成）是解决幻觉比较有效的方法。本文，我们将深入研究...
2024/12/09
LLM之RAG实战（十五）| RAG的自动源引文验证技术
【AI驱动】
在过去的一年里，检索增强生成（RAG）已经成为一种基于LLM的流行架构，旨在解决在基于知识的LLM最常见的挑战之一，可怕的幻觉。 一、RAG如何解决幻觉？ RAG Pipeline包括两个关键组件：（1）检索器：选...
2024/12/09
LLM之RAG实战（十四）| 利用LongContextRetriver克服RAG中的中间丢失现象
【AI驱动】
人类和大型语言模型（LLM）都有一个共同的行为模式：他们往往擅长处理位于给定内容开头或结尾的信息，而中间的信息往往会被忽视。 来自斯坦福大学、加州大学伯克利分校和Samaya AI...
2024/12/09
LLM之RAG实战（十三）| 利用MongoDB矢量搜索实现RAG高级检索
【AI驱动】
一、基本RAG 想象一下，有一本和地平线一样宽百科全书。基本的RAG试图将这些丰富的知识提炼成一个单一的“嵌入”——本质上是一个数字。但是，当你在一个特定的主题上寻求智慧时，比如神秘的百慕大三角，基本的RAG的粗笔画会覆...
2024/12/09
LLM之RAG实战（十二）| 在RAG管道中实现上下文压缩和过滤
【AI驱动】
在RAG中可能面临的最大问题之一是检索器应该检索什么内容？ 实际使用中，检索到的上下文并不完全有用，可能检索处理较大的块中只有非常小的一部分与答案相关，还可能对于一个特定的问题需要...
2024/12/09
LLM之RAG实战（十一）| 使用Mistral-7B和Langchain搭建基于PDF文件的聊天机器人
【AI驱动】
在本文中，使用LangChain、HuggingFaceEmbeddings和HuggingFace的Mistral-7B LLM创建一个简单的Python程序，可以从任何pdf文件中回答问题。 一、LangChain简介 &n...
2024/12/09
LLM之RAG实战（八）| 使用Neo4j和LlamaIndex实现多模态RAG
【AI驱动】
人工智能和大型语言模型领域正在迅速发展。一年前，没有人使用LLM来提高生产力。时至今日，很难想象我们大多数人或多或少都在使用LLM提供服务，从个人助手到文生图场景。由于大量的研究和兴趣，LLM每天都在变得越来越好、越来越聪明。不仅如此，他们...
2024/12/09
LLM之RAG实战（六）| 高级RAG 02：选择最佳embedding和重排序模型
【AI驱动】
在构建检索增强生成（RAG）Pipeline时，一个关键组件是Retriever。我们有多种embedding模型可供选择，包括OpenAI、CohereAI和开源sentence transformers。此外，CohereAI和sent...
2024/12/09
LLM之RAG实战（五）| 高级RAG 01：使用小块检索，小块所属的大块喂给LLM，可以提高RAG性能
【AI驱动】
RAG（Retrieval Augmented Generation，检索增强生成）系统从给定的知识库中检索相关信息，从而使其能够生成事实信息、上下文相关信息和特定领域的信息。然而，在有效检索相关信息和生成高质量响应方面，RAG面临着许多...
2024/12/09
LLM之RAG实战（一）：使用Mistral-7b, LangChain, ChromaDB搭建自己的WEB聊天界面
【AI驱动】
一、RAG介绍 如何使用没有被LLM训练过的数据来提高性能？检索增强生成（RAG）是未来的发展方向，下面将解释一下它的含义和实际工作原理。 假设您有自己的数据集，例如来自公...
2024/12/09
LLM推理部署（三）：一个强大的LLM生态系统GPT4All
【AI驱动】
GPT4All，这是一个开放源代码的软件生态系，它让每一个人都可以在常规硬件上训练并运行强大且个性化的大型语言模型（LLM）。Nomic AI是此开源生态系的守护者，他们致力于监控所有贡献，以确保质量、安全和可持续维护性。 ...
2024/12/09
LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM
【AI驱动】
在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展，本文将介绍英伟达(NVIDIA)在TensorRT基础上针对LLM优化所推出的推理加...
2024/12/09
LLM微调（四）| 微调Llama 2实现Text-to-SQL，并使用LlamaIndex在数据库上进行推理
【AI驱动】
Llama 2是开源LLM发展的一个巨大里程碑。最大模型及其经过微调的变体位居Hugging Face Open LLM排行榜（ 一、Llama-2–7B不擅长从文本到SQL 最小的Llama 2模型（7B参数）有...
2024/12/09
搜索文章
热门话题
文章精选
