所有文章
> 当前分类:AI驱动
LLM之RAG实战（三十）| 探索RAG语义分块策略
2024/12/14
在LLM之RAG实战（二十九）| 探索RAG PDF解析解析文档后，我们可以获得结构化或半结构化的数据。现在的主要任务是将它们分解成更小的块来提取详细的特征，然后嵌入这些特征来表示它们的语义，其在RAG中的位置如图1所示： ...
LLM之RAG实战（二十四）| LlamaIndex高级检索（三）：句子窗口检索
【AI驱动】
这是本系列关于高级检索技术的第三篇文章，之前的两篇分别介绍构建基本的RAG和父文档检索技术，本文我们将深入研究句子窗口检索技术。我将介绍如何设置它，并使用TruEval来测量其性能，并将其性能与我们在前几篇文章中介绍的其他技术进行比较。 ...
2024/12/14
LLM之RAG实战（二十二）| LlamaIndex 高级搜索（一）构建完整的基本 RAG 框架（包括 RAG 评估）
【AI驱动】
在RAG（retrieval Augmented Generation，检索增强生成）系统中，检索到文本的质量对大型语言模型生成响应的质量是非常重要的。检索到的与回答用户查询相关的文本质量越高，你的答案就越有根据和相关性，也更容易防止LLM...
2024/12/14
LLM之RAG实战（三十五）| 使用LangChain的3种query扩展来优化RAG
【AI驱动】
RAG有时无法从矢量数据库中检索到正确的文档。比如我们问如下问题： 从1980年到1990年，国际象棋的规则是什么？ RAG在矢量数据库中进行相似性搜索，来查询与国际象棋规则问题相关的相关文档。然而，在某些情况下...
2024/12/14
LLM之RAG实战（三十九）| 高级RAG技术全面解析
【AI驱动】
一、高级RAG概述 基本 RAG 的工作流程可分为三个步骤：索引、检索和生成。在索引阶段，文本被转换为嵌入，然后存储在向量数据库中以创建可搜索的索引。在检索步骤中，用户的查询也被转...
2024/12/14
LLM之RAG实战（三十七）| 高级RAG从理论到LlamaIndex实现
【AI驱动】
论文《Retrieval-Augmented Generation for Large Language Models: A Survey》对检索增强生成（RAG）总结了如下三种方式： Naive RAG 高级RAG 模...
2024/12/14
LLM之RAG实战（三十一）| 探索RAG重排序
【AI驱动】
重新排序在检索增强生成（RAG）过程中起着至关重要的作用。在naive RAG方法中，可以检索大量上下文，但并非所有上下文都与问题相关。重新排序允许对文档进行重新排序和过滤，将相关文档放在最前面，从而提高RAG的有效性。 ...
2024/12/14
LLM之RAG实战（三十六）| 使用LangChain实现多模态RAG
【AI驱动】
我们之前介绍的RAG，更多的是使用输入text来查询相关文档。在某些情况下，信息可以出现在图像或者表格中，然而，之前的RAG则无法检测到其中的内容。 针对上述情况，我们可以使用多模态大模型来解决，比如GPT-4-Visio...
2024/12/14
LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践
【AI驱动】
本文，我们将研究高级RAG方法的中的重排序优化方法以及其与普通RAG相比的关键差异。 一、什么是RAG？ 检索增强生成（RAG）是一种复杂的自然语言处理方法，它包括两个不同的步骤：信息检...
2024/12/14
LLM之RAG实战（三十三）| 探索RAG在Table的应用
【AI驱动】
实现RAG是一个挑战，尤其是在有效解析和理解非结构化文档中的表格时，对于扫描的文档或图像格式的文档来说尤其困难。这些挑战至少有三个方面： 扫描文档或图像文档的复杂性，如其多元化的结构、非文本元素以及手写和打印内容的组合，这给...
2024/12/14
LLM之RAG实战（四十）| 使用LangChain SQL Agent和MySQL搭建多层RAG ChatBot
【AI驱动】
在传统的意义上，RAG 主要是从文档中检索用户想要的数据，从而提高大模型的能力，减少幻觉问题。今天，我们从另一个维度介绍RAG，RAG不从文档中获取数据，而是从MySQL数据库检索数据。我们可以使用LangChain SQL A...
2024/12/14
LLM之RAG实战（二十八）| 探索RAG query重写
【AI驱动】
在检索增强生成（RAG）中，我们经常遇到用户原始查询的问题，如措辞不准确或缺乏语义信息，比如“The NBA champion of 2020 is the Los Angeles Lakers! Tell me what is langc...
2024/12/14
LLM之RAG实战（二十三）| LlamaIndex高级检索（二）：父文档检索
【AI驱动】
在本文，我们将深入探讨一下从小到大检索技术中的父文档检索。 一、块引用：较小的子块引用较大的父块 为了让您快速回顾一下什么是父文档检...
2024/12/14
LLM之RAG实战（二十七）| 如何评估RAG系统
【AI驱动】
有没有想过今天的一些应用程序是如何看起来几乎神奇地智能的？这种魔力很大一部分来自于一种叫做RAG和LLM的东西。把RAG（Retrieval Augmented Generation）想象成人工智能世界里聪明的书呆子，它会挖掘大量信息，准...
2024/12/14
LLM之RAG实战（三十二）| 使用RAGAs和LlamaIndex评估RAG
【AI驱动】
在之前的文章中，我们介绍了RAG的基本流程和各种优化方法（query重写，语义分块策略以及重排序等）。那么，如果发现现有的RAG不够有效，该如何评估RAG系统的有效性呢？ 在本文中，我们将介绍RAG评估框架RAGAs[1]，并...
2024/12/14
LLM之RAG实战（三十四）| 使用LangChain的三个函数来优化RAG
【AI驱动】
检索增强生成（RAG）通常与大型语言模型（LLM）一起使用，是一种使用外部知识并减少LLM幻觉的方法。然而，基本RAG有时候并不总是有很好的效果的，有可能从向量数据库中检索出与用户提示不相关的文档，导致LLM无法总结出正确的答案。 本...
2024/12/14
搜索文章
热门话题
文章精选
