所有文章
> 当前分类:AI驱动
LLM之RAG实战（三十六）| 使用LangChain实现多模态RAG
2024/12/14
我们之前介绍的RAG，更多的是使用输入text来查询相关文档。在某些情况下，信息可以出现在图像或者表格中，然而，之前的RAG则无法检测到其中的内容。 针对上述情况，我们可以使用多模态大模型来解决，比如GPT-4-Visio...
LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践
【AI驱动】
本文，我们将研究高级RAG方法的中的重排序优化方法以及其与普通RAG相比的关键差异。 一、什么是RAG？ 检索增强生成（RAG）是一种复杂的自然语言处理方法，它包括两个不同的步骤：信息检...
2024/12/14
LLM之RAG实战（三十三）| 探索RAG在Table的应用
【AI驱动】
实现RAG是一个挑战，尤其是在有效解析和理解非结构化文档中的表格时，对于扫描的文档或图像格式的文档来说尤其困难。这些挑战至少有三个方面： 扫描文档或图像文档的复杂性，如其多元化的结构、非文本元素以及手写和打印内容的组合，这给...
2024/12/14
LLM之RAG实战（四十）| 使用LangChain SQL Agent和MySQL搭建多层RAG ChatBot
【AI驱动】
在传统的意义上，RAG 主要是从文档中检索用户想要的数据，从而提高大模型的能力，减少幻觉问题。今天，我们从另一个维度介绍RAG，RAG不从文档中获取数据，而是从MySQL数据库检索数据。我们可以使用LangChain SQL A...
2024/12/14
LLM之RAG实战（二十八）| 探索RAG query重写
【AI驱动】
在检索增强生成（RAG）中，我们经常遇到用户原始查询的问题，如措辞不准确或缺乏语义信息，比如“The NBA champion of 2020 is the Los Angeles Lakers! Tell me what is langc...
2024/12/14
LLM之RAG实战（二十三）| LlamaIndex高级检索（二）：父文档检索
【AI驱动】
在本文，我们将深入探讨一下从小到大检索技术中的父文档检索。 一、块引用：较小的子块引用较大的父块 为了让您快速回顾一下什么是父文档检...
2024/12/14
LLM之RAG实战（二十七）| 如何评估RAG系统
【AI驱动】
有没有想过今天的一些应用程序是如何看起来几乎神奇地智能的？这种魔力很大一部分来自于一种叫做RAG和LLM的东西。把RAG（Retrieval Augmented Generation）想象成人工智能世界里聪明的书呆子，它会挖掘大量信息，准...
2024/12/14
LLM之RAG实战（三十二）| 使用RAGAs和LlamaIndex评估RAG
【AI驱动】
在之前的文章中，我们介绍了RAG的基本流程和各种优化方法（query重写，语义分块策略以及重排序等）。那么，如果发现现有的RAG不够有效，该如何评估RAG系统的有效性呢？ 在本文中，我们将介绍RAG评估框架RAGAs[1]，并...
2024/12/14
LLM之RAG实战（三十四）| 使用LangChain的三个函数来优化RAG
【AI驱动】
检索增强生成（RAG）通常与大型语言模型（LLM）一起使用，是一种使用外部知识并减少LLM幻觉的方法。然而，基本RAG有时候并不总是有很好的效果的，有可能从向量数据库中检索出与用户提示不相关的文档，导致LLM无法总结出正确的答案。 本...
2024/12/14
LLM之RAG实战（四十一）| 使用LLamaIndex和Gemini构建高级搜索引擎
【AI驱动】
Retriever 是 RAG（Retrieval Augmented Generation）管道中最重要的部分。在本文中，我们将使用 LlamaIndex 实现一个结合关键字和向量搜索检索器的自定义检索器，并且使用 Gemini大模型来进...
2024/12/14
LLM之RAG实战（三十八）| RAG分块策略之语义分块
【AI驱动】
在RAG应用中，分块是非常重要的一个环节，常见的分块方法有如下几种： Fixed size chunking Recursive Chunking Document Specific Chunking Seman...
2024/12/14
ChatGPT API 定价（成本）：您需要了解的一切
【AI驱动】
介绍 API 定价对开发者和企业具有重要意义，因为它影响战略决策和资源分配。作为人工智能应用程序开发框架中不可或缺的一部分，定价中的成本价值一致性确保组织和客户能够做出明智的选择，避免意外的财务障碍。对于 ChatGPT API 等基...
2024/12/13
大模型API调用笔记：讯飞星火、通义千问、GPT3.5、GPT4
【AI驱动】
近期在研究一些常见的大语言模型的API怎么调用，让他们批量回答问题，然后把结果导出，也看了一些相关的官方文档。在这个推送中分享最终跑通的调用方法。 需求：有一个问题列表<q.pickle>，需要逐个提问，然后把回答...
2024/12/11
万字解读AI Agent架构体系，API和RPA将成为重点
【AI驱动】
与提示词、微调等大模型应用相比，AI Agent的独特之处在于其不仅能为用户提供咨询，还能直接参与决策与执行环节。ai agent架构能够落地的核心在于。此一进步的核心在于，任务规划这一关键环节被完全委托给了AI大模型。这基于一个前提：AI...
2024/12/11
使用 LangChain 框架进行大模型应用开发 Ⅰ
【AI驱动】
LangChain 是一个用于构建基于语言模型的应用程序的框架。它旨在简化与大型语言模型（如 ChatGPT、LLaMA 等）的交互，并提供一系列工具和组件来帮助开发者快速构建复杂的应用。LangChain 的设计目标是提高开发效率，使得开...
2024/12/11
大模型实战（二）：全民AI？关于如何在本地私有化部署基于大模型的 AI 应用开发平台Dify，并集成Xinference大模型
【AI驱动】
一、关于Dify的介绍 1.1 什么是Dify? Dify是一款开源的大语言模型(LLM) 应用开发平台。项目设立于2023年3月，开源协议是基于 Apache License 2.0 有限商业许可，后端技术为Pytho...
2024/12/11
搜索文章
热门话题
