LLM之LangChain(五)| 使用LangChain Agent分析非结构化数据
LLM之LangChain(五)| 使用LangChain Agent分析非结构化数据
2024/12/04
第一部分:从非结构化数据抽取结构化信息 方法一:create_extract_chain       定义数据抽取的结构,并且使用LangChain创建一个提取链。 from langchain.chains import...
LLM之LangChain(四)| 介绍LangChain 0.1在可观察性、可组合性、流媒体、工具、RAG和代理方面的改进
LLM之LangChain(四)| 介绍LangChain 0.1在可观察性、可组合性、流媒体、工具、RAG和代理方面的改进
【AI驱动】 LangChain是大模型应用中非常火的一个框架,最近发布了LangChain 0.1版本,在以下方面带来显著改进: Observability Composability Streaming Tool Usage...
2024/12/04
LLM之LangChain(三)| LangChain和LlamaIndex与4个任务的比较
LLM之LangChain(三)| LangChain和LlamaIndex与4个任务的比较
【AI驱动】 大模型已经发展一年了,然而大模型的幻觉问题一直令人诟病,其中检索增强生成(RAG)是缓解幻觉比较有效的方式。目前有两个基于LLM的应用框架可以很容易实现RAG Pipeline,分别是LangChain和LlamaIndex,本文将在四个任...
2024/12/04
LLM之LangChain(二)| LangChain中的Agent
LLM之LangChain(二)| LangChain中的Agent
【AI驱动】 在本文中,我们将讨论LangChain中的Agent及其各种类型。但在深入研究Agent之前,让我们先了解一下什么是LangChain和Agent。 一、什么是LangChain?        LangChain是一种功能强大...
2024/12/04
LLM之LangChain(一)| LangChain六大核心模块简要汇总
LLM之LangChain(一)| LangChain六大核心模块简要汇总
【AI驱动】 2023年是LLM(大语言模型)的元年,在这一年底座大模型,微调大模型,部署大模型并驾齐驱,发展的如火如荼。然而,目前的大模型并非完美,上下文窗口有限,幻觉问题等等问题,而各大厂商的大模型的API接口、数据格式和工具难以统一,而像LangC...
2024/12/04
LLM之Agent(五)| AgentTuning:清华大学与智谱AI提出AgentTuning提高大语言模型Agent能力
LLM之Agent(五)| AgentTuning:清华大学与智谱AI提出AgentTuning提高大语言模型Agent能力
【AI驱动】 论文地址: Github地址:       在ChatGPT带来了大模型的蓬勃发展,开源LLM层出不穷,虽然这些开源的LLM在各自任务中表现出色,但是在真实环境下作为AI Agent仍与商业模型的效果存在较大差距,比如ChatG...
2024/12/04
掌握REST API进行测试:质量保证的基本方法和工具
掌握REST API进行测试:质量保证的基本方法和工具
【API开发】 测试 REST API 对于可靠的软件至关重要。本文聚焦于利用 REST API 进行测试,重点关注验证 API 性能和安全性的实用性。了解测试 REST API 的步骤和技术,包括使用的工具和方法、面临的挑战以及 REST API 测试在 Web 应用程序中的意义。 
2024/12/04
LLM之Agent(四)| AgentGPT:一个在浏览器运行的Agent
LLM之Agent(四)| AgentGPT:一个在浏览器运行的Agent
【AI驱动】  AgentGPT是一个自主人工智能Agent平台,用户只需要为Agent指定一个名称和目标,就可以在浏览器中链接大型语言模型(如GPT-4)来创建和部署Agent平台。 PS:目前agentGPT仅支持chatgpt模型,暂时不支持...
2024/12/04
LLM之Agent(三):HuggingGPT根据用户需求自动调用Huggingface合适的模型
LLM之Agent(三):HuggingGPT根据用户需求自动调用Huggingface合适的模型
【AI驱动】  浙大和微软亚洲研究院开源的HuggingGPT,又名JARVIS,它可以根据用户的自然语言描述的需求就可以自动分析需要哪些AI模型,然后去Huggingface上直接调用对应的模型,最终给出用户的解决方案。 一、HuggingGPT...
2024/12/04
LLM之Agent(二):BabyAGI的详细教程
LLM之Agent(二):BabyAGI的详细教程
【AI驱动】   BabyAGI是一个 AI 支持的任务管理系统(Python脚本),使用 OpenAI 和 Pinecone API 创建, 优先级排序和执行任务。该系统背后的主要思想是基于先前任务的结果和预定义的目标创建任务。脚本然后使用 OpenA...
2024/12/04
LLM之Agent(一):使用GPT-4开启AutoGPT Agent自动化任务完整指南
LLM之Agent(一):使用GPT-4开启AutoGPT Agent自动化任务完整指南
【AI驱动】 在ChatGPT引领的大模型时代,要想让大模型按照用户的指令执行,Prompt设计是一门艺术,由此还催生了一个职业”Prompt工程师“。其实,并不是所有人都可以设计出好的Prompt,甚至同样的Prompt应用在不同的大模型上表现的结果也...
2024/12/04
LLM漫谈(七)| 使用PyTorch从零构建LLM
LLM漫谈(七)| 使用PyTorch从零构建LLM
【AI驱动】 LLM是最流行AI聊天机器人的核心基础,比如ChatGPT、Gemini、MetaAI、Mistral AI等。在每一个LLM,有个核心架构:Transformer。我们将首先根据著名的论文“Attention is all you nee...
2024/12/04
LLM漫谈(六)| 复旦MOSS提出数据配比scaling law
LLM漫谈(六)| 复旦MOSS提出数据配比scaling law
【AI驱动】 一、背景 1.1 大模型预训练       大模型预训练是在大量无监督数据上使用自回归方式预测下一个token来学习的,loss通常使用对数似然函数,如下公式所示: 最终在验证集上评估大模型效果。 1.2 S...
2024/12/04
LLM漫谈(五)| 从q star视角解密OpenAI 2027年实现AGI计划
LLM漫谈(五)| 从q star视角解密OpenAI 2027年实现AGI计划
【AI驱动】 摘要 OpenAI于2022年8月开始训练一个125万亿参数的多模态模型。第一个阶段是Arrakis,也叫Q*,该模型于2023年12月完成训练,但由于推理成本高而被取消。Q*是GPT-5的雏形,计划于2025年发布。由于原始GPT-...
2024/12/04
LLM漫谈(一)| LLM可以取代数据分析师吗?
LLM漫谈(一)| LLM可以取代数据分析师吗?
【AI驱动】  我想,在过去的一年里,我们每个人都不止一次想知道ChatGPT是否(或者更确切地说,何时)能够取代你的工作。       我们有一个共识,即Generative AI最近的突破将极大地影响我们...
2024/12/04
LLM漫谈(二)| QAnything支持任意格式文件或数据库的本地知识库问答系统
LLM漫谈(二)| QAnything支持任意格式文件或数据库的本地知识库问答系统
【AI驱动】 一、QAnything介绍         QAnything (Question and Answer based on Anything) 是致力于支持任意格式...
2024/12/04