LLM推理部署（五）：AirLLM使用4G显存即可在70B大模型上进行推理
2024/12/06
众所周知，大模型的训练和推理需要大量的GPU资源，70B参数的大模型需要130G的GPU显存来存储，需要两个A100（显存为100G）。 在推理过程中，整个输入序列也需要加载到内存中进行复杂的...
LLM推理部署（四）：一个用于训练、部署和评估基于大型语言模型的聊天机器人的开放平台FastChat
【AI驱动】
FastChat是用于对话机器人模型训练、部署、评估的开放平台。体验地址为： FastChat核心特性包括： 提供了SOTA模型（比如Vicuna，FastChat-T5）的模型权重，训练代码，评估代码； 分...
2024/12/06
LLM推理部署（一）：LLM七种推理服务框架总结
【AI驱动】
自从[ChatGPT]( 下面首先来总结一下这些框架的特点，如下表所示： 
【AI驱动】
Lora LoRA，英文全称Low-Rank Adaptation of Large Language Models。 冻结预训练好的模型权重参数，然后在每个Transformer块里注入可训练的层，由于不需要对模型的权重参数重...
2024/12/06
LLM微调（三）| 大模型中RLHF + Reward Model + PPO技术解析
【AI驱动】
本文将深入探讨RLHF（[Reinforcement Learning]( with Human Feedback）、RM（reward model）和PPO（Proximal Policy Optimizer）算法的概念。然后，通过代码演...
2024/12/06
LLM微调（二）| 微调LLAMA-2和其他开源LLM的两种简单方法
【AI驱动】
本文将介绍两种开源工具来微调LLAMA-2。 一、使用autotrain-advanced微调LLAMA-2 AutoTrain是一种无代码工具，用于为自然语言处理（NLP）任务、计算机视觉（CV）任务、语音任务甚...
2024/12/06
扩散模型实战（二）：扩散模型的发展
【AI驱动】
扩散模型从最初的简单图像生成模型，逐步发展到替代原有的图像生成模型，直到如今开启 AI 作画的时代，发展速度可谓惊人。下面介绍一下2D图像生成相关的扩散模型的发展历程，具体如下： 开始扩散：基础扩散模型的提出与改进； 加速...
2024/12/06
扩散模型实战（一）：基本原理介绍
【AI驱动】
扩散模型（Diffusion Model）是⼀类⼗分先进的基于物理热⼒学中的扩散思想的深度学习⽣成模型，主要包括前向扩散和反向扩散两个过程。⽣成模型除了扩散模型之外，还有出现较早的VAE（Variational Auto-Enc...
2024/12/06
LLM之Agent（十二）| OpenAI Agent-Swarm简单入门
【AI驱动】
参考文献： 项目地址： 本文简单介绍一下如何使用Swarm： 一、首先需要安装环境（python3.10+） # 创建python虚拟环境（可选） conda create -n python=3.10 ...
2024/12/06
LLM之Agent（十一）| 多智能体框架CrewAI与AutoGen相比
【AI驱动】
基于LLM构建的Agent中有一个明显的现象就是多智能体体系结构的表现要超越单智能体，即使单智能体使用无可挑剔的提示策略。本文将探索另一个有趣的多智能体框架——CrewAI。 一、CrewAI整体优势 CrewAI...
2024/12/06
LLM之Agent（十）| 本地安装Microsoft AutoGen Studio 2.0教程
【AI驱动】
2021年3月，微软发布了AutoGen[2]，这是一个使用多个代理开发LLM应用程序的框架，这些代理可以协作解决任务。 2024年1月，微软推出了一款新的应用程序，它名为AutoGen S...
2024/12/06
LLM之Agent（九）| 通过API集成赋能Autogen Multi-Agent系统
【AI驱动】
随着大型语言模型（LLM）的迅猛进步，开发由LLM驱动的自主智能体（autonomous agents）已经成为研究和实践的热点领域。在过去的一年里，涌现出许多基于这一概念的创新技术和平台。 但作为一个仍处于早期阶段的框架，通过AP...
2024/12/06
LLM之Agent（八）| 使用CrewAi、Solor/Hermes、Langchain和Ollama构建超级Agent
【AI驱动】
随着大模型技术的发展，AI Agent正在成为大模型游戏规则的改变者，它可以帮助用户分解任务、规划任务和执行任务，这就是CrewAI的独特之处。CrewAI是AutoGEN的顶级替代品，为您提供轻松组建人工智能Agent团队执行自动化任...
2024/12/06
利用Image Product Discovery API获得快速可靠的结果
【学习各类API】
长期以来，基于文本的搜索一直是在线寻找产品的标配。用户输入关键词，搜索引擎或电子商务平台返回与这些词汇匹配的结果列表。虽然这种方法在一定程度上是有效的，但它也有局限性。它严重依赖于用户关键词的准确性和平台正确解释这些关键词的能力。因此，一个名为SightScout的图像产品发现API应运而生！
2024/12/05
国家信息API：优化您的国家信息项目
【API使用场景】
在本文中，我们将探讨国家信息API如何转变您的项目，以及为什么它们是开发者必不可少的工具。
2024/12/05
设计和开发Web API的最佳实践
【API开发】
本文提供了全面的的最佳实践，以帮助确保您的Web API强大、用户友好且可扩展。
2024/12/05
搜索文章
热门话题
文章精选
