如何从0开始构建一个通用AIAgent智能体架构设计和实现?

#01系统整体工作流程

在进入编码部分之前，我们先对本文构建的系统的主要组件有一个清晰的理解。

这个工作流程包含四个 Agent，每个 Agent 都有专门的技能。

首先，用户的请求被提交到系统。
Agent 1 或视频分析器在互联网上进行深入的研究，使用 YouTube 频道搜索等外部工具查找与用户请求相关的信息。该 Agent 的结果会发送给下一个 Agent 进行进一步处理。
Agent 2 或博客文章撰写者利用前一个 Agent 的结果撰写一篇全面的博客文章。
类似地，Agent 3 和 Agent 4 分别创建吸引人的 LinkedIn 帖子和推文。
Agent2、Agent3 和 Agent 4 的回应会分别保存到不同的 Markdown 文件中，供最终用户使用。

#02为什么我们要关注 AI Agent 而不是单个 LLM？

我们都知道这儿的任务是指一个整体任务，意味着 LLM 被要求完成一个单一的目标，即数据提取。

这种方法在处理更复杂、多步骤的任务时的局限性变得很明显。下面列举了其中的一些局限性：

任务执行的灵活性

单个提示的 LLM 需要为每个任务仔细编写提示词，当任务需求发生变化时，更新这些提示可能会变得麻烦。
AI Agent 将这些复杂性分解为子任务，能够适应任务变化，而不需要在提示词工程上投入大量精力。
任务的连续性和上下文保留

单个提示的 LLM 可能会丢失之前互动中的重要上下文。这是因为它们主要在单个对话回合的限制内运行。
AI Agent 则具备在不同互动之间保持上下文的能力，每个 Agent 可以参考前一个 Agent 的响应来完成它们预期的任务。
专业化和互动

单个提示的 LLM 可能在经过大量微调后具备专业领域的知识，但这可能既耗时又昂贵。
另一方面，AI Agent 可以设计为由多个专门模型组成的团队，每个模型专注于一个特定任务，例如研究者、博客撰写者、社交媒体专家。
互联网访问

单个 LLM 依赖于预定义的知识库，这不可能总是最新的，导致产生幻觉或信息访问有限。
AI Agent 则可以访问互联网，使它们能够提供更为实时的信息，从而做出更好的决策。

#03构建内容创建工作流程

在本节中，我们将探讨如何利用智能体工作流程来创建一个系统，该系统在对用户主题进行深入研究后，撰写博客文章、LinkedIn 内容、Twitter 帖子。代码结构如下图所示：

project

   |

   |---Multi_Agents_For_Content_Creation.ipynb

   |

  data

   |

   |---- blog-post.md

   |---- linkedin-post.md

   |---- tweet.md

、

project 文件夹是根文件夹，包含 data 文件夹和 notebook。
data 文件夹目前是空的，但在整个工作流程执行后应该包含以下三个 Markdown 文件：blog-post.md、linkedin-post.md 和 tweet.md。
每个 Markdown 文件都包含相应 Agent 完成任务的结果。

#04Agent 的创建及其角色与任务

现在我们已经探讨了每个 Agent 的角色，接下来我们看看如何实际创建它们，以及它们的角色和任务。

在此之前，让我们设置一些前提条件，以便更好地实现这些角色和任务。

前提条件代码是在 Google Colab notebook 中运行的，我们的用例只需要两个库：openai 和 crewai[tools]，可以通过以下方式安装它们。

%%bash  

pip -qqq install 'crewai[tools]'  

pip -qqq install youtube-transcript-api  

pip -qqq install yt_dlp

成功安装库后，下一步是导入以下必要的模块：

import os

from crewai import Agent

from google.colab import userdata

from crewai import Crew, Process

from crewai_tools import YoutubeChannelSearchTool

from crewai import Task

每个 Agent 都利用了 OpenAI 的 GPT-4o 模型，我们需要通过以下方式设置访问模型的权限：

OPENAI_API_KEY = userdata.get('OPEN_AI_KEY')

model_ID = userdata.get('GPT_MODEL')

os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY

os.environ["OPENAI_MODEL_NAME"] = model_ID

环境变量及其值

首先，我们使用内置的 userdata.get 函数从 Google Colab Secrets 中获取 OPEN_AI_KEY 和 GPT_MODEL。
然后，我们使用 os.environ 函数设置 OPEN AI KEY 和 GPT-4o 模型。
在完成上述两步后，使用该模型创建 Agent 应该不会有任何问题。

Agent 及其角色

通过 Agent 类，我们可以通过提供以下属性来创建一个 Agent：role，goal，backstory 和 memory。

只有 Agent 1 或 Video Analyzer 具有额外的属性：tools 和 allow_delegation。

大多数属性是自解释的，但我们还是来了解它们的具体含义。

role 类似于职位名称，定义了 Agent 的具体角色。例如，Agent 1 的角色是主题研究员。
goal 告诉 Agent 其角色的具体目标。
backstory 进一步详细说明了 Agent 的角色，使其更加具体。
memory 属性是一个布尔值。设置为 True 时，允许 Agent 记住、推理并从过去的互动中学习。
tools 是 Agent 执行任务时使用的工具列表。
allow_delegation 是一个布尔值，表示 Agent 的结果是否必须交给其他 Agent 进一步处理。

现在，让我们开始创建所有 Agent。

但是，在此之前，我们设置需要由第一个 Agent 使用的工具，以探索我的个人 YouTube 频道。这是通过提供句柄 @techwithzoum 的 YouTubeChannelSearchTool 类实现的。

# The tool used by the topic researcher

youtube_tool = YoutubeChannelSearchTool(youtube_channel_handle='@techwithzoum')

1、Agent1 — 主题研究员

topic_researcher = Agent(

    role='Topic Researcher',

    goal='Search for relevant videos on the topic {topic} from the provided YouTube channel',

    verbose=True,

    memory=True,

    backstory='Expert in finding and analyzing relevant content from YouTube channels, specializing in AI, Data Science, Machine Learning, and Generative AI topics.',

    tools=[youtube_tool],

    allow_delegation=True

)

我们首先将该 Agent 的角色定义为 Topic Researcher。
然后，我们要求 Agent 使用提供的 {topic} 查找提到该主题的相关视频。
最后，我们将第一个 Agent 定义为使用 YouTube 搜索工具查找和分析关于 AI、数据科学、机器学习和生成式 AI 主题的相关内容的专家。

在当前 Agent 定义中，后续 Agent 的定义与此相似，只是属性值有所不同。一旦理解了这一点，后续 Agent 的定义就不再需要解释。

2、Agent 2 — 博客撰写者

blog_writer = Agent(

    role='Blog Writer',

    goal='Write a comprehensive blog post from the transcription provided by the Topic Researcher, covering all necessary sections',

    verbose=True,

    memory=True,

    backstory='Experienced in creating in-depth, well-structured blog posts that explain technical concepts clearly and engage readers from introduction to conclusion.',

    allow_delegation=False

)

3、Agent 3 — LinkedIn 帖子创建者

# LinkedIn Post Agent

linkedin_post_agent = Agent(

    role='LinkedIn Post Creator',

    goal='Create a concise LinkedIn post summary from the transcription provided by the Topic Researcher.',

    verbose=True,

    memory=True,

    backstory='Expert in crafting engaging LinkedIn posts that summarize complex topics and include trending hashtags for maximum visibility.',

    allow_delegation=False

)

4、智能体 4 — Twitter 帖子创建者

twitter_agent = Agent(

    role='Twitter Content Creator',

    goal='Create a short tweet from the transcription provided by the Topic Researcher that capture key points and insights',

    verbose=True,

    memory=True,

    backstory='Specializes in distilling complex information into concise, impactful tweets that resonate with a tech-savvy audience.',

    allow_delegation=False

)

我们注意到最后三个智能体都不再委托任务，这是因为它们的结果不需要被其他 Agent 处理。

完美！现在我们的 Agent 已经准备好了解对它们的期望了，这是通过 Task 类来实现的。

任务

人类在接到任务指示后会执行任务来交付结果。

同样，Agent 也需要执行任务并交付结果，所需的属性如下：

description 对应需要 Agent 执行的任务的明确描述。描述越清晰，模型的输出就越好。
expected_output 是对 Agent 预期结果的文本描述。
agent 是执行特定任务的 Agent 占位符。
tools 类似于角色定义部分，并非每个 Agent 都使用工具。在我们的用例中，只有主题研究员使用了工具。
output_file 是文件名及其格式。仅对需要将任务结果保存为文件的 Agent 指定，例如 Markdown 文件，博客撰写者的文件名可以是 blog-post。md。

接下来，我们来看这些任务的 Python 实现。1、Agent 1 — 主题研究员

research_task = Task(

    description="Identify and analyze videos on the topic {topic} from the specified YouTube channel.",

    expected_output="A complete word by word report on the most relevant video found on the topic {topic}.",

    agent=topic_researcher,

    tools=[youtube_tool]

)

2、Agent 2 — 博客撰写者

blog_writing_task = Task(

    description=""" Write a comprehensive blog post based on the transcription provided by the Topic Researcher.

                    The article must include an introduction , step-by-step guides, and conclusion.

                    The overall content must be about 1200 words long.""",

    expected_output="A markdown-formatted of the blog",

    agent=blog_writer,

    output_file='./data/blog-post.md'

)

3、Agent 3 — LinkedIn 帖子创建者

linkedin_post_task = Task(

    description="Create a LinkedIn post summarizing the key points from the transcription provided by the Topic Researcher, including relevant hashtags.",

    expected_output="A markdown-formatted of the LinkedIn post",

    agent=linkedin_post_agent,

    output_file='./data/linkedin-post.md'

)

4、Agent 4 — Twitter 帖子创建者

twitter_task = Task(

    description="Create a tweet from the transcription provided by the Topic Researcher, including relevant hastags.",

    expected_output="A markdown-formatted of the Twitter post",

    agent=twitter_agent,

    output_file='./data/tweets.md'

)

对于每个 Agent，属性都是自解释的，其结果为：

第一个 Agent 生成的结果是供后三个 Agent 使用的原始文本数据。
第二个 Agent 的结果是一个名为 blog-post.md 的 Markdown 文件。
第三个 Agent 的结果是一个名为 linkedin-post.md 的 Markdown 文件。
最后一个 Agent 的结果也是一个名为 tweets.md 的 Markdown 文件。

#05让 Agent 开始工作

最后，我们协调 Agent 团队，按照如下方式执行任务：

my_crew = Crew(

    agents=[topic_researcher, linkedin_post_agent, twitter_agent, blog_writer],

    tasks=[research_task, linkedin_post_task, twitter_task, blog_writing_task],

    verbose=True,

    process=Process.sequential,

    memory=True,

    cache=True,

    max_rpm=100,

    share_crew=True

)

agents 对应于我们所有 Agent 的列表。
tasks 是每个 Agent 需要执行的任务列表。
我们将 verbose 设置为 True 以查看完整的执行跟踪。
max_rpm 是我们的团队为避免速率限制而每分钟最多可以执行的请求数。
最后，share_crew 表示 Agent 共享资源来执行任务。这对应于第一个 Agent 与其他 Agent 共享其响应。

在协调了 Agent 之后，是时候通过 kickoff 函数触发它们了，该函数接收一个输入字典作为参数。在这里，我们搜索的是我录制的关于 GPT3.5 Turbo 微调与图形界面的一个视频。

topic_of_interest = 'GPT3.5 Turbo Fine-tuning and Graphical Interface'

result = my_crew.kickoff(inputs={'topic': topic_of_interest})

成功执行上述代码将生成我们上面指定的三个 Markdown 文件。

以下是每个文件内容的结果显示。作为录制视频的人，这些内容与教程中涉及的内容完全一致。

博客 Agent 未能提供百分之百的分步指南，用户在执行代码时可能会遇到问题，但它提供了对教程范围的极好理解。

对于 LinkedIn 和 Twitter 帖子，结果非常出色！

你可以在下面链接中查看所有文件的内容。

https://github.com/keitazoumana/LLMs/tree/main/ai_agents_outputs

#06评估 Agent

我对 Agent 的上述评估基于我对内容的个人熟悉程度。然而，在投产之前，需要更客观且可扩展的评估方法。

以下是一些有效评估这些 AI Agent 的策略。

基准测试可以用来评估每个 Agent 在不同任务上的表现，使用已建立的数据集如 GLUE 和 FLASK，可以进行与不同最先进模型的标准化比较。
事实准确性测量评估 Agent 在多个领域提供事实性回答的能力。
上下文感知相关性评分可以用来量化 Agent 的响应与给定提示词的对齐程度。

可以利用多个框架来执行这些评估，其中包括：

DeepEval，这是一个开源工具，用于量化 LLM 在不同指标上的性能。
MMLU（大规模多任务语言理解）是一个测试模型在零样本和单样本设置下的多学科知识的框架。
OpenAI evals 也是一个用于评估 LLM 或任何基于 LLM 系统的框架。

#07总结

本文简要介绍了如何利用 AI Agent 有效完成高级任务，而不是让一个大语言模型单打独斗。

本文章转载微信公众号@AI产品阿颖

如何从0开始构建一个通用AIAgent智能体架构设计和实现?

#01系统整体工作流程

#02为什么我们要关注 AI Agent 而不是单个 LLM？

#03构建内容创建工作流程

#04Agent 的创建及其角色与任务

Agent 及其角色

2、Agent 2 — 博客撰写者

3、Agent 3 — LinkedIn 帖子创建者

4、智能体 4 — Twitter 帖子创建者

#05让 Agent 开始工作

#06评估 Agent

#07总结

大语言模型架构全景图：趋势、基准与挑战

.NET Core高吞吐HttpAPI服务组件FastHttpApi