第24章 Agent核心能力：感知、规划、工具调用、记忆

24.1 Agent的整体架构：感知-规划-行动-记忆循环

一个完整的Agent系统由四大核心能力组成，形成一个循环：

┌─────────────────────────────────────────────────┐
│                   用户目标/输入                    │
└──────────────────────┬──────────────────────────┘
                       ▼
┌─────────────────────────────────────────────────┐
│  ① 感知（Perception）                            │
│  理解用户意图、感知环境状态、解析工具返回结果     │
└──────────────────────┬──────────────────────────┘
                       ▼
┌─────────────────────────────────────────────────┐
│  ② 规划（Planning）                              │
│  任务分解、制定步骤、选择策略、动态调整           │
└──────────────────────┬──────────────────────────┘
                       ▼
┌─────────────────────────────────────────────────┐
│  ③ 行动（Action）= 工具调用                      │
│  选择工具、生成参数、调用API、执行操作、处理结果  │
└──────────────────────┬──────────────────────────┘
                       ▼
┌─────────────────────────────────────────────────┐
│  ④ 记忆（Memory）                                │
│  短期记忆（对话历史）、长期记忆（用户偏好/知识）  │
└──────────────────────┬──────────────────────────┘
                       ▼
┌─────────────────────────────────────────────────┐
│              结果输出 / 继续循环                   │
│         （未完成目标则回到①感知继续）             │
└─────────────────────────────────────────────────┘

这四大能力不是孤立的，而是紧密协作、循环往复的。Agent在执行任务时，会不断地"感知→规划→行动→记忆→再感知→再规划..."，直到完成目标。

24.2 感知能力（Perception）

感知是Agent的第一步，它决定了Agent能不能"看懂"用户的需求和当前的状态。

24.2.1 用户意图理解

用户的输入往往是模糊的、口语化的、包含冗余信息的。Agent的感知能力首先体现在能准确理解用户的真实意图。

意图理解的关键步骤：

1. 去除冗余：过滤寒暄、背景描述、情绪表达等无关信息，提取核心需求
2. 意图分类：判断用户是要查询信息、执行操作、生成内容，还是其他
3. 实体提取：提取关键信息��时间、地点、人物、对象、参数等）
4. 歧义消解：对模糊的表述进行澄清或合理推断
5. 目标补全：根据上下文和常识，补全用户没有明确说出的目标和约束

24.2.2 环境状态感知

Agent不仅要理解用户输入，还要感知当前的环境状态，包括：

• 工具返回结果：上一步调用工具返回了什么？成功还是失败？数据是什么？
• 系统状态：当前执行到哪一步了？已经完成了什么？还需要做什么？
• 外部状态：当前时间、用户位置、网络状态、权限状态等
• 历史上下文：之前的对话、之前的操作、用户的反馈等

环境状态感知是Agent能"动态调整"的基础。如果工具调用失败了，Agent能感知到并换一种方式重试；如果已经完成了部分任务，Agent能记住并继续下一步。

24.2.3 多模态感知

随着多模态大模型的发展，Agent的感知能力不再局限于文本，还包括：

• 图片感知：理解用户上传的截图、照片、图表，能识别图片中的内容和问题
• 音频感知：理解语音输入，能识别说话人的情绪和意图
• 视频感知：理解视频内容，能分析视频中的动作和事件
• 界面感知（Computer Use）：能"看到"电脑屏幕，理解界面上的按钮、输入框、菜单，能像人一样操作电脑

多模态感知大大扩展了Agent的应用场景，比如：用户上传一张报错截图，Agent能看懂报错信息，然后自动搜索解决方案并修复。

24.3 规划能力（Planning）

规划是Agent的"大脑"，它决定了Agent能不能把复杂目标分解成可执行的步骤，并在执行过程中动态调整。

24.3.1 任务分解

用户给出的目标往往是复杂的、高层次的，Agent需要把它分解成具体的、可执行的子任务。

任务分解的原则：

• 可执行：每个子任务都应该是一个具体的动作（调用一个工具、生成一段内容），而不是模糊的目标
• 有顺序：子任务之间有先后依赖关系，比如先查天气再决定带什么衣服
• 可验证：每个子任务完成后都能验证是否成功
• 可调整：如果某个子任务失败了，能调整策略或跳过（不影响整体目标的话）

24.3.2 ReAct框架：推理与行动交替

ReAct（Reasoning + Acting）是目前最主流的Agent规划框架，由Google在2022年提出。它的核心思想是：推理（Reasoning）和行动（Acting）交替进行，每一步都先思考再行动，然后根据行动结果继续思考。

ReAct的执行循环：

Thought（思考）：我现在需要做什么？为什么？
Action（行动）：调用某个工具，传入参数
Observation（观察）：工具返回了什么结果？
Thought（思考）：根据结果，下一步该做什么？
Action（行动）：调用下一个工具
Observation（观察）：返回结果
...
（循环直到完成目标）
Thought（思考）：任务完成了，总结结果
Final Answer（最终答案）：输出最终结果

ReAct的优势是：

• 可解释性强：每一步都有思考过程，用户能看到Agent是怎么想的
• 动态调整：根据工具返回结果实时调整下一步，不是按固定脚本执行
• 错误恢复：如果工具调用失败，能感知到并换一种方式重试
• 实现简单：基于大模型的文本生成能力，不需要额外的规划模块

24.3.3 更高级的规划方法

ReAct是基础框架，对于更复杂的任务，还有更高级的规划方法：

1. 思维树（Tree of Thoughts, ToT）
不是只走一条路径，而是同时探索多条可能的路径，评估每条路径的可行性，选择最优路径。适合需要探索和决策的复杂任务（如数学题、游戏、创意写作）。
例子：做市场分析时，同时探索"按厂商分析"、"按应用场景分析"、"按技术路线分析"三种框架，评估哪种更全面，选择最优框架。

2. 反思机制（Reflection / Self-Critique）
Agent完成一个步骤或整个任务后，自我反思和评估，发现问题并修正。能大幅提升任务质量和可靠性。
例子：生成报告后，Agent自我检查"数据是否准确？逻辑是否清晰？有没有遗漏？"，发现问题后自动修改。

3. 规划与执行分离（Plan-and-Execute）
先由一个"规划器"制定完整的计划（所有步骤），再由"执行器"逐步执行。适合步骤明确、不需要太多动态调整的任务。优势是规划更全局，缺点是灵活性不如ReAct。

4. 分层规划（Hierarchical Planning）
高层规划分解为中层任务，中层任务再分解为低层动作，层层分解。适合非常复杂的任务（如软件开发、项目管理）。
例子：做一个软件项目 → 高层：需求、设计、开发、测试、部署 → 中层：开发分为前端、后端、数据库 → 低层：前端分为页面开发、组件开发、样式调整

24.4 工具调用能力（Action / Tool Use）

工具调用是Agent的"手和脚"，它让Agent能真正"做事"，而不只是"说话"。

24.4.1 工具调用的基本原理

大模型本身不能直接调用外部工具（API、数据库、文件系统等），它只能生成文本。工具调用的原理是：大模型生成特定格式的文本（工具名+参数），由外部程序解析这个文本，真正调用工具，然后把结果返回给大模型。

工具调用的完整流程：

1. 系统启动时，把所有可用工具的描述（名称、功能、参数格式）告诉大模型
2. 用户输入目标
3. 大模型理解目标后，决定需要调用哪个工具，生成工具调用请求（JSON格式：工具名+参数）
4. 外部程序解析大模型的输出，识别出工具调用请求
5. 外部程序真正调用工具（API/数据库/文件系统），获取结果
6. 外部程序把工具返回结果传给大模型
7. 大模型根据工具返回结果，决定下一步：继续调用其他工具，或者生成最终答案
8. 循环直到完成目标

24.4.2 Function Calling：标准化的工具调用

Function Calling（函数调用）是OpenAI在2023年推出的标准化工具调用方式，现在已成为行业标准，几乎所有主流大模型都支持。

Function Calling的工作方式：

• 开发者用JSON Schema定义函数（工具）的名称、描述、参数格式
• 大模型在需要调用工具时，输出一个特定格式的JSON，包含函数名和参数
• 开发者的程序解析这个JSON，调用对应的函数，把结果返回给大模型
• 大模型根据返回结果继续处理

一个工具定义的示例：

{
  "name": "search_flight",
  "description": "搜索航班信息，根据出发地、目的地、日期查询可用航班",
  "parameters": {
    "type": "object",
    "properties": {
      "origin": {
        "type": "string",
        "description": "出发城市，如北京、上海"
      },
      "destination": {
        "type": "string",
        "description": "目的城市，如广州、深圳"
      },
      "date": {
        "type": "string",
        "description": "出发日期，格式YYYY-MM-DD"
      }
    },
    "required": ["origin", "destination", "date"]
  }
}

大模型生成的工具调用示例：

{
  "name": "search_flight",
  "arguments": {
    "origin": "北京",
    "destination": "上海",
    "date": "2024-10-15"
  }
}

外部程序解析这个JSON，调用航班查询API，把结果返回给大模型，大模型再根据结果继续处理（比如选择合适的航班、订票等）。

24.4.3 工具选择与参数生成

工具调用的两个关键能力是工具选择和参数生成：

工具选择：当有多个可用工具时，Agent要能根据当前任务选择最合适的工具。
例子：用户问"北京今天天气怎么样"，Agent要选择weather_api工具，而不是flight_search或hotel_booking工具。
工具选择的准确性取决于：工具描述是否清晰、大模型的理解能力、是否有工具选择的示例（Few-shot）。

参数生成：选择工具后，Agent要能生成正确的参数，包括必填参数、参数格式、参数值。
例子：调用search_flight工具，需要生成origin="北京"、destination="上海"、date="2024-10-15"，格式要正确，值要从用户输入中提取或合理推断。
参数生成的常见错误：漏填必填参数、参数格式错误（日期格式不对）、参数值错误（城市名不标准）。需要做参数校验和错误处理。

24.4.4 工具调用的错误处理

工具调用不是每次都成功，可能会遇到各种错误：

• 工具不存在：大模型生成了一个未定义的工具名
• 参数错误：漏填必填参数、参数格式不对、参数值超出范围
• 工具执行失败：API报错、网络超时、权限不足、资源不存在
• 返回结果异常：返回空结果、返回格式不对、返回数据矛盾

Agent的错误处理策略：

1. 感知错误：解析工具返回结果，识别错误类型和错误信息
2. 分析原因：思考错误原因，是参数错了还是工具本身有问题
3. 调整重试：修正参数后重试，或者换一个工具，或者换一种方式
4. 上限控制：设置重试次数上限（如3次），避免无限循环
5. 降级处理：多次失败后，向用户说明情况，请求人工介入或提供替代方案

24.5 记忆能力（Memory）

记忆是Agent的"笔记本"，它让Agent能记住历史信息、用户偏好、经验教训，在后续任务中使用。

24.5.1 短期记忆（Short-term Memory）

短期记忆是Agent在当前任务执行过程中的记忆，主要是对话历史和中间状态。

短期记忆的内容：

• 用户的原始输入和目标
• Agent的思考过程（Thought）
• 工具调用记录（Action）和返回结果（Observation）
• 已完成的子任务和当前进度
• 用户的反馈和修正

短期记忆的存储方式：通常直接放在大模型的上下文窗口（Context Window）中，作为对话历史的一部分。大模型在生成下一步时，能看到之前的所有内容。

短期记忆的挑战：

• 上下文窗口限制：大模型的上下文窗口有限（如GPT-4是128K token，Claude是200K token），任务太长会超出限制
• 注意力衰减：即使在上下文窗口内，大模型对太早的内容注意力也会下降，容易"遗忘"早期信息
• 成本增加：上下文越长，每次调用大模型的token消耗越多，成本越高

短期记忆的优化方法：

• 上下文压缩：对早期的对话历史和工具返回结果做摘要，只保留关键信息，减少token占用
• 滑动窗口：只保留最近N轮对话，更早的内容摘要后保留
• 关键信息提取：把用户目标、关键参数、已完成步骤等关键信息提取出来，放在上下文最前面，确保大模型能看到
• 分层记忆：详细的历史存在外部存储，需要时再检索相关部分放入上下文（类似RAG）

24.5.2 长期记忆（Long-term Memory）

长期记忆是Agent跨任务、跨会话的记忆，能记住用户的偏好、历史行为、知识经验，在后续任务中使用。

长期记忆的内容：

• 用户画像：用户的基本信息、角色、职位、行业、偏好等
• 用户偏好：用户喜欢的风格、格式、工具、做事方式等
• 历史任务：用户之前做过的任务、项目、文档等
• 知识经验：Agent在之前任务中学到的知识、经验、教训
• 关系网络：用户的联系人、常用工具、常用资源等

长期记忆的存储方式：

• 向量数据库：把记忆内容向量化存储，需要时按相似度检索（类似RAG）
• 知识图谱：用实体和关系存储记忆，能做推理和关��查询
• 结构化数据库：用关系型数据库存储结构化的记忆（用户信息、偏好设置等）
• 文件系统：把记忆存储为文件（笔记、文档、配置等）

长期记忆的工作流程：

1. 记忆写入：在任务执行过程中，把有价值的信息（用户偏好、关键决策、经验教训）提取出来，存入长期记忆
2. 记忆检索：在新任务开始时，根据用户输入和当前任务，从长期记忆中检索相关信息
3. 记忆使用：把检索到的相关记忆放入上下文，作为任务执行的参考
4. 记忆更新：任务完成后，更新长期记忆（新增、修改、删除）
5. 记忆遗忘：定期清理过时、无用的记忆，避免记忆库膨胀和噪音

24.5.3 记忆管理的挑战

1. 记忆准确性：记忆可能包含错误信息（用户当时说错了、Agent理解错了），如果不修正，会一直影响后续任务。需要有记忆校验和修正机制。

2. 记忆时效性：有些记忆是有时效性的（用户的职位、偏好、项目状态），过时的记忆会误导Agent。需要给记忆加上时间戳，定期更新或过期。

3. 记忆相关性：记忆库越来越大后，检索相关记忆的难度增加，可能检索到不相关的记忆，干扰当前任务。需要有好的记忆检索和排序机制。

4. 隐私安全：长期记忆包含大量用户个人信息和行为数据，有隐私安全风险。需要有严格的权限控制、数据加密、用户可查看和删除记忆的机制。

5. 记忆遗忘：不是所有记忆都值得长期保存，无用的记忆会增加存储成本和检索噪音。需要有记忆遗忘机制，定期清理低价值、过时、重复的记忆。

24.6 四大能力的协作：一个完整的Agent执行过程

让我们用一个完整的例子，看看四大能力是如何协作的。

用户目标："帮我安排下周去北京的出差，要见客户A和客户B，还要参加一个行业会议。"

执行过程：

① 感知：
- 理解用户意图：安排北京出差
- 提取实体：时间=下周，地点=北京，人物=客户A、客户B、行业会议
- 从长期记忆检索：用户偏好（国航、靠窗、五星级酒店）、客户A和B的联系方式、用户的日程
- 感知当前状态：用户下周的日程（有没有冲突）、当前时间

② 规划：
- 任务分解：
1. 查询下周北京天气
2. 查询用户下周日程，确认出差时间
3. 联系客户A和B，确认会面时间
4. 查询行业会议的时间和地点
5. 综合以上信息，确定出差日期和行程
6. 订机票（国航、靠窗）
7. 订酒店（五星级，靠近会议地点）
8. 安排每日行程（会面、会议、交通）
9. 生成出差行程表
10. 通知相关人员（客户、同事）
- 制定执行顺序：先收集信息（1-4），再确定行程（5），然后执行预订（6-7），最后整理和通知（8-10）

③ 行动（工具调用）：
- 调用天气API，查询北京下周天气
- 调用日历API，查询用户下周日程
- 调用邮件API，给客户A和B发邮件确认会面时间
- 调用搜索API，查询行业会议信息
- 等待客户回复后，调用机票API，订国航靠窗座位
- 调用酒店API，订五星级酒店
- 调用日历API，创建出差日程
- 调用文档API，生成出差行程表
- 调用邮件API，发送行程表给相关人员
- 每一步都处理工具返回结果，失败则重试或调整

④ 记忆：
- 短期记忆：保存整个执行过程的对话历史、工具调用记录、中间结果，确保每一步都能看到之前的信息
- 长期记忆：任务完成后，更新长期记忆——这次出差的行程、客户会面的时间和地点、用户新的偏好（如果有）
- 上下文管理：任务较长时，对早期信息做摘要，确保不超出上下文窗口

⑤ 循环：
感知→规划→行动→记忆→再感知（工具返回结果）→再规划（根据结果调整下一步）→再行动→...直到完成目标。
比如：联系客户A时，客户A说周三下午没时间，改到周四上午。Agent感知到这个变化，重新规划行程，把客户A的会面改到周四上午，然后继续执行。

最终结果：用户收到一份完整的出差行程表，机票酒店都已订好，客户和同事都已通知，整个过程不需要用户一步步指令。

24.7 本章小结

Agent的四大核心能力——感知、规划、工具调用、记忆——构成了Agent的完整能力体系，形成"感知→规划→行动→记忆"的循环。

感知（Perception）是Agent的"眼睛和耳朵"：理解用户意图（去除冗余、意图分类、实体提取、歧义消解、目标补全）、感知环境状态（工具返回结果、系统状态、外部状态、历史上下文）、多模态感知（图片、音频、视频、界面）。

规划（Planning）是Agent的"大脑"：任务分解（可执行、有顺序、可验证、可调整）、ReAct框架（推理与行动交替，Thought→Action→Observation循环）、更高级的规划方法（思维树、反思机制、规划与执行分离、分层规划）。

工具调用（Action）是Agent的"手和脚"：基本原理（大模型生成调用请求，外部程序真正调用）、Function Calling标准化（JSON Schema定义工具，大模型输出JSON调用）、工具选择与参数生成、错误处理（感知错误、分析原因、调整重试、上限控制、降级处理）。

记忆（Memory）是Agent的"笔记本"：短期记忆（对话历史和中间状态，存在上下文窗口，有窗口限制和注意力衰减问题，需要压缩和滑动窗口优化）、长期记忆（用户画像、偏好、历史任务、知识经验，存在向量数据库/知识图谱/结构化数据库，需要写入、检索、使用、更新、遗忘）、记忆管理的挑战（准确性、时效性、相关性、隐私安全、遗忘机制）。

四大能力不是孤立的，而是紧密协作、循环往复的。Agent在执行任务时，不断地"感知→规划→行动→记忆→再感知→再规划..."，直到完成目标。理解这四大能力的原理和协作方式，是理解Agent工作机制的关键，也是AI产品经理设计Agent产品的基础。

下一章我们会讲主流Agent框架的对比，包括LangChain、AutoGPT、MetaGPT、Dify等，看看如何用这些框架快速搭建Agent应用。

📝 本章练习（5题）

答案与解析请在 互动学习看板 中作答查看。

📚 AI产品经理实战训练营 课程目录（44 章）

1. 第1章 AI产品经理是做什么的？和传统PM有什么区别？
2. 第2章 2026年AI产品经理就业市场：哪些行业在招？薪资多少？
3. 第3章 零经验转行AI产品经理的3条路径
4. 第4章 AI产品全景图：从聊天机器人到Agent，一文搞懂
5. 第5章 AI产品经理能力模型：你需要掌握哪些技能？
6. 第6章 实战：拆解3个你每天在用的AI产品
7. 第7章 大模型是什么？用大白话讲清楚
8. 第8章 主流大模型对比：GPT-4o、Claude、DeepSeek、豆包、Kimi怎么选？
9. 第9章 Prompt入门：写好提示词的5个原则
10. 第10章 Prompt进阶：System Prompt、COT思维链、Few-shot示例
11. 第11章 结构化输出：让大模型返回JSON、表格、代码
12. 第12章 Prompt优化实战：从垃圾Prompt到高质量Prompt
13. 第13章 大模型的"幻觉"问题：产品经理怎么应对？
14. 第14章 实战：为一个智能客服设计完整Prompt体系
15. 第15章 RAG是什么？为什么企业都在做知识库？
16. 第16章 RAG工作原理：文档→分块→向量→检索→生成
17. 第17章 向量数据库选型：Milvus、Pinecone、Chroma、pgvector怎么选？
18. 第18章 Embedding模型选型：OpenAI、BGE、M3E、GTE对比
19. 第19章 Reranker重排序：让检索结果更精准
20. 第20章 查询改写与混合检索：提升召回率的实战技巧
21. 第21章 知识库运营：文档治理、更新机制、效果监控
22. 第22章 实战：从零搭建一个企业知识库（完整流程）
23. 第23章 Agent是什么？和聊天机器人有什么区别？
24. 第24章 Agent核心能力：感知、规划、工具调用、记忆
25. 第25章 主流Agent框架与协议：Agent Harness、MCP、A2A全解析
26. 第26章 工具调用（Function Calling）原理与实战
27. 第27章 Agent记忆系统：短期记忆、长期记忆、向量记忆
28. 第28章 多Agent协作：多个智能体怎么分工配合？
29. 第29章 Agent评估体系：成功率、成本、延迟怎么监控？
30. 第30章 实战：设计一个制造业生产异常处理Agent
31. 第31章 AI产品需求分析：怎么识别真需求还是伪需求？
32. 第32章 AI产品竞品分析：怎么调研和拆解竞品？
33. 第33章 AI产品PRD撰写：技术可行性、数据需求、评估指标
34. 第34章 AI产品原型设计：对话流、状态机、异常处理
35. 第35章 AI产品数据指标体系：从DAU到模型准确率，全面监控
36. 第36章 AI项目管理：从需求到上线的全流程管控
37. 第37章 实战项目1：从零搭建制造业AI智能质检系统
38. 第38章 实战项目2：从零搭建企业级AI知识库（RAG系统）
39. 第39章 AI产品经理简历优化：让HR一眼看中你
40. 第40章 项目经验包装：把普通项目讲成亮眼案例
41. 第41章 AI产品经理面试常见问题：提前准备，从容应对
42. 第42章 案例分析面试：用结构化思维征服面试官
43. 第43章 薪资谈判：拿到你应得的报酬
44. 第44章 入职前3个月：快速站稳脚跟，建立信任