Agent的未来范式探索

• Understanding the planning of LLM agents: A survey(https://arxiv.org/pdf/2402.02716)

• HuggingGPT: Solving AI Tasks with ChatGPT and its Friends in Hugging Face（https://arxiv.org/pdf/2303.17580、https://github.com/microsoft/JARVIS）

• Why Do Multi-Agent LLM Systems Fail?（https://arxiv.org/abs/2503.13657）

• API Agents vs. GUI Agents: Divergence and Convergence（https://arxiv.org/pdf/2503.11069）

• A Survey on (M)LLM-Based GUI Agents（https://arxiv.org/pdf/2504.13865）

• L0-没有人工智能，仅有基本的工具（能实现感知）和行为能力；

• L1-规则符号智能，基于规则的 AI，包含早期NLP的任务规则；

• L2-推理决策智能，基于互动学习(IL)/强化学习(RL)的 AI，并增添推理和决策能力，典型的就是Dify、manus为代表的流程编排；

• L3-记忆反思智能，基于LLM的 AI 替换互动学习/强化学习的方式，并增加记忆（Memory）+自我反思（reflection）；

• L4-自主学习智能，在 L3的基础上，加强自我学习+泛化的能力；

• L5-个性群体智能，在 L4的基础上，增加了个性（情感+性格）和协作行为（MultiAgent）

• 基于语言的智能体

• 基于视觉的智能体：SpiritSight

• 视觉-语言混合智能体：MobileFlow

• OS Agents

• Computer-Using Agent, CUA

• 反射模式（Reflection pattern）

• 工具使用模式（Tool use pattern）

• 查询矢量数据库、执行 Python 脚本、调用 API 等，利用外部工具和资源来提升自己的决策和执行能力。

• ReAct（Reason and Act） 模式

• Planning pattern规划模式

• Multi-agent pattern多智能体模式

• 任务分解（Task Decomposition）：分治思想。

• 多计划选择（Multi-Plan Selection）：投票思想。给智能体一个“选择轮”，生成多个计划，然后选择最优计划来执行。

thought_prompt = f"""角色名称：{self.name}初始记忆：{self.seed_memory}当前心情：{self.mood}任务：根据角色当前的相关记忆，相关知识,对话上下文进行分析，基于角色第一视角进行思考，给出角色的心理反应对和相关事件的判断。字数限制：不超过100字。<<<相关记忆：“{memory['description']}”相关知识：“{knowledge_text}”对话上下文：{self.language_style}{context}>>>请仅返回{self.name}第一人称视角下的思考内容，不要添加额外信息或格式。"""response_prompt = f"""角色名称：{self.name}初始记忆：{self.seed_memory}当前心情：{self.fsm.mood}任务：基于角色的思考内容和对话上下文进行回复。字数限制：不超过100字。<<<思考内容：“{thought}”对话上下文：{self.language_style}{context}>>>请在思考内容和对话上下文的基础上，以{self.name}的身份回复。不要扮演其他角色或添加额外信息，不要添加其他格式。"""

• 辅助规划（External Planner-Aided Planning）：借助外部规划器，在旁边出谋划策

• 反思细化（Reflection and Refinemen）：执行计划过程中，能够停下来反思，然后改进计划。

• 记忆增强（Memory-Augmented Planning）：使用过去经验，为将来规划提供帮助。

• Capacity: 有什么样的力。能做什么

• Under standing: 深度理解能力。能听懂么

• Performance: 性能评估。智能体做得怎么样

• 确保在实际应用中可靠有效：Agent 在真实场景下会碰到大量意外情况或长尾需求，必须用严格的测试来检验其鲁棒性。

• 指导下一步研发和迭代：良好的评测可以帮研发者发现 Agent 的「短板」和错误模式，从而持续改进。

• 安全与合规：随着 Agent 能调用外部工具甚至有权限访问企业数据库，如果无法正确评测安全性，就会产生较大的潜在风险。

• 成本与效率：评测还应包含成本、效率等，以免 Agent 可以完成任务但不切实际或代价过高。

• 智能体的基础能力（Agent Capabilities）
• 规划与多步推理（Planning & Reasoning）评测集：数学推理【GSM8K小学数学、MATH高等数学、AQUA-RAT选择题推理】、多跳问答【HotpotQA、StrategyQA】、科学推理【ARC】、逻辑推理【FOLIO】、日常任务【MUSR】。评测Bench：ToolEmu【测试 Agent 在出错后能否调整】、PlanBench【发现 Agent 在长期规划上的短板】、NaturalPlan【用自然语言描述真实世界任务】

• 工具调用与函数使用（Tool Use）评测要点：意图识别、工具选择、参数匹配、执行工具调用、结果整合评测Bench：ToolBench、APIBench、BFCL【是否会调用给定的 API、调用参数是否正确】、ToolSandbox、NESTFUL【涉及多轮对话、多步嵌套调用，场景更加贴近真实复杂需求】

• 自我反思与自我纠错（Self-Reflection）：评测要点：感知新信息、信息更新、决策调整评测思路：单步校验、多轮反馈评测Bench：LLFBench【围绕自反性进行基准构建，测试 Agent 在多回合得到外部反馈时的能力】、ReflectionBench【从认知科学的角度，试图把「新信息识别、记忆复用、惊讶时的 belief 更新、决策调整」等拆解，构建更精细化的评测】

• 评测方法：长文本阅读场景、多回合信息集成、动作 - 状态跟踪

• 特定应用领域的智能体（Application-Specific Agents）

• 网页智能体（Web Agents）评测Bench：MiniWoB、WebShop、WebArena / Visual-WebArena【更逼真的在线购物或网页浏览环境，并包含动态变化】、AssistantBench【测试 Agent 在跨网站、多步长任务下的效率】

• 软件开发智能体（Software Engineering Agents）评测Bench：HumanEval、MBPP【考察函数实现正确率】、SWE-bench【从真实开源项目的 issue 切片而来，提供更复杂多文件、多步骤的问题】、AgentBench【让 Agent 跟真实的开发环境或模拟环境进行多次交互，评测其多轮对话、工具调用、调试等能力】

• 评测方法：科学知识回忆与推理、文献理解与摘要、实验设计与执行、代码生成与结果复现

• 对话式智能体（Conversational Agents）评测Bench：ABCD、MultiWOZ、SMCalFlow【基于人工众包数据，涵盖了多种对话场景和功能调用】、ALMITA【自动生成各种客户服务对话路径，然后测试 Agent 对不同对话走向的应对能力】、\tauBench【人工构建了航空、零售两大典型行业场景，用模拟用户和真实数据库来考评 Agent 执行任务的正确率】、IntellAgent

• 通用型智能体（Generalist Agents）

• 综合多项能力，适用于多种复杂环境

• 开发与评测工具框架（Evaluation Frameworks）

• 各类辅助开发者持续评测智能体性能的工具与平台

• 最终输出 (Final Response) 评测： Agent出的最后答案是否满足需求，可使用人工或 LLM 批改；

• 逐步动作 (Stepwise) 评测：针对 Agent 每一步对话、调用、工具执行都做结果验证，能更准确定位问题；

• 完整执行轨迹 (Trajectory) 评测：分析 Agent 从头到尾的动作序列是否合理，高级一点还能做与「最优路径」对比。

• 数据管理与标注：A/B 测试

• 可视化与比较

• Paper：https://arxiv.org/pdf/2304.03442

• GitHub：https://github.com/joonspk-research/generative_agents

• https://twitter.com/drjimfan/status/1689315683958652928

• 记忆流（Memory Stream）: 长期记忆模块，以自然语言记录虚拟人个人经历的总列表。

• 思考（Reflection）: 将记忆综合成具有时间序列的高级推理，使得虚拟人能够对自身和他人做出总结，以便很好地操控自身行为。

• 规划（Plan）: 结论和当前环境转化为高级行动规划，然后递归地转化为详细的行为和反应。

• https://arxiv.org/pdf/2407.10943

• https://arxiv.org/pdf/2503.06580

1. 开源关注度：当然支持度是多多益善，代表的就是大家的认可度，但是，关注度 == 认可度 != 好产品，行业的竞争其实导致了很多的重复性产品，个人认为同质性产品差异不大，最后有没有胜出者就犹未可知了，ToB的应用并没有太大门槛，自建成本也不是很高

2. 语言特性：前端、后端、算法，比如前端vue、JS、ST，如今的agent产品主打一个可拖拽，LLM的统一导致并没有太多的算法成分，唯一一个比较重的大概就是RAG了，存在一定的定制化，未来大概就是一个tool工具的存在。

3. 能力范围：项目是为了解决什么样的问题，流程编排、RAG、agent等，支持的能力怎么样（阅读理解、问答、检索）。

• Dify深度评测

• langflow深度评测

Document QA

Memory chatbot

Math Agent flow

Sequential tasks agent

Starter flow for Sequential Tasks Agent

Travel planning agent

• Flowise深度评测

• FastGPT深度评测

Multi-Agent Framework:

• maxKB深度评测

• Langchain-Chatchat深度评测

• anything-llm深度评测

• LightRAG深度评测