很多人会把 Agent 的“记忆”理解为:模型能记住之前的聊天内容。
这其实不准确。一个可靠的 Agent,不能只是不断堆积历史消息;它需要明确区分:哪些信息应该长期保存,哪些信息属于某次会话,哪些内容应该进入当前模型上下文,以及上下文过长时如何处理。
Hermes 的架构正是围绕这两个问题展开:
- 记忆系统与会话管理:信息保存在哪里、何时读取、如何检索。
- 上下文工程:当前这一轮,模型究竟应该看到哪些内容。
一、记忆系统与会话管理:让 Agent 记住该记住的内容
Hermes 不把所有历史内容都当作“记忆”,而是把不同生命周期的信息放在不同位置。
长期稳定信息 → USER.md / MEMORY.md
完整会话历史 → state.db
当前推理输入 → 模型上下文
这三个层次解决的不是同一个问题。
1. USER.md:保存用户偏好
USER.md 用来记录用户长期稳定的偏好,例如:
- 用户习惯使用中文交流;
- 用户主要使用 Windows 和 PowerShell;
- 用户希望代码修改尽量小,不要随意重构;
- 用户正在开发 RAG、Agent 或某个具体项目。
它的重点不是保存“用户说过的每一句话”,而是提炼为之后仍然有价值的行为规则。
例如,“今天用户问了一个 CORS 报错”不一定应该写进 USER.md;但“用户的本地前端运行在 Windows 环境,常用端口是 3000”可能在后续排查中仍然有价值。
所以,USER.md 更像是 Agent 对用户建立的长期画像。
2. MEMORY.md:保存项目和环境事实
如果说 USER.md 是“我该如何与这个用户协作”,那么 MEMORY.md 就是“我需要记住哪些项目事实”。
它通常可以保存:
- 项目的目录位置;
- 虚拟环境与 Python 版本;
- 重要架构约定;
- 已经验证过的技术结论;
- 历史踩坑与解决方案;
- 用户明确提出的工程边界。
例如:
ProcurePilot_Agent 必须使用指定的 Python 虚拟环境。
Rag_Agent 的本地 API 需要允许前端地址跨域访问。
这类信息不是某一轮对话的临时内容,而是后续多次任务可能重复使用的工程知识。
3. 为什么长期记忆要使用冻结快照?
Hermes 的一个关键设计是 frozen snapshot(冻结快照)。
会话开始时,系统读取 USER.md 和 MEMORY.md,并把它们作为当前会话系统提示词的一部分。即使会话中新增或修改了记忆,磁盘文件可以立即更新,但当前会话通常不会立刻重建这部分提示词。
乍看之下,这像是“新记忆没有马上生效”,但实际上是一个性能设计。
因为模型服务往往会缓存稳定的 Prompt 前缀。如果每次写入记忆都改变 System Prompt,缓存就会失效,token 成本和响应时间都会增加。
因此,Hermes 把两件事分开:
- 写入记忆:立即保存到磁盘,避免信息丢失;
- 加载到系统提示词:在下一次会话或上下文重建时生效。
这样既能保存新信息,也能维持当前会话的上下文稳定。
4. state.db:保存完整会话,而不是塞进 Prompt
长期记忆只能保存压缩后的结论,但用户和 Agent 的完整沟通仍然需要保留。
Hermes 使用 SQLite 的 state.db 保存会话数据,包括:
- 每条消息;
session_id;- 会话元数据;
- 可供全文检索的历史内容。
这里的核心思想是:会话历史应该可检索,而不是默认全量注入。
例如,用户问:
上次排查的那个 CORS 问题,最后原因是什么?
系统不需要把全部历史对话放入当前上下文。它可以根据 “CORS”“原因”“排查” 等关键词,在 state.db 中检索相关消息,再把最有价值的结果提供给模型。
这就是 session_search 一类能力的价值:它让 Agent 像人一样“回忆”旧内容,而不是背诵整段聊天记录。
5. 长期记忆与会话历史的边界
这几个概念很容易混淆,但它们应该严格区分:
| 内容类型 | 应放位置 | 典型内容 |
|---|---|---|
| 用户长期偏好 | USER.md | 中文回答、PowerShell、沟通风格 |
| 项目和环境事实 | MEMORY.md | 架构规则、环境约定、已验证结论 |
| 全量聊天记录 | state.db | 每一轮消息、工具调用、历史讨论 |
| 当前推理材料 | Prompt | 当前问题、相关历史、工具结果 |
简单来说:
USER.md和MEMORY.md负责“长期记住”,state.db负责“完整保存”,当前 Prompt 负责“这一次思考”。
二、上下文工程:让模型在正确时间看到正确内容
会话数据保存下来,不代表应该全部发送给模型。
LLM 的上下文窗口有限,输入越长,成本越高,模型也越容易被无关信息干扰。因此,Hermes 的第二个核心设计是上下文工程。
它的基本组织方式是:
Stable → Context → Volatile
也就是从稳定内容,到项目内容,再到每轮变化的运行时内容。
1. Stable:尽量保持不变的系统前缀
Stable 层是最稳定的内容,通常包括:
- System Prompt;
SOUL.md中定义的行为和人格;- 工具定义;
- Skills 索引;
- 基础安全规则。
这类信息不会因为用户每说一句话就发生变化,因此适合放在上下文最前面。
这样做不仅结构清晰,更重要的是可以提高 Prompt Cache 的命中率。模型服务发现前缀相同,就可能复用此前处理过的内容,从而降低延迟和 token 消耗。
2. Context:当前项目的协作规则
Context 层通常包含 AGENT.md 一类项目约束,例如:
- 当前项目的目录结构;
- 编码规范;
- 测试要求;
- 运行命令;
- 禁止修改的边界;
- 项目特有的架构约定。
它比 Stable 层更具体,但在一个项目、一个会话中通常也比较稳定。
可以把它理解成:Stable 层回答“你是谁、你能做什么”,Context 层回答“你正在什么项目里工作、要遵守什么规则”。
3. Volatile:每一轮动态变化的内容
Volatile 层才是每轮真正变化的部分,例如:
- 当前用户消息;
- 检索到的历史会话片段;
- 当前任务关联的文件内容;
- 新加载的 Skill;
- 新调用的工具;
- 工具执行结果;
- 当前运行状态。
这些内容不能固定,因为它们本身就是 Agent 正在处理的任务信息。
Hermes 的关键策略是:稳定内容在前,动态内容持续追加在后。
这样,用户提问、工具调用、文件读取等操作,只会影响 Prompt 的后半段,而不会破坏前面已经缓存的稳定前缀。
4. 工具输出:为什么需要头尾截断?
工具输出是上下文膨胀的主要来源之一。
一次日志查询、网页抓取、测试执行或 git diff,可能返回几万字符。若全部塞回 Prompt,不仅浪费 token,还会让模型很难抓住真正的异常和结论。
Hermes 的做法是对过长输出进行头尾截断:
保留工具输出开头
↓
删除冗长中间内容,并显示截断提示
↓
保留工具输出结尾
因为开头通常包含命令、输入和初始上下文;结尾通常包含最终状态、错误栈或测试摘要。
例如,一个测试日志的前面会告诉模型执行了什么测试,最后会告诉模型测试是通过还是失败。中间大量重复日志即使被截断,也不会影响主要判断。
如果确实需要查看完整结果,Agent 应该通过文件读取、搜索或其他工具按需检索,而不是默认让模型吞下全部内容。
5. 上下文压缩:不是删除,而是保留任务结构
当整个会话越来越长时,工具截断已经不够,Hermes 还需要进行上下文压缩。
压缩后的结构可以理解为:
早期关键目标
+
中间过程的结构化摘要
+
最近几轮原始消息与工具调用
这个策略解决了“只保留最近 N 轮”的问题。
因为最近几轮虽然新,但可能只是在讨论一个细节;真正的任务目标、用户约束和关键决策,反而出现在很早之前。如果早期目标被简单丢弃,Agent 就可能在任务中逐渐偏离方向。
因此,压缩的目标不是减少文字,而是保留任务的连续性:
- 任务最初要解决什么;
- 已经完成了哪些事情;
- 做过哪些关键决策;
- 当前卡在哪里;
- 下一步应该做什么。
结语:Hermes 的重点不是“记忆更多”,而是“信息分层更清楚”
Hermes 的设计最值得借鉴之处,不是它用了 Markdown、SQLite 或某个特定压缩器,而是它明确区分了不同信息的生命周期。
长期偏好与工程事实 → 写入记忆文件
完整会话记录 → 持久化到 SQLite
历史相关内容 → 搜索后按需注入
当前任务材料 → 动态追加到 Prompt
上下文过长 → 截断与压缩
一个好的 Agent,不应该把所有资料、工具输出和历史对话都塞给模型。
它应该知道:什么需要长期保留,什么应该完整存档,什么需要按需检索,什么必须留在当前上下文中。
这才是从“能聊天的模型”走向“能持续协作的 Agent”的关键一步。
本文首发于 CSDN:Hermes 架构:从记忆与会话,到上下文工程(01)