Hermes 架构:从记忆与会话,到上下文工程(01)

Hermes架构聚焦Agent的记忆系统与上下文工程两大核心:记忆系统通过用户偏好、项目事实和会话历史三层分离实现信息生命周期管理,采用冻结快照保障性能;上下文工程则按Stable/Context/Volatile三层组织输入,结合工具输出截断与结构化压缩,确保模型仅接收当前任务所需的关键信息,提升推理准确性与资源效率。

⏱ 约 7 分钟读完 ✍️ 3058 字

很多人会把 Agent 的“记忆”理解为:模型能记住之前的聊天内容。

这其实不准确。一个可靠的 Agent,不能只是不断堆积历史消息;它需要明确区分:哪些信息应该长期保存,哪些信息属于某次会话,哪些内容应该进入当前模型上下文,以及上下文过长时如何处理。

Hermes 的架构正是围绕这两个问题展开:

  1. 记忆系统与会话管理:信息保存在哪里、何时读取、如何检索。
  2. 上下文工程:当前这一轮,模型究竟应该看到哪些内容。

一、记忆系统与会话管理:让 Agent 记住该记住的内容

Hermes 不把所有历史内容都当作“记忆”,而是把不同生命周期的信息放在不同位置。

长期稳定信息  → USER.md / MEMORY.md
完整会话历史  → state.db
当前推理输入  → 模型上下文

这三个层次解决的不是同一个问题。

1. USER.md:保存用户偏好

USER.md 用来记录用户长期稳定的偏好,例如:

  • 用户习惯使用中文交流;
  • 用户主要使用 Windows 和 PowerShell;
  • 用户希望代码修改尽量小,不要随意重构;
  • 用户正在开发 RAG、Agent 或某个具体项目。

它的重点不是保存“用户说过的每一句话”,而是提炼为之后仍然有价值的行为规则。

例如,“今天用户问了一个 CORS 报错”不一定应该写进 USER.md;但“用户的本地前端运行在 Windows 环境,常用端口是 3000”可能在后续排查中仍然有价值。

所以,USER.md 更像是 Agent 对用户建立的长期画像。

2. MEMORY.md:保存项目和环境事实

如果说 USER.md 是“我该如何与这个用户协作”,那么 MEMORY.md 就是“我需要记住哪些项目事实”。

它通常可以保存:

  • 项目的目录位置;
  • 虚拟环境与 Python 版本;
  • 重要架构约定;
  • 已经验证过的技术结论;
  • 历史踩坑与解决方案;
  • 用户明确提出的工程边界。

例如:

ProcurePilot_Agent 必须使用指定的 Python 虚拟环境。
Rag_Agent 的本地 API 需要允许前端地址跨域访问。

这类信息不是某一轮对话的临时内容,而是后续多次任务可能重复使用的工程知识。

3. 为什么长期记忆要使用冻结快照?

Hermes 的一个关键设计是 frozen snapshot(冻结快照)。

会话开始时,系统读取 USER.md 和 MEMORY.md,并把它们作为当前会话系统提示词的一部分。即使会话中新增或修改了记忆,磁盘文件可以立即更新,但当前会话通常不会立刻重建这部分提示词。

乍看之下,这像是“新记忆没有马上生效”,但实际上是一个性能设计。

因为模型服务往往会缓存稳定的 Prompt 前缀。如果每次写入记忆都改变 System Prompt,缓存就会失效,token 成本和响应时间都会增加。

因此,Hermes 把两件事分开:

  • 写入记忆:立即保存到磁盘,避免信息丢失;
  • 加载到系统提示词:在下一次会话或上下文重建时生效。

这样既能保存新信息,也能维持当前会话的上下文稳定。

4. state.db:保存完整会话,而不是塞进 Prompt

长期记忆只能保存压缩后的结论,但用户和 Agent 的完整沟通仍然需要保留。

Hermes 使用 SQLite 的 state.db 保存会话数据,包括:

  • 每条消息;
  • session_id;
  • 会话元数据;
  • 可供全文检索的历史内容。

这里的核心思想是:会话历史应该可检索,而不是默认全量注入。

例如,用户问:

上次排查的那个 CORS 问题,最后原因是什么?

系统不需要把全部历史对话放入当前上下文。它可以根据 “CORS”“原因”“排查” 等关键词,在 state.db 中检索相关消息,再把最有价值的结果提供给模型。

这就是 session_search 一类能力的价值:它让 Agent 像人一样“回忆”旧内容,而不是背诵整段聊天记录。

5. 长期记忆与会话历史的边界

这几个概念很容易混淆,但它们应该严格区分:

内容类型应放位置典型内容
用户长期偏好USER.md中文回答、PowerShell、沟通风格
项目和环境事实MEMORY.md架构规则、环境约定、已验证结论
全量聊天记录state.db每一轮消息、工具调用、历史讨论
当前推理材料Prompt当前问题、相关历史、工具结果

简单来说:

USER.md 和 MEMORY.md 负责“长期记住”,state.db 负责“完整保存”,当前 Prompt 负责“这一次思考”。


二、上下文工程:让模型在正确时间看到正确内容

会话数据保存下来,不代表应该全部发送给模型。

LLM 的上下文窗口有限,输入越长,成本越高,模型也越容易被无关信息干扰。因此,Hermes 的第二个核心设计是上下文工程。

它的基本组织方式是:

Stable → Context → Volatile

也就是从稳定内容,到项目内容,再到每轮变化的运行时内容。

1. Stable:尽量保持不变的系统前缀

Stable 层是最稳定的内容,通常包括:

  • System Prompt;
  • SOUL.md 中定义的行为和人格;
  • 工具定义;
  • Skills 索引;
  • 基础安全规则。

这类信息不会因为用户每说一句话就发生变化,因此适合放在上下文最前面。

这样做不仅结构清晰,更重要的是可以提高 Prompt Cache 的命中率。模型服务发现前缀相同,就可能复用此前处理过的内容,从而降低延迟和 token 消耗。

2. Context:当前项目的协作规则

Context 层通常包含 AGENT.md 一类项目约束,例如:

  • 当前项目的目录结构;
  • 编码规范;
  • 测试要求;
  • 运行命令;
  • 禁止修改的边界;
  • 项目特有的架构约定。

它比 Stable 层更具体,但在一个项目、一个会话中通常也比较稳定。

可以把它理解成:Stable 层回答“你是谁、你能做什么”,Context 层回答“你正在什么项目里工作、要遵守什么规则”。

3. Volatile:每一轮动态变化的内容

Volatile 层才是每轮真正变化的部分,例如:

  • 当前用户消息;
  • 检索到的历史会话片段;
  • 当前任务关联的文件内容;
  • 新加载的 Skill;
  • 新调用的工具;
  • 工具执行结果;
  • 当前运行状态。

这些内容不能固定,因为它们本身就是 Agent 正在处理的任务信息。

Hermes 的关键策略是:稳定内容在前,动态内容持续追加在后。

这样,用户提问、工具调用、文件读取等操作,只会影响 Prompt 的后半段,而不会破坏前面已经缓存的稳定前缀。

4. 工具输出:为什么需要头尾截断?

工具输出是上下文膨胀的主要来源之一。

一次日志查询、网页抓取、测试执行或 git diff,可能返回几万字符。若全部塞回 Prompt,不仅浪费 token,还会让模型很难抓住真正的异常和结论。

Hermes 的做法是对过长输出进行头尾截断:

保留工具输出开头
      ↓
删除冗长中间内容,并显示截断提示
      ↓
保留工具输出结尾

因为开头通常包含命令、输入和初始上下文;结尾通常包含最终状态、错误栈或测试摘要。

例如,一个测试日志的前面会告诉模型执行了什么测试,最后会告诉模型测试是通过还是失败。中间大量重复日志即使被截断,也不会影响主要判断。

如果确实需要查看完整结果,Agent 应该通过文件读取、搜索或其他工具按需检索,而不是默认让模型吞下全部内容。

5. 上下文压缩:不是删除,而是保留任务结构

当整个会话越来越长时,工具截断已经不够,Hermes 还需要进行上下文压缩。

压缩后的结构可以理解为:

早期关键目标
     +
中间过程的结构化摘要
     +
最近几轮原始消息与工具调用

这个策略解决了“只保留最近 N 轮”的问题。

因为最近几轮虽然新,但可能只是在讨论一个细节;真正的任务目标、用户约束和关键决策,反而出现在很早之前。如果早期目标被简单丢弃,Agent 就可能在任务中逐渐偏离方向。

因此,压缩的目标不是减少文字,而是保留任务的连续性:

  • 任务最初要解决什么;
  • 已经完成了哪些事情;
  • 做过哪些关键决策;
  • 当前卡在哪里;
  • 下一步应该做什么。

结语:Hermes 的重点不是“记忆更多”,而是“信息分层更清楚”

Hermes 的设计最值得借鉴之处,不是它用了 Markdown、SQLite 或某个特定压缩器,而是它明确区分了不同信息的生命周期。

长期偏好与工程事实 → 写入记忆文件
完整会话记录         → 持久化到 SQLite
历史相关内容         → 搜索后按需注入
当前任务材料         → 动态追加到 Prompt
上下文过长           → 截断与压缩

一个好的 Agent,不应该把所有资料、工具输出和历史对话都塞给模型。

它应该知道:什么需要长期保留,什么应该完整存档,什么需要按需检索,什么必须留在当前上下文中。

这才是从“能聊天的模型”走向“能持续协作的 Agent”的关键一步。


本文首发于 CSDN:Hermes 架构:从记忆与会话,到上下文工程(01)