为什么截断历史可能丢失关键约束?
长对话和大型检索结果会持续占用模型输入。直接截断最早的信息虽然简单,却可能丢掉用户要求、已确认结论或禁止事项。上下文压缩要有选择地保留任务目标、必要证据、未解决问题和当前状态,让后续步骤仍能准确继续。它追求的是信息有效性,不只是字数变少。
怎样压缩对话、文档和工具结果?
一种做法是对历史对话生成摘要,记录已完成事项和待办;另一种做法是从检索片段里抽取与问题相关的句子,删除重复或无关段落。应用也可先保留原文的引用位置,只把简要要点送入模型,必要时再回读原文。对于结构化工具结果,应优先筛选字段和记录,而不是把整个表格转换成长文本。
压缩前要区分不能丢失的硬约束,如权限边界、指标口径和用户明确要求,与可以概括的背景讨论。摘要本身也可能产生误解,因此关键数据和引用最好保留原始链接或可回查标识。若系统多轮压缩摘要,错误还可能逐轮累积,需要定期与原记录对照。
压缩与上下文窗口如何配合?
上下文窗口规定单次调用的容量;压缩是在这个容量内安排信息的方法。窗口较大时仍可能需要压缩,因为大量无关内容会干扰定位证据。对于需要逐字引用的法律条款或代码,过度摘要可能破坏细节,应采用按需回读或分步处理,而非只保留概括。
企业 Agent 如何组织任务所需上下文,可继续阅读从数据到上下文的实践(英文)。
常见问题
压缩是否等于简单摘要?
不完全。摘要是一种方法,也可用字段筛选、去重、检索片段选择和结构化状态记录。
怎样发现压缩丢了重要内容?
用长任务测试集检查后续回答是否遵守原始约束、引用正确证据并保持状态一致。
是否应该保留全部原文?
对需要审计或回查的应用,通常应在存储层保留原始记录,即使模型输入只使用压缩版本。