上下文窗口限制了哪些输入?

上下文窗口描述的是容量,不代表模型一定能准确利用窗口内的每一条信息。一个较大的窗口可以容纳更多资料,但资料的顺序、相关性、冲突程度和任务复杂度仍会影响结果。不同模型对输入与输出的预算规则也可能不同,因此实际可放入的文本量应以所用模型的当前文档和接口返回值为准。

长对话和长文档如何占用窗口?

模型把文字切分为 token,中文字符、英文单词、代码和表格转换后的 token 数并不相同。一次请求中的指令、聊天记录、文件摘录、工具返回值以及预留的回答空间,都要纳入预算。若系统超过上限,调用可能报错,或由应用在发送前截断、摘要部分内容。截断若恰好丢掉关键约束,就可能出现前后口径不一致。

例如,分析助手需要阅读多份销售报告。直接把所有报告装入输入,适合资料较少且需要逐段比较的情况;资料持续增长时,可先检索相关段落,再把来源和必要背景送入模型。选择哪种方式,应看任务是否需要全局阅读、检索是否可靠,以及延迟和成本要求。

窗口更大还需要检索吗?

上下文工程决定如何在有限容量内安排指令、证据、工具结果和历史;RAG 通过检索从更大的知识集合中选出少量材料。它们都在处理“给模型什么信息”,但上下文窗口本身只是模型能力边界。扩容不能自动解决过期信息、访问权限或业务定义冲突;检索也可能漏掉关键内容。因此,长上下文与 RAG 可以组合使用,并通过任务测试决定分配方式。

关于企业 Agent 如何选择和使用业务上下文,可继续阅读AI 上下文层及从数据到上下文的实践(英文)。

常见问题

上下文窗口等于记忆吗?

不等于。窗口只覆盖当前调用可见的信息;跨会话记忆需要由应用保存,并在需要时重新取回。

窗口越大,答案一定越准吗?

不一定。更多内容也可能带来噪声。应测试模型能否找出关键证据并正确处理相互矛盾的信息。

如何避免超出窗口?

可限制检索片段数量、压缩历史记录、分步处理长文档,并为模型回答及工具结果预留容量;重要规则要避免在压缩时丢失。