How Long Contexts Fail ylc3000 2025-11-12 0 浏览 0 点赞 长文 《How Long Contexts Fail》 随着模型上下文窗口不断扩大，甚至支持百万级别的token，许多人期待这将打造出理想中的智能代理——把所有工具、文档、指令一股脑儿丢进去，模型自动搞定一切。 但事实是，长上下文并不等于更优回答。反而容易导致各种“上下文失败”： - 上下文污染：模型的幻觉错误被带入上下文，反复强化错误信息，导致代理偏离目标，陷入无效循环。 - 上下文干扰：上下文变得冗长，模型过度依赖过去的信息，忽略训练学到的新策略，表现出重复行为，创新能力下降。 - 上下文混淆：上下文中无关或过多工具信息让模型难以抉择，导致错误调用无关工具，尤其是小模型表现更差。 - 上下文冲突：不同信息或工具描述间存在矛盾，模型早期错误假设无法修正，最终答案质量大幅下降。 特别是智能代理需要整合来自多源的上下文、分步骤调用工具、多轮推理和积累历史时，这些问题尤为突出。百万token的上下文窗口虽大，却带来了全新的挑战：错误信息累积、注意力分散、无关干扰、信息矛盾。 因此，单纯追求更大上下文窗口并非万能。合理管理上下文，动态选择信息、隔离有害内容、精简工具集，才是让智能代理稳定高效的关键。 未来将分享具体的上下文管理方法，帮助开发者避免这些陷阱，提升智能代理能力。 原文链接：www.dbreunig.com/2025/06/22/how-contexts-fail-and-how-to-fix-them.html 网闻录 How Long Contexts Fail