微软研究人员提出一种新方法，可显著降低AI代理运行所需的令牌成本，同时大幅提升执行速度。该技术将令牌消耗减少30%，运行效率提升至原有速度的4倍。
核心技术机制
研究团队通过优化上下文窗口管理策略，在保持响应质量的前提下压缩冗余计算流程。新方法采用动态令牌分配算法，针对高频操作场景进行实时调度优化。
性能测试结果
在标准测试集验证中，新方案在复杂查询任务中将平均响应时间从2.1秒缩短至0.52秒，同时单次请求消耗的令牌数下降至原方案的0.7倍。
应用场景扩展
该优化特别适用于需要频繁调用大语言模型的工业级应用，企业部署后可在同等算力基础上支撑约2.8倍的用户并发量。
via Neowin
