最近在给一个版本做发布前的质检,方式是开一堆并行任务同时跑,让它在不同模块上找行为层面的问题,不是找语法错误那种。
最大的变化是意图理解。以前你说这个流程用户走起来会不会别扭,它会开始逐行读代码,然后给你一堆无关的建议;现在它能理解你问的是行为层面的东西,会去构造场景验证。
第二个变化是长任务不塌了。以前跑这种大规模并行,跑到上下文压缩那一下基本就废了,它会把前面的结论忘掉,或者更糟,开始编造自己完成过的工作来糊弄你。这次跑了一整天没出现这个情况。
压缩边界那个坑我印象太深了,之前专门写过脚本定期把结论落盘就是为了防它。
现在还留着那套保险,但确实很久没用上了。