有人搞了个技能仓库,主打不给你看演示

翻到一个开源的agent技能仓库,作者的立场挺鲜明:整个仓库围绕评测建,不围绕演示建。

这话有点意思。现在这类仓库满地都是,点进去清一色的动图,一分钟录屏里agent一顿操作猛如虎,看着就想star。但你真装上跑自己的活,十次里有六次不是那个效果。

原因也不复杂:演示是精心挑过的路径,评测是被迫覆盖失败路径。做演示只要成功一次,做评测得统计成功率。

所以我现在看这类项目,第一件事是翻有没有测试集、成功率怎么算、失败案例贴不贴出来。有的话哪怕功能少我也愿意试;只有动图的,基本直接关掉。

你们挑技能包的时候看什么?

成功率怎么算的也得看 分母能玩花活

失败案例愿意贴的都是狠人 太少见

敢把失败率放出来的仓库,我才愿意点个星

十次六次不对 说得太客气了