给主力模型接了个能派活给别家的口子 跑了近两百次对比

有人写了个 MCP 服务,挂上去之后主力那边能把子任务甩给别家模型——GPT、DeepSeek、GLM,甚至本地跑的 Qwen 都行,不用离开你原来那个界面。

有意思的是作者顺手做了组对照:同一批任务,一百九十多次跑测,用的是不公开的测试用例,防止有人背题。结论没那么戏剧化——纯写代码主力自己上确实稳,但那些体力活,改格式、翻文档、批量改注释,交给便宜的模型质量看不出差别,成本能砍下来一大截。

作者自己也说了,做这个纯粹是为了给自己的配置做决定,顺手才开源。我最看重的是那套测试用例,比那些只贴结论的评测有说服力多了。

一百九十多次样本量够吗 感觉方差会很大

体力活外包这个思路我早就想干了

确实不算多 他自己也标了这只是自用参考

地址呢 想自己跑一遍

仓库在他帖子里 搜MCP delegate能找到

这波是真省钱 我一个月光改注释就烧不少

隐藏用例这点加分 不然benchmark都是背出来的

本地Qwen那档跑起来慢不慢