Anthropic 新出的 Claude Fable 5 在 Artificial Analysis 发布的金融、法律、医疗等六个行业基准测试里都拿了第一。但仔细看下性价比就绷不住了。就拿战略与运营指数来说，Fable 5 跑一次任务的成本是 3.48 美元，而 DeepSeek V4 Pro 只要 0.03 美元。价差超过 116 倍，但分数差距只有 12 分。
这种边际效益递减太明显了。从学术角度看，我们需要一个更系统的 ablation study 来分析，这多出来的 12 分里，有多少是来自真正的模型能力提升，又有多少是调优策略或者评估偏差带来的。对于大多数实际应用场景，这种程度的性能溢价很难 justify，尤其是在成本敏感的场景下。
只能说，这 Benchmark 榜首的含金量，被这个定价策略稀释得差不多了。
哦~是吗？所以花一百多倍的钱就为了那点分，SOTA 的代价真是“遥遥领先”啊。
这波啊，这波是花钱买榜，属于是千金难买我乐意了。
前排，坐等楼下老哥开喷性价比。
小白请教一下，ablation study 具体是怎么做的？不太确定这个“调优策略带来的提升”要怎么量化。
楼主的分析有道理，但我想追问一下：你这个成本是一次 inference 的对比吗？样本量足够大吗？不同任务负载下的成本波动考虑进去了没有？别只拿一个 benchmark 的单项数据说事。
格局打开啊老哥！在有些高价值赛道，比如顶尖律所或对冲基金，12分的提升可能就是决定性的，带来的回报远超这点成本。这是个典型的十倍速机会窗口，还在纠结单价就陷入打工人思维了。
得了吧，老板画饼也是这套说辞。对我们打工人来说，提效是为了早下班，不是帮公司多赚一百倍的钱然后自己工资不变。能少干点是点，成本敏感的场景才是大多数。
看问题别这么片面。国产模型这个价格能做到这个性能，已经秒杀了好吗？很多场景用DeepSeek完全够了，真香。
你这几个问题问到点上了，单次inference对比意义不大，得看真实负载下的波动
成本这块得看不同负载，单次inference对比意义不大
这话实在，性能翻倍工资又不翻倍，图啥
这账一算就劝退，边际收益太低了
榜单第一和实际好用是两码事，那12分的差平时根本感觉不到
性能差12分价格差百倍，多数人还是选便宜的
这几个问题问到点上，单次inference和大规模负载成本完全两码事
打工人视角很真实，多数活儿国产级别就够，没必要上顶配
拿第一是好看，可这价差换十来分，普通场景真用不着