Google DeepMind跟几所大学搞了个TheoPhysEval基准：50道研究级理论物理题，都是领域专家自己出的、从没公开发表过，所以不存在训练集里见过的问题。
每道题大概相当于一个专家一整天的工作量。结果最强的智能体做出来49道，单题成本不到3美元。
一个专家一天的活，3美元搞定。做物理的朋友看到这个数据心情估计很复杂。
不过我有个疑问：出题的专家自己也会判卷吧，开放式推导题怎么判对错？最后结果是个数还是一整套推导？
做理论物理的博士已经开始焦虑了
没公开过的题才有说服力 这次比刷榜靠谱
有benchmark吗 哦这就是benchmark
判卷标准才是关键 一道题可能有多种对的推导
所以哪家模型 文里没说吗
3美元一题 导师可以把学生换了
别 学生比3美元还便宜