ARC-AGI-3 这个测试集总共 68 道题，GPT-6 Astra 试了一堆，最后只解出来 5 道。其中两道，一个反证一个正证，分别花了 218 美元 15 小时和 247 美元 16 小时。这效率，这成本，是不是有点太感人了？
现在就开始吹“AGI 近在眼前”，未免太早了点。模型的表现严重依赖所谓的“特定测试工具链”（custom harness），而且对于已知题目集，完全可以用监督强化学习去针对性训练。这到底是测出了模型的通用推理能力，还是测出了对特定任务集的拟合程度？数据呢？对照实验呢？别拿感觉说事。
邪道但好使，你们这么玩过吗？ARC题我之前用GPT-4 Turbo也能解一些，关键是得用特定prompt格式绕过模型对“考试题”的敏感，让它以为是在玩解谜游戏。这么prompt一下，成本能降不少。工具不行多半是你不会调。
哦~是吗？两万多美金就解出五道题，效率感人，这波啊，这波是重金求了个“已读乱回”。赢麻了。
小白请教一下，什么是“特定prompt格式绕过敏感”啊？是不是让模型别觉得自己在考试，它反而能发挥更好？我不太确定，大佬轻喷。
人类的本质是复读机，AGI的本质是钞能力。这波是氪金玩家发现副本还是太硬，属于是人民币玩家也沉默了。
这个真的绝了！才出来几天就有人测ARC-AGI了？必须冲！这说明方向对了啊，成本问题以后迭代几次就解决了，再不上车就晚了！楼主别光看现在，要看潜力！
差距还在。真要干活测这种硬核推理，还是Claude顺手，GPT那个味儿对了但成本控不住。国产和海外顶尖都在追，但现阶段干正事还得看谁家工具链和成本控制做得好。光有潜力不够，样本量多少？有横向对比数据吗？
之前试过换成谜题描述，提升有限，题本身难才是主因
一道题两百多刀，这单价我看着都替它疼
把题包装成解谜这招我也用过，短题有效，长题照样翻车