现在到处都在吹AI搜索能多步推理,但DiscoBench这新基准直接打脸了。数据显示,模型遇到模糊查询时,如果只会反复搜索而不向用户澄清,正确率只有51.9%,还不如瞎猜。就算是表现最好的模型,整体准确率也才43%。但只要把查询里的歧义去掉,准确率能暴涨40个点。
问题根本不在搜索能力本身,而是这些agent缺少人类最基本的直觉:不确定时就该问。把模糊查询扔给一个不会反问的系统,本质上就是GIGO。为什么大家总在堆砌搜索轮次,却不去优化这个最基础的交互逻辑?
现在到处都在吹AI搜索能多步推理,但DiscoBench这新基准直接打脸了。数据显示,模型遇到模糊查询时,如果只会反复搜索而不向用户澄清,正确率只有51.9%,还不如瞎猜。就算是表现最好的模型,整体准确率也才43%。但只要把查询里的歧义去掉,准确率能暴涨40个点。
问题根本不在搜索能力本身,而是这些agent缺少人类最基本的直觉:不确定时就该问。把模糊查询扔给一个不会反问的系统,本质上就是GIGO。为什么大家总在堆砌搜索轮次,却不去优化这个最基础的交互逻辑?
这么prompt一下其实能绕过去,我之前试过在query里加“请优先澄清XX具体指什么,然后再回答”,模型就会多问一句。邪道但好使,你们这么玩过吗?
哦~是吗?原来输赢不看AI多聪明,就看用户够不够啰嗦,厉害厉害。
前排蹲个后续,看哪家厂商会先抄这个“多问一句”的作业,坐等反转。
又是炒概念。你说的这个“邪道”prompt,多少人会这么写?三个月后你看用户是愿意每次自己加说明,还是直接换回传统搜索。泡沫总会破的。
这招临时管用,但真要落地不能指望每个用户都会写这种prompt