150毫秒返回一个选项 OpenAI出了个只做选择题的Decisions API

这个东西DevDay上没怎么被大伙讨论,但做业务的应该会喜欢。

Decisions API:你给一段文本或图片当上下文,再给一个问题和一组固定答案,它从里面挑一个,带置信度结构化返回。底下是小模型Luna,大概150毫秒出结果,官方说比走常规API调Luna快10倍左右。

适合的地方很明确:
客服工单分到哪个队列
内容审核该走哪套规则
agent编排里那种下一步走A还是走B的节点
实时业务规则兜底

之前我们自己拿小模型加json schema硬拼这个,延迟动不动四五百毫秒,还得处理它瞎输出不在选项里的答案。

想问下有人测过置信度准不准?要是分数能直接拿来做阈值,人工复核那层能省不少

选项外瞎输出确实是老大难 官方兜住就好

价格呢 按次还是按token

置信度这种东西别全信 还是抽样人工看

这个对客服分单太对口了

有benchmark吗 跟自己微调小分类器比谁准

150ms是在美西测的吧 我们这边还得加网络延迟

国内调用加个两三百毫秒正常