这个东西DevDay上没怎么被大伙讨论,但做业务的应该会喜欢。
Decisions API:你给一段文本或图片当上下文,再给一个问题和一组固定答案,它从里面挑一个,带置信度结构化返回。底下是小模型Luna,大概150毫秒出结果,官方说比走常规API调Luna快10倍左右。
适合的地方很明确:
客服工单分到哪个队列
内容审核该走哪套规则
agent编排里那种下一步走A还是走B的节点
实时业务规则兜底
之前我们自己拿小模型加json schema硬拼这个,延迟动不动四五百毫秒,还得处理它瞎输出不在选项里的答案。
想问下有人测过置信度准不准?要是分数能直接拿来做阈值,人工复核那层能省不少