排查了两天，越查越迷糊。同一个开源模型，在某家云推理平台上跑评测集，和我自己vLLM起的服务跑，结果能差好几个点。解码参数都锁死了，贪心解码，温度0，理论上应该逐token一模一样才对。翻了一圈也没找到专门分析这事的文章。我猜的方向：量化版本不一样、kernel实现差异、batch里的浮点累加顺序不同。但几个点的差距也太大了吧，感觉不只是浮点误差能解释的。有没有兄弟深挖过这个坑，云平台是不是有些悄悄上了量化没告诉你？
所以生产环境重要的活我都自己部署，不敢全信平台
大概率量化了，fp8当fp16卖，老传统
自己下权重跑一遍对logits，一对就现形
有benchmark吗，样本量多大，差几个点也可能是波动
我们对过某平台，first token的logits就对不上