有人开源了个从零写的推理引擎，C++ 加 CUDA，目前只专门支持两个特定的检查点。数字挺唬人：单请求单卡，六万五千 token 的解码全程平均五百四十三 tok/s。
为什么能这么快，核心就一句话：放弃通用性。通用框架要处理各种模型结构、各种量化、各种批处理策略，抽象层一层套一层；他直接针对固定的模型形状把算子融死，内存布局也是照着这个模型量身定的，该省的判断全省了。
所以这东西的价值不在于拿来直接用于生产，在于它把上限量出来了。你现在跑通用框架掉了多少性能，心里有个数。
我比较想知道的是长上下文那段的曲线，六万五千 token 还能保持这个均值，说明缓存管理下了功夫。有跑过的佬说说实测？