1.5K行纯Java手搓LLM推理引擎，PagedAttention都实现了，学习党狂喜

Github精品资源
1

扒到个宝藏项目。作者用纯Java写了个极简LLM推理引擎，别看代码只有1.5K行左右，现代推理服务的几个核心技术全齐了：分页KV cache、前缀缓存、连续批处理、分块预填充，连抢占恢复都有。灵感来自nano-vllm，纯CPU推理，用Java的Vector API做SIMD加速，目前支持Qwen3 dense系列，0.6B亲测能跑。说实话性能肯定别指望跟vLLM掰手腕，这东西的价值在于教学：vLLM几十万行代码劝退无数人，这个1.5K行你一个周末能读完，PagedAttention到底怎么回事一下就通了。Java党还额外多一层感动，谁说搞推理只能python。

2

建议作者写个系列文章，这种项目配讲解才是完全体

3

写了十年Java第一次见拿它搞推理引擎，必须拉下来读一遍

4

Vector API现在成熟了吗，之前还是孵化状态

5

还是incubator，但跑这个够用，就是要加启动参数

6

读源码学原理这条路是对的，跑分是另一回事

7

1.5K行讲透PagedAttention，比论文好啃多了

8

Java党真的哭了，终于不是二等公民

9

周末已排上，配合nano-vllm对照着读