PyTorch大会上还有一个容易被忽略的：llm-d发了1.0。这是IBM、Red Hat、Google这些家主导的开源项目，Kubernetes原生的分布式推理服务框架，口号是任意模型、任意加速器、任意云。
简单说就是你有一堆卡、一个K8s集群，想把大模型推理服务铺开、做负载调度、做缓存感知路由，以前得自己拼vLLM加各种胶水，现在有个现成的框架托底。1.0意味着官方认为可以上生产了。
公司里刚好在折腾私有化部署，之前用vLLM单机多卡还行，一上多节点就各种玄学。有用过的说说吗，跟直接上vLLM加Ray比，到底省了多少事？