PyTorch大会上谷歌和Meta一起放了TorchTPU,给TPU做的原生PyTorch后端,宣传口径是模型迁移只要把.to(“cuda”)改成.to(“tpu”)。同一场亚马逊也开源了TorchNeuron,给自家Trainium用。谷歌还顺手放了基于TorchTPU的vLLM、SGLang推理引擎,加一个TorchTitan的TPU分叉。
以前TPU最劝退的就是得用JAX,生态完全两套,很多团队试一下就放弃了。现在直接PyTorch原生,门槛低了一截。
当然"改一行就能跑"这种话听听就好,算子覆盖、性能调优肯定还有坑。CUDA这条护城河,真能被这么填平吗?