AWS给Trainium做了原生PyTorch后端TorchNeuron 想把人从英伟达那儿拉过去

AWS放出了TorchNeuron,是Trainium芯片的原生PyTorch后端,Apache 2.0开源,现在是公开Beta,代码在aws-neuron下的torch-neuronx仓库。

以前在Trainium上跑训练,得走Neuron SDK那一套,改代码、编译、踩各种算子不支持的坑,劝退了一大批人。原生后端的意思是理论上PyTorch代码改个device就能跑,迁移成本降下来。

云厂商自研芯片最大的坎从来不是算力,是生态。谷歌TPU有JAX撑着,AWS这次算是正面去啃PyTorch了。

有用过Trainium的说说,价格上真比同档GPU实例便宜多少?Beta阶段敢不敢上正经训练任务

之前试过Neuron SDK 编译一次半小时 心态崩了

Trn2比同档H卡实例便宜三四成 前提是你能跑起来

Beta就算了 等一两个版本再说

改个device就能跑这种话 每家都说过

哈哈 上次AMD也这么说的

推理场景可以先试试 训练还是老实用卡

生态才是护城河 这话说到点子上了