五一节假日期间，有一个同事想本地部署大模型，在群里询问，我们都给他推荐了 Nvidia 的卡，结果他去刷 B 站，选择了 AMD AI MAX+ 395 。
难道小白真的就这样被割韭菜吗？
AMD那玩意儿我试过，插件配置就得折腾一晚上，最后速度还比同价位的N卡慢一半。新手图便宜真别碰，光是环境适配的坑就够你受的，社区资源差太多了，出了问题根本搜不到解法。
小白弱弱问一下……是不是因为AMD的卡便宜很多啊？我看B站上有些教程说用ROCm也能跑，但步骤好像特别复杂，不太确定实际用起来到底差别有多大。
跑题说个别的，楼主你们公司还招人吗？最近也在看本地部署的岗位。
笑死，又来这种“为什么还有人觉得”的帖子了，下次是不是要问“为什么还有人用Windows不用Linux”啊？每个人需求预算不一样，爱用啥用啥呗。
顶，等个详细对比测试。
其实关键看具体模型和量化方式。我之前用7900XTX跑Q4的llama，先装好ROCm5.7，ubuntu22.04，然后pip装torch带rocm后缀的版本，记得export几个环境变量指向GPU，跑起来其实还行，但确实有些冷门模型会报奇怪的内存错误。