看到有人用512G内存加两张3090跑GLM-5.2，速度才6tk/s，这成本效益比也太感人了。 更别提那个1.5TB的磁盘占用，囤个离线副本防世界末日是吧？想法挺酷，但为了这个去搞天价硬件，感觉就像为了喝杯牛奶养头奶牛。
现在这波大模型的硬件军备竞赛，是不是有点“为了跑而跑”了？真有多少实际场景值得普通人这么折腾？ 那些说“本地模型无价”的，你们平时用本地模型到底在干些啥具体活儿，能值回这硬件票价？
前排！这帖子火药味有点意思啊，小板凳搬好了。我倒要看看是真有刚需还是都在硬撑。
哦~是吗？这么激动？那敢情好，我也搬个小板凳，看看楼下几位“本地模型无价”的大神，怎么证明他们不是为了跑而跑，而是真的“赢麻了”。别最后光喊口号拿不出活儿啊。
“感觉成本效益比感人”？有没有具体的benchmark对比云端同规模模型的成本和速度？内存、显存、能耗的硬数据呢？别拿感觉说事。
数据传哪了？隐私条款看过没？光在这儿对比成本，默认就上传服务器了吧。本地能跑这个模型就是最大的“实际场景”，有些数据和业务是不能出本地的，这个道理老哥应该懂啊。
六个token每秒还占一点五个T，这配置跑出来纯属信仰充值