看到个项目号称能在十六G内存的普通机器上跑一千一百亿参数那档的模型，第一反应是标题党，点进去发现思路挺野。
核心不是压缩，是不装。它把权重按需从硬盘映射进来，只有当前这一层实际用到的部分才进内存，算完就让位。等于拿硬盘带宽换内存容量，模型有多大不重要，重要的是单层多大。
代价当然明显，速度受硬盘拖累，机械盘基本别想，固态也快不到哪去。适合的是那种不在乎等、就想在本机跑一次看看效果的场景，比如离线处理一批文件，睡一觉起来收结果。
真正的价值我觉得在门槛。以前想碰这个量级的模型，先掏一笔硬件钱；现在手上这台就能试，试完再决定要不要投入。
有实际跑过的报个速度？我猜个位数token每秒。