二百七十亿的模型塞进浏览器跑,权重压到一位

看到一个挺硬核的东西:把二百七十亿参数的模型量化到一位权重,靠浏览器里的图形接口直接跑起来,不用装任何东西,打开网页就能对话。数字听着荒诞,一位权重意味着每个参数只剩正负,绝大部分信息都被压掉了,效果肯定和原版差着距离。但它证明的事情比效果重要:本地推理的门槛正在往下掉,掉到普通人一个浏览器标签页的程度。这条路走通了,很多不方便把数据传出去的小场景就有了新解法,比如本地整理笔记、离线问答。缺点也很直白,首次加载要拉一大坨权重,显存吃紧的机器直接崩。你们试了吗,出的东西还能看吗?

效果肯定拉 但证明的方向对

浏览器里跑这么大,内存先扛不住吧

首次加载那一坨 我这网直接劝退

一位权重还能说人话 本身就挺离谱

打开网页就能跑 这个体验才是重点

我这台老本子直接标签页崩了