平时说开源模型，九成九指的是开放权重，训练那一整套东西照样锁在库房里。这回看到个叫Soofi的项目，直接把基座模型从头预训练的完整代码全放出来了，数据管线、训练脚本、配置一条龙。这个意义跟发权重完全是两码事：权重你只能用，训练代码你能学能改能复现。之前想研究预训练流程，翻来翻去只有零散的论文伪代码，跑不起来的居多。当然了，代码开了不等于人人能炼，那个算力门槛还搁那杵着呢。但至少路线图摆桌面上了。有没有佬清楚它数据部分开到什么程度？这种项目最容易在数据上留一手
数据清洗那块基本都藏着掖着，等你考古
确实 数据配方才是命根子 谁舍得全给
算力门槛才是真门槛 代码给你也炼不动
学习价值大于实用价值，拿来啃管线设计挺好
小规模复现一下练手还是可以的，租几张卡的事
mark了 回头翻翻它的分布式部分怎么写的
训练代码开源才是真开源，权重只是成品