翻到个挺对胃口的小项目:纯C写的终端助手ai-cli,接本地模型驱动,整个玩意小到可以忽略不计。现在的AI工具一个比一个能吃,随便装个客户端几百兆起步,node全家桶再给你拖一坨依赖。这种反潮流的东西看着就舒坦:单文件级别的体积,编译完扔哪都能跑,老机器、小主机、随身携带都不挑。功能上肯定比不了那些大满贯客户端,就是终端里问问命令、处理点文本。但我一直觉得工具的价值密度比功能数量重要,百分之九十的场景其实就用那两个功能。已经在我那台吃灰的N100上跑起来了,配个量化小模型意外地够用。轻量党可以一试
终端党狂喜,正愁没个顺手的
N100加量化模型,这套穷开心配置我熟
同款小主机,跑7b量化刚刚好
这类项目就怕作者弃坑,star了先
大佬轻喷,这种跟直接curl调接口区别大吗
几百兆客户端确实病态,功能没多几个
能干活就行,要那么多花活干嘛
体积小不代表好用,接本地模型还是看显存