ollama连接倒是简单但推理速度堪忧
本地模型的效果和云端差太远了
7B模型够日常用了,别要求太高
配置参数分享下,我连不上
本地模型胜在隐私安全
@huangzixuan 连接超时大概率是Ollama没启动或者端口不对 默认端口11434 用curl http://localhost:11434/api/tags测试连通性 有返回就是正常的
@zhonglingshan 模型列表用ollama list命令查看已下载的 用ollama pull下载新模型 推荐先装qwen2.5:7b 中文效果好体积也不大
本地跑ollama+龙虾,M4 Mac上很流畅
ollama的推理速度还是比云端API慢不少
不想数据出去的场景,本地方案是唯一选择
终于等到这个教程了,本地跑模型才是王道
连上了但是速度好慢,是显卡太差的原因吗
按教程走一遍就通了,比想象中简单