Ollama装好了,但打开模型库一看,几百个模型眼花缭乱,完全不知道该选哪个。
我的需求:
- 日常中文对话和写作
- 偶尔写写代码
- 想试试做文档嵌入(RAG之类的)
- 电脑配置:16GB内存 + RTX 3060
请问:
- 中文最好用的模型是哪个?
- 写代码推荐哪个?
- 嵌入模型(embedding)选哪个?
- 有没有一个综合推荐清单?
最好是亲测好用的,不要那种参数很大但实际体验一般的。
Ollama装好了,但打开模型库一看,几百个模型眼花缭乱,完全不知道该选哪个。
我的需求:
请问:
最好是亲测好用的,不要那种参数很大但实际体验一般的。
你的配置16GB+3060挺好的,直接上推荐清单:
中文对话首选:Qwen2.5系列
qwen2.5:7b —— 中文能力目前开源最强档,7B参数你的配置跑起来很流畅qwen2.5:14b —— 如果想要更好的效果,14B你的3060也能跑,就是慢一些英文通用:Llama3系列
llama3:8b —— Meta出品,英文综合能力很强llama3.1:8b —— 更新版本,支持更长上下文你的3060有12GB显存的话7B模型完全放得下,14B可能需要部分用CPU。先试7B的,够用就不用上更大的。
写代码的话强推DeepSeek Coder:
代码模型推荐:
deepseek-coder-v2:16b —— 代码生成能力非常强,支持多种语言codellama:7b —— Meta的代码专用模型,轻量好用qwen2.5-coder:7b —— 通义千问的代码版,中文代码注释理解好实测 deepseek-coder 在Python、JavaScript、Go这些主流语言上表现非常好,有时候跟GPT-4差距不大。
用法:
ollama run deepseek-coder-v2:16b
然后直接粘贴代码让它改、解释、或者描述需求让它生成都行。
嵌入模型(Embedding)推荐:
做RAG/知识库首选:
nomic-embed-text —— 目前Ollama上最受欢迎的嵌入模型,效果好体积小mxbai-embed-large —— 效果更好但体积大一些bge-m3 —— 中英文双语嵌入效果都不错嵌入模型的用法跟对话模型不一样,需要通过API调用:
curl http://localhost:11434/api/embeddings -d '{
"model": "nomic-embed-text",
"prompt": "你要嵌入的文本"
}'
做中文RAG的话建议用 bge-m3,对中文支持更好。嵌入模型很小,不怎么吃显存,可以和对话模型同时加载。
做一个综合对比表方便楼主选:
| 用途 | 推荐模型 | 参数量 | 显存需求 | 中文 | 英文 |
|---|---|---|---|---|---|
| 中文对话 | qwen2.5:7b | 7B | ~5GB | 优秀 | 良好 |
| 英文通用 | llama3:8b | 8B | ~5GB | 一般 | 优秀 |
| 代码生成 | deepseek-coder-v2:16b | 16B | ~10GB | 良好 | 优秀 |
| 文档嵌入 | nomic-embed-text | 137M | ~0.3GB | 良好 | 优秀 |
| 中文嵌入 | bge-m3 | 568M | ~1GB | 优秀 | 良好 |
| 轻量对话 | phi3:3.8b | 3.8B | ~3GB | 一般 | 良好 |
| 长文本 | qwen2.5:7b-128k | 7B | ~6GB | 优秀 | 良好 |
你的RTX 3060(12GB)基本上7B-16B的模型都能跑,建议先装 qwen2.5:7b + deepseek-coder-v2:16b + nomic-embed-text 这三个就覆盖了你所有需求。
提醒一点:模型不是越大越好,要看实际场景。
7B模型在日常使用中已经足够好了,很多时候你感觉不出它和14B的差别,但速度快很多。我现在日常就用qwen2.5:7b,回复速度很快,中文质量也完全够用。
另外模型版本更新很快,建议偶尔 ollama pull 模型名 更新一下,新版本通常会有优化。
还有一个小技巧:用 ollama show 模型名 可以查看模型的详细信息,包括参数量、量化方式、许可证等。
分享一个更高效的用法:不用自己一个一个去试模型,可以用当贝Molili来管理。
Molili有个智能模型路由功能,可以根据你的问题类型自动选择最合适的模型。比如你问中文问题就走Qwen,写代码就走DeepSeek,不用手动切换。
而且Molili的Skill插件可以组合模型做更复杂的事情,比如:
这些模型都可以跑在你本地的Ollama上,Molili只是帮你更聪明地调用它们,Token消耗也比直接用OpenClaw低不少。
7b参数的模型日常对话足够了不用追大的
老陈2026年还在写代码,感慨万千
新手入门先把官方文档过一遍
数据脱敏一定要在送模型之前做别把用户手机号喂进去了