教程里没提到量化模型的接入方式，GGUF格式支持吗
M系列Mac跑Ollama体验比Windows好太多了
@xiaoming_tech Mac上操作一样的 Ollama对Mac原生支持 用brew install ollama装完直接跑 M系列芯片性能不错
@lucky_clover 权限问题通常是因为Ollama默认只监听127.0.0.1 如果Molili和Ollama不在同一台机器上 需要改成0.0.0.0 但要注意安全
教程里的方法2有个问题需要补充：PowerShell里设置的环境变量只在当前会话生效，关掉窗口就没了。
也就是说每次重启电脑之后都要重新打开PowerShell执行那两条命令，这很麻烦。分享一个永久生效的方案：
Windows永久设置方法：
- 右键"此电脑" → 属性 → 高级系统设置 → 环境变量
- 在"系统变量"下面点"新建"
- 变量名：
OLLAMA_ORIGINS，变量值：* - 再新建一个：变量名：
OLLAMA_HOST，变量值：0.0.0.0:11434 - 点确定保存，然后重启Ollama（不是重启电脑，退出Ollama再重新打开就行）
这样设置之后，Ollama每次启动都会自动带上正确的权限配置，不需要每次手动执行命令了。
Mac用户的永久设置：
launchctl setenv OLLAMA_ORIGINS "*"
launchctl setenv OLLAMA_HOST "0.0.0.0:11434"
或者写到 ~/.zshrc 里：
export OLLAMA_ORIGINS="*"
export OLLAMA_HOST="0.0.0.0:11434"
Linux用户：
编辑Ollama的systemd服务文件：
sudo systemctl edit ollama.service
加入：
[Service]
Environment="OLLAMA_ORIGINS=*"
Environment="OLLAMA_HOST=0.0.0.0:11434"
然后 sudo systemctl restart ollama
这样三个平台都能永久生效了。之前看到好几个人问"为什么重启就不行了"，应该都是这个原因。
补充一个我踩过的坑：API Base URL一定要写 http://localhost:11434/v1，注意末尾的 /v1 不能丢！
我一开始写的是 http://localhost:11434（没有/v1），Molili测试连接一直失败，排查了半天才发现是这个问题。Molili走的是OpenAI兼容接口，所以必须加/v1路径。
方法1升级Ollama直接解决了我的问题，新版本默认就开了跨域权限。建议大家先试方法1，省事
连上Ollama之后就可以在Molili里用本地模型了，分享一下各模型在Molili里的实际表现。
我测试的几个模型（RTX 4070 12GB环境）：
| 模型 | 推理速度 | 中文质量 | 适合场景 | 推荐度 |
|---|---|---|---|---|
| Qwen2.5 7B | 25 tok/s | 优秀 | 日常对话、写作 |  |
| DeepSeek-R1 7B | 22 tok/s | 良好 | 推理、数学 | |
| Llama3.1 8B | 28 tok/s | 一般 | 英文任务 | |
| Qwen2.5 14B | 12 tok/s | 优秀 | 复杂任务 | |
| Phi-3 3.8B | 40 tok/s | 较差 | 不推荐中文 | |
最佳性价比组合推荐：
- 12GB显存以下：
ollama run qwen2.5:7b—— 中文最优的7B模型 - 12GB显存：
ollama run qwen2.5:14b—— 能跑就跑14B，质量提升明显 - 只做英文任务：
ollama run llama3.1:8b—— 速度最快
跟Molili自带模型的体验对比：
说实话，Molili自带的云端模型在响应速度和质量上都比本地7B模型好。本地模型的优势主要在两点：
- 零成本：不消耗积分，跑多少都免费
- 数据隐私：所有数据本地处理，适合处理敏感文件
如果你不在意积分消耗和隐私问题，其实用Molili自带模型就够了，省去折腾Ollama的功夫。
1 个赞
@rust_is_future 永久设置的方法太实用了！之前每次重启都要重新配一遍，烦死了。按你的方法设完环境变量，现在开机就能直接用了，感谢
好用就好！很多人都卡在这一步。
这个很细致啊 