Molili怎么接本地模型使用？Molili接本地模型图文教程分享

Molili社区
, , ,
21

请问 Molili 支持接入 llama3 吗？我本地跑的是 llama3-8b

22

帮大忙了！终于不用花钱调 API 了，本地跑省钱

23

Ollama + Molili 这个组合我也在用，中文用 qwen2.5 效果还可以

24

本地模型响应速度跟硬件关系很大，M1 以上的 Mac 体验最好

25

总是打开OLLAMA开关就提示当前未配置模型信息，但是环境变量和模型下载都是正常的。就是开关打不开，DEEPSEEK开关可以正常打开配置

26

本地模型接入的延迟和云端比差多少

27

隐私敏感场景下本地模型是刚需

28

VRAM不够的话可以试试CPU推理，就是慢了点

29

llama.cpp方案接入最简单，推荐新手用这个

30

文档里少了模型格式转换的说明，补一下呗

31

@duomoduai M1 Mac完全能跑 Apple Silicon对Ollama支持很好 4GB统一内存就能跑7B模型 8GB跑14B 16GB跑更大的 效率比同配置x86高

32

@transformer_fan gguf格式+1 这是目前最通用的量化格式 Ollama原生支持 从HuggingFace下载gguf文件直接导入就能用

33

ollama确实是本地跑模型最方便的方案了，Molili这个教程省了不少折腾时间。

34

之前一直想在Molili上跑本地模型但不知道怎么搞，看到这个教程试了一下，环境变量那步最关键。我一开始忘了设OLLAMA_HOST导致Molili一直连不上，折腾了半小时才发现是这个问题，希望后面的朋友不要踩同样的坑。

35

作为一个在本地部署过好几个模型的人，说说我的经验。Molili接ollama这个方案确实是目前最省心的，但有几个细节要注意：

  1. 显存要求：deepseek-r1:7b至少需要6G显存，如果你是集显或者老卡，建议先跑个qwen2:1.5b试试水
  2. 环境变量重启生效：设完OLLAMA_HOST之后一定要重启电脑，不是重启ollama就行的
  3. 网络问题：如果你在公司内网，可能需要配代理才能下载模型

另外推荐一个小技巧，ollama支持同时挂载多个模型，你可以在Molili里按需切换，比如写代码用codellama，聊天用deepseek，非常灵活。

36

请问楼主，如果我电脑是Mac M2芯片的，这个教程也适用吗？ollama在Mac上的环境变量设置是不是不太一样？

37

感谢分享！正好最近在研究Molili本地部署这块，结合自己的经验补充一些内容。

关于模型选择

楼主推荐的deepseek-r1:7b确实不错，但我个人更推荐根据使用场景来选：

  • 日常对话：qwen2:7b，中文表现非常好，回答质量接近在线版
  • 代码辅助：codellama:13b，如果显存够的话，写代码能力很强
  • 轻量需求：phi3:mini，只需要3G显存就能跑，适合老电脑
  • 推理任务：deepseek-r1:7b，推理链很清晰，适合分析类任务

关于性能优化

本地跑模型最大的瓶颈其实不是CPU而是显存。如果你发现响应很慢，可以试试这几个方法：

  1. 用ollama run --num-gpu 999强制全部用GPU推理
  2. 减少context length，默认4096其实很多场景2048就够了
  3. 关掉其他占显存的应用，比如浏览器的硬件加速

Molili的优势

说实话，直接用ollama命令行也能聊天，但Molili的优势在于它把对话管理、Skill调用和模型切换都整合好了。你可以一边用本地模型聊天，一边调用在线Skill做联网搜索，这个体验是纯命令行做不到的。

而且Molili的积分消耗其实很合理，日常用本地模型就够了，遇到需要GPT-4级别能力的时候再切回在线模型，这样积分能用很久。

38

说实话ollama的下载速度真的感人，7b的模型我下了40分钟……建议大家提前下好模型再配置Molili，不然等模型下载的时候你会怀疑人生的。不过配好之后体验确实丝滑，离线也能用太爽了。

39

感谢各位大佬的补充！回复一下4楼的问题，Mac M2是完全支持的，ollama对Apple Silicon的适配做得很好，而且M2的统一内存架构跑模型效率很高。环境变量的话Mac是在~/.zshrc里加export，和Windows的设置方式不一样，具体可以搜一下ollama mac安装教程。

40

跟着教程一步步做的，成功了！我是完全不懂技术的小白，就是按照步骤复制粘贴，大概花了20分钟就搞定了。现在用Molili跑deepseek完全不用联网，在高铁上也能用，太方便了。