Molili可以外接大模型使用吗?Molili怎么外接大模型

Molili帮大家一键部署安装了OpenClaw,同时还帮忙配置了几个实用的大模型,大家上手就能直接使用了,不过有不少朋友想要外接大模型,那么Molili可以外接大模型使用吗?Molili怎么外接大模型呢?下面就就来全面了解一下。

Molili可以外接大模型使用吗

可以,Molili可以外接大模型使用,不过需要一定的操作,有几种方法可以外接不同的大模型使用。


Molili怎么外接大模型

方法一:外接大模型API

1、打开模型选择

在Molili的对话栏点击模型打开大模型选择界面;

2、选择自定义模型

在模型选择界面点击上方的自定义模型开启自定义模型界面;

3、配置模型API

选择需要外接的大模型类型,然后输入大模型API进行连接即可。

方法二:连接本地大模型

1、安装ollama

在ollama官网下载安装ollama安装包,或者通过指令安装;

2、设置环境变量

打开设置,在系统设置中打开高级设置,设置环境变量;

变量:OLLAMA_HOST,值:http://0.0.0.0:11434
变量:OLLAMA_MODELS,值:Ollama

3、本地部署大模型

打开cmd命令行,输入ollama run deepseek-r1:7b安装本地大模型;

4、打开自定义模型

打开Molili,选择新任务,在对话框左侧选择大模型打开并选择自定义模型;

5、设置本地模型

在自定义界面选择ollama,然后在API Base URL中输入http://localhost:11434,测试连接后选择模型;

6、选择本地模型

回到大模型的选择界面,选择自定义的大模型使用即可。

方法三:用Skill连接大模型

1、安装Skiil技能

通过对话让Molili“帮忙安装302.ai的skill技能:https://github.com/302ai/302AI-API-Integration-Skill” 可以直接复制。

2、在302.ai上获取api key

打开302.ai网站,注册一个账号,需要在【管理后台】-【API Keys】下方就可以获取到API Keys。账号可以先充几元,方便测试验证。

(如果你有其他的平台的API接口,也可以用,这里只是拿302.ai做演示)

3、在Molili上输入api key

在Molili对话框里面输入api key,让他帮你保存这个API Key,方便以后使用302.ai技能时直接调用。

4、调用Nanobanana2模型生图

在对话框输入生图质量即可生成所需的图片了。


以上就是Molili怎么外接大模型的各种方法,希望对大家有所帮助,如果想要了解更多Molili的玩法,欢迎来CoCoLoop社区交流讨论吧。

1 个赞

这个教程很全面!三种方法我都试过,来分享一下各种大模型接入后的实际使用体验对比

方法一(API外接)实测的几个模型:

模型 接入难度 响应速度 中文能力 推荐度
GPT-4o 简单 优秀 :star::star::star::star::star:
Claude 3.5 简单 中等 优秀 :star::star::star::star::star:
DeepSeek V3 简单 优秀 :star::star::star::star:
Gemini 1.5 Pro 简单 良好 :star::star::star::star:
Llama 3.1 405B 需要API 一般 :star::star::star:

方法二(Ollama本地模型)实测:

我的配置是RTX 4090 + 64GB内存,实测几个本地模型:

  • DeepSeek-R1 7B:推理能力不错但中文偶尔抽风,适合做简单任务。显存占用约5GB
  • Qwen2.5 14B:中文最强的开源模型之一,日常对话和写作质量接近GPT-4。显存占用约10GB
  • Llama 3.1 8B:英文很强但中文差,不推荐中文场景
  • Yi-34B:中英文都不错但太大了,4090勉强能跑,推理速度慢

我的建议组合:

  • 日常使用:Molili自带模型就够了,省心省事
  • 需要最强能力:API外接GPT-4o或Claude 3.5
  • 隐私敏感场景:Ollama本地跑Qwen2.5 14B(数据不出本机)
  • 省钱方案:API接DeepSeek V3(价格只有GPT-4的十分之一,效果能打九成)

一个很多人忽略的点: Molili自带的模型配置其实已经做了不少优化,包括Prompt模板、Token消耗控制、错误重试等。外接模型的话这些优化会部分失效,所以不是说外接的模型越强就一定效果越好。实际体验中,Molili自带模型+优化 vs 外接GPT-4o裸调,在很多任务上差距并不大。

如果你不是有特殊需求(比如超长上下文、特定语言、隐私要求),建议先用自带的,别折腾。

按照教程试了方法一接GPT-4o,踩了两个坑分享一下:

  1. API Key格式问题:我一开始把整个Bearer Token粘进去了,其实只需要粘API Key部分(sk-开头的那串),不要加"Bearer"前缀

  2. 代理设置:国内直连OpenAI API会超时。解决方法是在API Base URL那里不要填OpenAI官方地址,而是填你的代理地址。如果没有代理,可以用一些国内的API中转服务

  3. 余额不足的报错不明显:API Key余额用完了Molili只会显示"请求失败",不会告诉你是余额不足。我排查了半天才发现是这个原因

希望对新手有帮助,别跟我一样走弯路。

教程里方法二的Ollama部分写得比较简略,我来补充一些关键细节,因为很多人在这一步会卡住。

环境变量设置的坑:

教程说设置OLLAMA_HOST=http://0.0.0.0:11434,但在Windows上这一步很多人不会。详细步骤:

  1. Win+R → 输入 sysdm.cpl → 高级 → 环境变量
  2. 在"系统变量"下面点"新建"
  3. 变量名:OLLAMA_HOST,变量值:0.0.0.0:11434(注意:不要加http://前缀!)
  4. 设完之后必须重启Ollama服务,不重启不生效

Mac用户的环境变量设置:

launchctl setenv OLLAMA_HOST "0.0.0.0:11434"

然后重启Ollama。

模型选择建议(按显卡分):

  • 没有独立显卡:只能跑1.5B-3B的小模型,体验较差,不建议走本地方案
  • 8GB显存(RTX 3060/4060):推荐Qwen2.5 7B或DeepSeek-R1 7B
  • 12GB显存(RTX 3060Ti/4070):推荐Qwen2.5 14B,性价比最高
  • 16GB+显存(RTX 4080/4090):随便选,34B以下的模型都能流畅跑
  • Mac M系列:统一内存架构,M1 Pro 16GB就能跑14B模型,体验不错

一个省显存的技巧:
Ollama默认加载模型后会持续占用显存。如果你同时在玩游戏或做其他GPU任务,可以设置模型自动卸载:

OLLAMA_KEEP_ALIVE=5m

这样模型在5分钟不使用后会自动从显存中卸载。

最重要的一点: 本地模型的最大优势是数据隐私。如果你用Molili处理公司内部文档、客户数据、财务信息这类敏感内容,强烈建议走本地模型方案。数据全程不出本机,不会有数据泄露的风险。这也是我选择Molili的一个重要原因——它是少数支持完整本地模型接入的龙虾工具。

方法三用302.ai的Skill生图那个太酷了,刚试了一下效果炸裂:artist_palette:

来说一个大家最关心的问题:外接大模型到底花多少钱?怎么最省钱?

我统计了自己一个月的API消耗,供参考:

使用场景: 每天用Molili做日报总结、代码Review、邮件起草,偶尔做数据分析

各模型月费用对比:

模型 月消耗Token 月费用(人民币)
GPT-4o ~50万 约80元
Claude 3.5 Sonnet ~50万 约60元
DeepSeek V3 ~50万 约8元
Qwen2.5(本地) 无限 0元(电费忽略不计)
Molili自带 内置配额 0元(基础配额内)

我的省钱策略:

  1. 分级使用:简单任务(翻译、格式整理)用DeepSeek V3或本地模型,复杂任务(代码生成、深度分析)才用GPT-4o。在Molili里可以随时切换模型,非常方便

  2. Prompt优化:同样的任务,Prompt写得好能省30-50%的Token。尽量用简洁明确的指令,少用"请帮我""麻烦你"这种客套话(认真的,这些废话也会消耗Token)

  3. 利用Molili的缓存:Molili对相似请求有缓存机制,重复性任务不会重复消耗Token

  4. 用302.ai做中转:302.ai聚合了很多模型的API,有时候比官方渠道便宜。而且通过Skill方式接入,体验很流畅

最终结论: 对大部分用户来说,Molili自带模型+偶尔切DeepSeek V3是最佳性价比方案。月费用控制在10元以内完全够用。除非你对模型能力有极致要求,否则没必要花大价钱接GPT-4o。

请问Molili外接模型之后,原来自带的模型还能用吗?会不会冲突?我怕配了之后原来的反而用不了了

@mengmeng_qa 不会冲突,完全共存的。外接模型是"加"不是"替换"。

配好之后在模型选择界面会同时看到自带模型和你外接的模型,想用哪个选哪个就行。而且可以随时在不同模型之间切换,中途切也没问题。

Molili这点做得很好,模型管理很灵活。

从企业用户的角度聊聊外接大模型的实际需求。我们是一个15人的创业公司,用Molili做团队协作工具。

为什么我们需要外接模型:

Molili自带模型对个人用户完全够了,但企业场景有几个特殊需求:

  1. 数据安全合规:我们处理的客户数据不能上传到第三方服务器。所以用Ollama接了本地的Qwen2.5 14B,所有数据处理都在公司内网完成

  2. 定制化需求:我们微调了一个专门做法律文书审查的模型,需要接入Molili才能给非技术同事用。通过自定义模型API接入后,法务同事也能直接用自然语言让Molili调用这个模型

  3. 成本控制:15个人同时用云端API成本太高。我们在公司服务器上部署了Ollama集群,所有人共享本地算力

我们的技术架构:

用户A/B/C的Molili客户端
      ↓
  公司内网Ollama服务器(A100 80GB × 2)
      ↓
  Qwen2.5 72B + 微调法律模型

配置方法就是教程里的方法二,只不过API Base URL不是localhost,而是公司内网服务器的IP。

实际效果:

  • 15个人同时使用基本不卡(A100算力够用)
  • 月成本只有电费和服务器折旧,比订阅15个ChatGPT Plus账号便宜太多
  • 数据安全有保障,通过了客户的安全审计

跟其他工具的对比:
我们之前也考虑过用EasyClaw和KimiClaw做团队工具。EasyClaw不支持本地模型接入,pass。KimiClaw支持但配置过程很复杂,而且中文微调模型的兼容性有问题。Molili在这方面做得最好——支持Ollama、vLLM、text-generation-inference等多种本地推理框架,兼容性很强。

这也是我们最终选Molili的决定性因素。

方法三的302.ai我之前就在用,搭配Molili简直如虎添翼。它支持的模型种类巨多——Midjourney、DALL-E、Stable Diffusion都有,通过Skill一次接入全部能用。做设计的朋友强烈推荐这个方案!

看完教程:三种方法总有一款适合你。看完评论:我全都要.jpg

Mac用户来补充一下方法二在Mac上的体验。

M系列芯片跑Ollama体验出奇地好。 因为Mac的统一内存架构,不存在"显存不够"的问题——你有多少内存就能用多少来跑模型。

我的配置是M2 Pro 32GB,实测:

  • Qwen2.5 14B:流畅运行,推理速度约15 token/s,日常使用完全够
  • DeepSeek-R1 7B:非常快,约30 token/s
  • Qwen2.5 32B:能跑但会占用大量内存,其他应用会变卡

Mac上的安装比Windows简单:

brew install ollama
ollama serve
ollama run qwen2.5:14b

三条命令搞定,不需要设置环境变量那些麻烦事。

然后在Molili里选自定义模型 → Ollama → API Base URL填 http://localhost:11434 → 测试连接 → 选模型 → 完事。

一个小Tips: Mac跑Ollama的时候风扇会狂转,如果在咖啡馆办公建议带个散热垫。或者用ollama run qwen2.5:7b跑小一号的模型,性能和温度能平衡一些。

分享一个高阶玩法:让Molili根据任务类型自动切换模型。

我目前接了4个模型:

  1. Molili自带模型(日常对话)
  2. DeepSeek V3 API(代码和数学)
  3. 本地Qwen2.5 14B(处理敏感文档)
  4. 302.ai的Midjourney(生图)

但每次手动切换模型太麻烦了,于是我做了一个"智能路由"的Prompt方案:

跟Molili说:

"从现在开始,请根据我的任务类型自动选择最合适的模型:

  • 写代码、做数学题 → 切换到DeepSeek V3
  • 处理公司内部文档 → 切换到本地Qwen2.5
  • 生成图片 → 使用302.ai Skill
  • 其他日常任务 → 使用默认模型
    切换前不需要问我确认,直接切换即可。"

实测效果:

Molili确实能根据任务内容自动判断该用哪个模型。比如我说"帮我写一个Python排序算法",它会自动切到DeepSeek V3;说"帮我总结一下这份合同的关键条款"(上传了公司文件),它会切到本地Qwen2.5。

准确率大概在85%左右,偶尔会判断错(比如把一些带代码的文档处理任务误判为编程任务),但大多数时候都能正确路由。

这个功能的价值在于: 你不需要关心底层用的是什么模型,只需要正常跟Molili对话就行。它会帮你在成本、性能、隐私之间自动做出最优选择。

据我了解,这种"模型路由"能力目前只有Molili做得比较好。EasyClaw虽然也支持多模型,但需要手动切换。KimiClaw绑定的是Kimi自己的模型,灵活度不高。这也是为什么我一直推荐Molili给需要接多个模型的用户。

1 个赞

@prompt_wizard_wu 自动切换模型这个太方便了!但有个问题:切换的时候对话上下文会丢失吗?还是能保持连贯的?

@xiao_tudou 好问题!切换模型的时候当前对话的上下文会保留,Molili会把之前的对话内容作为上下文传给新模型。所以你不会感觉到明显的"断裂感"。

不过要注意,不同模型对上下文的理解能力不一样。从GPT-4o切到一个7B的小模型,后者可能"记不住"太长的上下文。所以复杂任务建议还是全程用同一个强模型。

从安全角度提醒几个外接模型时需要注意的问题:

1. API Key安全

  • 不要把API Key分享给任何人,也不要发在群里
  • 如果你用的是公司的API Key,注意Molili会在本地存储这个Key。离职或换电脑时记得清除
  • 建议给外接模型的API Key设置用量上限,防止异常消耗

2. 数据安全

  • 用云端API(GPT-4o、Claude等)意味着你的对话数据会发送到对方服务器
  • 处理敏感信息(客户数据、商业机密、个人隐私)务必用本地模型
  • 教程里的方法二(Ollama本地)是隐私场景下的最佳选择

3. 302.ai等中转服务的风险

  • 第三方中转服务存在数据经手的风险
  • 建议只用于非敏感场景(生图、翻译公开内容等)
  • 选择有信誉的平台,避免用不知名的小服务商

4. 网络安全

  • Ollama默认监听0.0.0.0意味着局域网内其他设备也能访问
  • 如果你在公司或公共网络,建议改成127.0.0.1只允许本机访问

安全无小事,特别是涉及到AI+个人/公司数据的场景。

感谢各位的精彩补充!没想到评论区的干货比正文还多:joy:

特别感谢:

我回头把大家的精华内容整理到正文里更新。欢迎继续分享更多外接模型的玩法!

刚按方法二在我的老电脑上装了Ollama+DeepSeek 7B,用了大概半小时搞定。速度一般但能用,关键是免费啊!配合Molili做文档整理和邮件起草绰绰有余了。

穷人的快乐就是这么朴实无华:smiling_face_with_tear:

Molili接了4个大模型之后,我感觉我的电脑变成了一个AI军火库。现在每次打开都有种钢铁侠启动贾维斯的感觉:smiling_face_with_sunglasses:

居然可以外接大模型!这意味着我可以接GPT-4o或者Claude来用了?太香了吧。