Molili怎么接本地模型使用?Molili接本地模型图文教程分享

Molili自带的模型都非常好用,不过需要消耗一定的积分,好在Molili还是支持连接本地模型使用,具体Molili怎么接本地模型使用呢?下面就分享详细的图文教程。

Molili怎么接本地模型使用:

1、安装ollama

在ollama官网下载安装ollama安装包,或者通过指令安装;

2、设置环境变量

打开设置,在系统设置中打开高级设置,设置环境变量;

变量:OLLAMA_HOST,值:http://0.0.0.0:11434
变量:OLLAMA_MODELS,值:Ollama


3、本地部署大模型

打开cmd命令行,输入ollama run deepseek-r1:7b安装本地大模型;

4、打开自定义模型

打开Molili,选择新任务,在对话框左侧选择大模型打开并选择自定义模型;

5、设置本地模型

在自定义界面选择ollama,然后在API Base URL中输入http://localhost:11434,测试连接后选择模型;

6、选择本地模型

回到大模型的选择界面,选择自定义的大模型使用即可。

相关帖子

[Molili接入Ollama本地大模型教程(打开Ollama权限命令)]

2 个赞

Molili对硬件要求高吗

1 个赞

教程很清楚一次成功

M1 Mac能跑吗

换成Gemma试试看

@rlhf_xuezhe 建议用gguf格式的模型

3 个赞

@tangzichen 速度比API快不少

已收藏回头试试

请问支持千问模型吗

感谢教程太详细了

Docker部署更方便

@rlhf_xuezhe 7B的就够日常用了

1 个赞

配置文件路径在哪

@tangzichen ollama配合效果不错

@guopeiyao 显存不够可以量化

@duomoduai 我卡在模型下载那步了

怎么个卡法?那边通常就下载慢点,不会卡住啊

Molili接本地模型的教程太及时了,我正好在折腾 Ollama,按照教程走一遍就通了