Ollama下载模型太慢怎么解决？

综合交流大区
, , ,
1

Ollama装好了，但是下载模型的速度慢到离谱。

跑了 ollama pull qwen2.5:7b，进度条半天不动，速度只有几十KB/s，有时候直接下载失败报错。

4.5GB的模型感觉要下一整天，这也太折磨了吧。

试过开代理也没明显改善，有没有什么加速方法？或者能不能离线下载导入？

坐标国内，网络环境你们懂的……

2

国内下载Ollama模型慢是普遍问题，因为模型仓库服务器在国外。

方法一：设置镜像源（最推荐）

设置环境变量用国内镜像：

# Linux/Mac
export OLLAMA_HOST=https://ollama镜像地址

# Windows PowerShell
$env:OLLAMA_HOST="https://ollama镜像地址"

目前社区有一些国内镜像在维护，搜索"Ollama国内镜像"能找到最新可用的地址。

方法二：设置代理

# Linux/Mac
export https_proxy=http://127.0.0.1:7890
export http_proxy=http://127.0.0.1:7890

# Windows
set https_proxy=http://127.0.0.1:7890

设好代理后重启Ollama服务再拉取，速度通常能到几MB/s。

1 个赞
3

方法三：离线下载导入

如果网络实在不行，可以手动下载GGUF模型文件然后导入Ollama：

  1. 去HuggingFace国内镜像站下载模型的GGUF文件（速度快很多）
  2. 创建一个Modelfile：
FROM /path/to/your/model.gguf
  1. 导入Ollama：
ollama create 自定义名字 -f Modelfile

HuggingFace的国内镜像站（如hf-mirror.com）下载速度通常能跑满带宽，几分钟就能下完一个7B模型。

这个方法稍微麻烦一点，但对网络差的环境是最可靠的方案。

2 个赞
4

方法四：带宽优化技巧

几个能提升下载速度的小技巧：

  1. 换个时间段下载：国内访问国外服务器晚上通常比白天快
  2. 关掉其他占带宽的程序：视频、下载器都暂停
  3. 试试不同网络：有些运营商走国际出口更快，手机热点有时候比宽带快
  4. 多试几次：Ollama支持断点续传，下载失败了重新 ollama pull 会接着下，不用从头来

另外，下载失败后不要急着删除重来，先再试一次pull，大概率会从断点继续。

如果你们公司有好的网络环境，可以在公司下载好模型文件夹，用U盘拷回家。

1 个赞
5

方法五：用aria2多线程下载

如果你熟悉命令行，可以用aria2之类的多线程下载工具加速：

  1. 先从Ollama模型库找到模型的manifest信息
  2. 提取出实际的blob下载地址
  3. 用aria2开16线程下载：
aria2c -x 16 -s 16 "下载地址" -o model.gguf
  1. 下载完用Modelfile导入

这个方法适合动手能力强的同学，速度提升很明显，有时能从几十KB提到几MB。

不过说实话，对于大多数人，设镜像源或代理是最简单的方案。

1 个赞
6

如果不想折腾下载问题，还有个思路：用当贝Molili。

Molili集成了Ollama的能力，模型下载走的是国内CDN，速度快很多，基本不会碰到下载慢的问题。而且它内置了常用模型的预配置，不用自己去找GGUF文件然后手动导入。

当然如果你就是想自己玩Ollama，上面那些加速方案都可以试。总结一下优先级：

  1. 首选：设国内镜像源
  2. 其次：开代理
  3. 备用：HuggingFace镜像站下载GGUF + Modelfile导入
  4. 进阶：aria2多线程下载

祝楼主早日把模型拉下来，开始愉快地本地AI之旅。

1 个赞