昨天看了大家推荐开始装 Ollama,结果下载模型的时候卡住了……
从官方源下载 llama3 8B 模型,4.7GB 的文件,速度只有几十KB/s,预估要下十几个小时。换了好几个时间段都一样慢,应该是国内访问海外源的通病。
想问下大家有没有靠谱的国内镜像源?我搜到了几个但不确定哪个好用:
- 清华大学镜像?
- 阿里云镜像?
- 其他国内源?
有没有人整理过完整的加速方案?安装包下载慢 + 模型下载慢,两个问题一起解决最好。
系统是 Windows 11,不想装WSL,求最简单的方案。
昨天看了大家推荐开始装 Ollama,结果下载模型的时候卡住了……
从官方源下载 llama3 8B 模型,4.7GB 的文件,速度只有几十KB/s,预估要下十几个小时。换了好几个时间段都一样慢,应该是国内访问海外源的通病。
想问下大家有没有靠谱的国内镜像源?我搜到了几个但不确定哪个好用:
有没有人整理过完整的加速方案?安装包下载慢 + 模型下载慢,两个问题一起解决最好。
系统是 Windows 11,不想装WSL,求最简单的方案。
这个问题我之前也遇到过,给你一套完整的解决方案:
一、Ollama 安装包加速
官网下载安装包如果慢,可以用这几个镜像:
https://mirror.ghproxy.com/ 前缀加上 GitHub 下载链接二、模型下载加速(重点)
Ollama 默认从 registry.ollama.ai 拉模型,国内很慢。解决方案:
方案1:设置环境变量用国内镜像
# Windows 在系统环境变量中添加:
OLLAMA_MODELS=D:ollamamodels
# 有些第三方镜像源可以通过设置 OLLAMA_HOST 或代理来加速
方案2:手动下载模型文件
从国内镜像站下载 GGUF 格式的模型文件,然后用 ollama create 导入。HuggingFace 有清华镜像:https://hf-mirror.com
方案3:用代理
如果你有代理工具,设置 HTTP_PROXY 和 HTTPS_PROXY 环境变量就行。
亲测方案2最稳定,速度能到满速。
我用的是 hf-mirror.com 下载模型文件,速度能跑满带宽。具体步骤:先去 hf-mirror.com 搜你要的模型,下载 GGUF 文件,然后写个 Modelfile 导入 Ollama 就行。比等官方源快100倍不夸张。
补充一个最新的方案:现在有人搭了专门的 Ollama 模型镜像,用法:
# 设置环境变量(Windows)
set OLLAMA_ORIGINS=*
# 或者直接在 PowerShell 中
$env:OLLAMA_HOST="0.0.0.0"
不过要注意,第三方镜像的安全性需要自己评估。如果是公司用,建议还是走官方源 + 代理的方式,至少能保证模型文件没被篡改。
另外 Ollama 安装包国内下载慢的话,我之前传了一份到蓝奏云,需要的话可以搜"Ollama安装包国内镜像"应该能找到很多人分享的。
Windows 11不装WSL的话直接用原生版就行,安装包双击安装就好了。模型下载慢的问题按楼上的方案走hf-mirror基本完美解决。我前天刚装好,整个过程不到半小时。
哈哈我当初也是下了一晚上才下好,后来才知道有镜像源这种东西。收藏了!
给楼主一个最简单的Windows方案,不用折腾环境变量:
Qwen2.5-7B-Instruct-GGUFModelfile,内容写 FROM ./你下载的模型文件名.ggufollama create mymodel -f Modelfileollama run mymodel 就能用了全程不需要科学上网,速度拉满。
感谢分享!已经按照教程在搞了,有问题再来请教