如果你非常在意数据隐私,可以用 Ollama 跑本地模型 + AI Agent 框架搭建完全离线的个人助手。
方案优势
- 数据不出本地:所有推理都在自己电脑上完成
- 零 API 费用:不需要付 Token 钱
- 无网络依赖:断网也能用
硬件要求
| 模型规模 | 内存需求 | 推荐硬件 |
|---|---|---|
| 3B | 4GB+ | 任意电脑 |
| 7B | 8GB+ | M1 Mac 或以上 |
| 13B | 16GB+ | M2 Pro 或 RTX 3060+ |
| 70B | 48GB+ | 工作站级别 |
模型推荐
- 中文对话:qwen2.5:7b(效果不错)
- 代码辅助:codellama:7b 或 deepseek-coder
- 通用任务:llama3.1:8b
体验对比
| 维度 | 本地模型 | 云端 API |
|---|---|---|
| 隐私 | 最好 | 数据需上传 |
| 速度 | 取决于硬件 | 通常更快 |
| 效果 | 7B 级别尚可 | 顶级模型更好 |
| 成本 | 电费 | Token 费 |
适合人群
- 隐私敏感的用户
- 有闲置高性能硬件的
- 不需要顶级模型效果的日常任务
如果对效果要求不是特别高,本地方案完全够用。