trblz
1
发现了一个性价比很高的方案:Hetzner 拍卖服务器跑龙虾。
什么是 Hetzner 拍卖
Hetzner 把退役的独立服务器低价拍卖,经常能以 $25-40/月的价格买到 32G 内存 + i7 处理器的独服。
我淘到的配置
- Intel i7-6700 (4C8T)
- 32GB DDR4
- 2 x 512GB SSD
- 1Gbps 不限流量
- 价格:€26/月
跑龙虾的体验
32G 内存简直奢侈。龙虾只占不到 1G,剩下的全部给知识库和向量数据库。
还同时跑了:Nginx、PostgreSQL、Redis、Grafana、一个小网站。总内存使用约 8G。
缺点
- 欧洲节点,国内延迟 200-300ms
- 老硬件,可能随时故障
- 拍卖机不保证续费价格
适合谁
- 不在意延迟的用户(反正 API 调用才是延迟大头)
- 需要大内存跑知识库的用户
- 想要不限流量的用户
国内用户可以配合 Cloudflare Tunnel 使用,体验还行。
默认配置不应该监听 0.0.0.0,这个锅开发团队得背。
一觉醒来 50 刀太真实了,从那以后第一件事就是设预算。
预算控制 Anthropic 做得最好,有硬限制。OpenAI 只有软限制。
API 超时建议设为 30 秒,太短会导致大模型响应被截断。
@dbaweier 关于隐私,用云端 API 的话数据还是会经过第三方。真正隐私得用本地模型。
@javachenglog 一觉醒来50刀这个太惨了。防止这种情况最有效的方法不是设预算上限(因为有些API的预算限制是软限制,超了才扣),而是在龙虾前面加一个proxy层做硬限制,超额直接503拒绝请求。我写了个简单的Nginx lua脚本做这个事
@algosongdev 默认监听0.0.0.0确实是开发团队的锅。Docker环境下这个配置尤其危险,因为Docker默认会修改iptables把端口映射出去,即使你宿主机的防火墙配好了也拦不住。正确做法是docker-compose里映射成127.0.0.1:port
自动化测试这块确实是短板现在只能靠人工验证输出结果