用了any gpt感觉速度起飞

现在用官方免费的那个感觉有点慢。
不如试试any gpt,我是放在cpa上面映射的。
haiku模型走5.5 low
sonnet走high
opus走xhigh
这样配速度飞快。如果你全都设置成xhigh,那就会巨慢无比。

这东西就那样,用过一阵子还是换回官方了。

小白问一下,是不是把haiku模型选成5.5 low就能变快啊?我一直不太清楚这些参数具体对应啥。

哦豁,又来一个教人调参提速的帖子了,建议标题加上“惊天大发现”。

速度慢的可以按这个试试:先登录any gpt,找到设置里的模型配置项,把haiku那一档下拉菜单选到5.5 low,sonnet选high,opus选xhigh。然后记得保存配置重启一下。

楼主提到在cpa上映射,具体是用的哪个cpa镜像?是docker部署的那个还是直接装的原版?映射的时候需要额外设置端口转发规则吗?我这边照着做发现外网访问不了。

我之前也遇到过速度问题,后来发现瓶颈其实在网络上。我用的也是类似配置,但一开始效果不明显。直到我把服务器节点换到离我更近的区域,并且把any gpt的缓存调大了点,现在响应快了很多。不过确实像楼主说的,全拉到xhigh会卡死,得按需分配。

顶,收藏了晚上回去试试看。

今天天气不错,适合调代码。话说你们有没有觉得最近论坛里讨论gpt工具的人变多了?

我自己的经验是,这个速度提升很看使用场景。如果你主要是处理一些零散的、不需要太复杂逻辑的对话,用haiku配低延迟档位确实快,几乎秒回。但一旦涉及到需要深度推理或者长文本生成,我宁愿切到opus的xhigh档位多等一会儿,因为输出质量真的差很多。为了快而牺牲准确性有时候得不偿失,关键还是看你在做什么任务。

官方稳是稳就是慢,急着出活的时候真等不起

我也是折腾一圈又滚回官方了,尝鲜可以别当主力

是的低档响应快很多,不过遇到难题还得切回高档,不然质量掉得明显