龙虾里配了智谱的glm-4模型,聊个五六轮之后必出这个错。手动清空对话历史管用但聊五六轮又出来了。怀疑是龙虾往每次请求里塞了大量隐藏内容把128k的窗口吃掉了
龙虾会把system prompt和历史全塞进去 很吃窗口
glm-4的128k实际可用没那么多 打个六折吧
换glm-4-plus 窗口更大 或者用长文本版本
看看龙虾的system prompt有多长 可能占了几万token
龙虾应该做个自动裁剪对话历史的功能
手动设max_tokens_in_context试试
智谱的token计算方式跟openai不一样 中文更费token
回归测试自动化做了吗