花了两天时间把Anthropic官方的skill-creator源码逐行拆了一遍,不得不说设计确实精妙。这东西本质上就是一个用来造技能的技能。
几个核心发现分享给大家:
三智能体评估架构:Skill-Creator内部用了Grader、Comparator、Analyzer三个智能体来评估生成的技能质量,互相校验而不是单一模型自说自话。
防过拟合设计:改进模型完全看不到测试集,用的是标准ML里train/test split的思路,确保技能的泛化能力。
流式事件检测:触发率检测用的是流式事件,不是简单的正则匹配,这样准确率高很多。
描述优化建模为搜索问题:把skill的description优化当成一个搜索问题来做,自动迭代直到找到最优描述。
做AI Agent工程化的朋友建议去读一下源码,收获会很大。