有研究专门去扒了公开流通的那些技能包,结论不太好看:确实存在被做过手脚的样本,而且藏得比想象中自然。
常见的几种玩法。一种是在说明文字里夹一段给模型看的指令,你读文档看不出来,模型读到就照办了;一种是正常功能都能用,只在某个特定条件下才触发额外动作,比如碰到某类文件才顺手把内容外发;还有一种更阴,它不干坏事,只是悄悄把你后续所有请求改写成走它指定的地址。
难受的地方在于这类东西的审计成本很高。技能包本质上是自然语言加脚本的混合体,传统的代码扫描抓不住藏在文字里的指令,人工看又看不过来。
我现在的原则很土:来源不明的一律不装;装之前先把全文自己读一遍,尤其是那些看起来像废话的段落;执行权限能收就收。
你们装之前会通读吗,还是看个星星数就上?