最近重读了那篇讲宪法式训练的论文，还是觉得思路很妙。传统做法是雇一堆人给回答打分，标注哪个更无害，成本高、口径难统一、标注员自己还得看大量有害内容。
它的做法是先写一套原则，然后让模型自己拿这套原则去批判自己的回答，指出违反了哪一条，再据此改写，最后拿改写前后的配对去做偏好训练。人只负责写规则，不再逐条打分。
关键点有两个。一是批判和改写这一环必须模型自己做，人退到规则层；二是规则要写得可判定，含糊的原则模型没法拿来自查。这跟公司里定制度一个道理，写价值观没用，得写成能对照检查的条款。
现在很多所谓自我进化的方案，本质上都是这套的变体，只是换了说法。想搞明白对齐这块的，这篇是绕不开的。