让模型写配置而不是写代码,这个爬虫的思路我服

看到一个采集引擎,核心设计是模型不负责生成代码,只负责生成配置。你说要什么字段,它输出一份声明式的配置,真正干活的是引擎本体。

我觉得这个方向比现在流行的让它直接吐脚本靠谱得多。生成代码你永远要审,因为里面可能有任何东西;生成配置你只需要校验字段合不合法,出错的边界是封死的。而且配置能存能复用能改,脚本改一次就得重审一次。

实际用下来页面结构一变还是得重新生成一遍配置,这个躲不掉。但至少每次重生成的东西是可读的几十行,而不是一坨谁也不想看的解析代码。

这个模式我觉得能往别的地方推,凡是能抽出配置层的活都适用。

边界封死才是关键

页面一变还得重来 这个躲不掉

思路可以借 代码不一定用