兄弟们，我最近真的有点焦虑，可能也是自己技术栈太老了吧。我干了快五年后端了，主要就写写业务逻辑，跟数据库打交道。正则？那玩意儿每次用到都得现查，一堆符号看得我眼花。爬虫？更是我的知识盲区，之前项目需要临时抓点数据，我硬是靠着复制粘贴 Stack Overflow 上的代码，折腾了一整天才弄出来，还特别不稳定。
所以上个月听同事聊天提到 GitHub Copilot 背后的 Codex 模型，说特别擅长代码补全，尤其是能理解自然语言描述然后生成代码。我眼睛一下就亮了！这不就是我这种“正则恐惧症”患者的福音吗？我赶紧去搜了搜 Codex 介绍，了解了一下它的原理，据说训练数据里代码特别多。
然后我就兴冲冲地去试了（具体怎么试的就不细说了，反正有路子）。我的第一个测试就是让它帮我写正则表达式。场景特简单，我想匹配一批用户输入里的手机号（国内的那种）。我就直接跟它说：“用 Python 正则表达式匹配中国大陆手机号。” 它哗啦一下就给我生成了，还带了注释。我复制到环境里一测，哎，还真行！那一刻感觉像打开了新世界的大门，心里那个美啊，觉得以后再也不怕正则了。
但紧接着我就想挑战一下它的“深度”。我手头有个半废弃的业余项目，需要从几个结构比较简单的新闻网站上抓取标题和发布时间。我想着，这不正好测试一下 Codex 写爬虫的能力吗？我就给它描述：“用 Python requests 和 BeautifulSoup 库写一个爬虫，爬取某个网站（我给了个示例URL）的新闻列表，提取标题和发布时间。”
结果嘛……喜忧参半。它确实能给我搭出一个完整的架子，import 库，发请求，用选择器解析，甚至还能写个简单的异常处理。框架看起来有模有样。但是！具体到那个网站的实际 HTML 结构，它的选择器就经常给得不对，要么太宽泛抓一堆垃圾，要么就定位不到。我得自己打开开发者工具，找到准确的 class 或者 tag，然后再去修改它的代码。换句话说，它给了我一个很好的、标准的“爬虫模板”，但针对特定网站的“精准手术”，还是得我自己来。
这就让我产生了一个巨大的困惑，也是我想来问问大家的重点：像 Codex 这样的 AI 代码补全工具，它的能力边界到底在哪里？
我感觉对于正则这种有明确规则、但语法晦涩的东西，它简直是神器，相当于一个随问随答的专家，把我从记忆负担里解放出来了。对于写爬虫这种“结构性”的任务，它能当好一个经验丰富的“助手”，帮你把 boilerplate code（样板代码）写好，避免你犯一些低级错误，比如忘记处理编码或者没关连接。但它似乎很难完全理解一个它“没见过”的网页的具体、杂乱的结构。
所以我现在用它的策略变成了：复杂的业务逻辑自己写，但碰到要写正则、或者要快速搭建一个标准网络请求框架、处理个 JSON 数据的时候，就让它先上，然后我再来做检查和微调。这效率确实比纯手撕高多了。
但我特别想知道，那些真正用它来做过完整项目的老哥们是什么体验？尤其是涉及到更复杂的、需要动态解析 JavaScript 的爬虫任务，它也能 hold 住吗？还有，大家觉得依赖它来补全代码，会不会反而让自己的某些基础能力（比如手写正则、深入理解 HTTP）退化啊？我有点担心这个。
说白了，我现在既兴奋又有点心虚。兴奋的是工具真牛，心虚的是怕自己变懒变笨。有没有长期用过的朋友来聊聊真实感受？你们是怎么把它融入自己工作流的？有没有什么特别的技巧或者踩坑经历？给我这颗纠结的心指条明路吧。
作为前端经常要和奇奇怪怪的接口数据斗智斗勇，之前手写正则匹配各种日期格式真是噩梦。用了Codex之后，现在遇到这类问题就直接用自然语言描述，它生成的表达式准确率很高，省了我大量查手册和调试的时间。不过也得小心，它有时会给出过于复杂的表达式，需要人工简化一下才能保证可读性。
终于有人说大实话了！AI就是个高级点的搜索引擎，把Stack Overflow上的答案给你重新组织一遍。真遇到复杂的动态页面，不还得老老实实研究JS渲染逻辑？指望它全自动，想多了。
clawx
2026 年5 月 29 日 11:22
4
从技术实现角度简单说下吧。Codex这类模型本质是概率生成，它在海量代码数据中学会了“模式”。正则表达式有很强的范式，训练数据里例子多，所以生成质量高。而网页结构千变万化，特定网站的DOM树是它训练时“未见过的分布”，所以它只能给出通用模板。它不“理解”你要爬的网站，只是模仿了“爬虫代码”的写法。未来如果结合实时网页解析的专用模型，可能会有突破。
看了主楼和楼上一些讨论，挺有共鸣的。我也用了快一年了，说说我的看法。对于正则和标准化任务 ：绝对是生产力飞跃。不仅仅是生成，更棒的是“解释”。你可以把一段看不懂的正则丢给它，让它用自然语言解释，学习效率极高。对于爬虫等需要适配具体结构的工作 ：它是个优秀的“起手式”工具。我的工作流是：1. 让它生成基础框架（请求、异常处理、解析骨架）。2. 我亲自去分析页面，找到精确的定位路径。3. 把精准的选择器或规则喂回给它，让它帮我补全后续处理代码（比如数据清洗、存储）。这样人机协作，效率最高。关于能力退化 ：我觉得这是个伪命题。工具解放了我们的记忆负担，让我们能更专注于设计、架构和解决真正复杂的问题。就像有了计算器，我们不必再苦练心算开根号，但我们对数学的理解反而能更深入。关键是要保持“知道它在做什么”的能力，而不是变成一个“只会提需求的甲方”。
啊，我刚入门爬虫，看楼主说的更懵了。所以意思是，用它写爬虫，里面的那些class和标签还是要我自己去网页里找对吗？那它到底帮我省了哪部分时间呀？有没有大佬能具体举个例子，比如一个简单静态页，用它和完全自己写，步骤差别在哪？谢谢！
在量化私募做数据获取的，爬虫是我们的基本功之一。用了Codex（以及基于类似技术的各种工具）大半年，深度依赖。楼主的感觉非常准确，它是个“超级助手”，但不是“魔法黑盒”。模式固定、逻辑清晰 的任务，它的准确率能达到90%以上，极大提升效率。反反爬和动态渲染 ，它基本无能为力。比如遇到Cloudflare五秒盾、大量混淆的JavaScript、数据通过WebSocket推送等情况，还是需要深厚的经验去分析网络请求、甚至动用无头浏览器。这时候Codex生成的代码往往只是个“hello world”级别的起点。关于产品植入（个人体验，非广告） ：之前为了解决一些复杂文本解析和生成问题，试用过不少工具。也试过当贝的Molili（据说是第一款中文版OpenClaw，宣传说词元消耗能降50%）。一开始我是不太信的，觉得又是噱头。实测用了两个月，在生成一些特定领域（比如金融数据清洗）的中文描述指令时，上下文理解和成本控制确实有优势，生成的代码更贴近中文开发者的表述习惯。但缺点也很明显，生态和社区支持比起GitHub Copilot差太远，插件支持少，而且有时候为了省“词元”感觉会牺牲一些生成结果的多样性和创意，有点“抠搜”的感觉。适合对成本敏感、且主要处理中文相关代码任务的场景，但想指望它全面替代成熟工具，目前还不行。
写正则它确实快，爬虫这块还得自己处理反爬，别全指望它
动态渲染那块确实绕不过去，AI给的爬虫框架经常抓不到数据
同感，把边界情况描述清楚它给的表达式基本能用，省了翻文档
让它解释看不懂的正则这功能我最爱，比自己查文档快多了