AI 自动化工具越来越强，随之而来的问题是：网站如何防护 AI 爬虫？以及反制手段的法律边界在哪里？
AI 爬虫的特征
相比传统爬虫，AI Agent 驱动的爬虫更难检测：
- 模拟真实用户的浏览行为
- 请求频率可以控制得很"人性化"
- 能理解页面内容，智能提取信息
- 可以处理验证码和登录流程
现有防护手段
| 手段 | 有效性 | 说明 |
|---|---|---|
| robots.txt | 低 | AI Agent 未必遵守 |
| 频率限制 | 中 | AI 可以控制频率 |
| 验证码 | 中高 | 多模态模型可以识别简单验证码 |
| 行为分析 | 高 | 检测操作模式异常 |
| JavaScript 挑战 | 中 | 无头浏览器可以执行 |
反制的法律边界
有人提出对 AI 爬虫进行"反击"，比如注入虚假数据、提示词攻击等。但要注意：
- 主动攻击是违法的 - 无论对方是不是爬虫，反向攻击都涉嫌违法
- 投毒数据有风险 - 如果正常用户也受影响，可能面临法律责任
- 正确做法是防御 - 加强自身防护，而不是攻击对方
合理的防护建议
- 重要内容设置登录门槛
- 部署行为分析系统
- 对敏感 API 做频率限制和身份验证
- 关键数据做水印标记，方便追溯
安全攻防永远是猫鼠游戏，大家有什么好的防护经验？