不给API不给辅助功能 就让模型盯着屏幕自己点 这思路够轴

AI大百科
1

Qwen-CUA 这个做法挺有意思：训练通用电脑智能体的时候，不喂特殊接口、不给辅助功能树，就只给屏幕截图、鼠标和键盘——跟人用电脑的输入完全一致，把截图当成 AI 的通用界面。

训练规模也是真舍得，动用了将近 10 万个虚拟处理器核心去跑环境。

这条路的好处很直白：不用为每个软件写适配，理论上人能点的它都能点。坏处也很直白，看图找按钮又慢又容易点歪。到底是这条路能通，还是老老实实做 API 适配更实在，感觉未来一年就能见分晓

2

必须冲 等开源权重

3

有成功率数据吗 光讲思路没用

4

这波是回归本源了 属于是

5

慢是原罪 点一下等两秒受不了

6

截图当通用界面 这个说法我喜欢

7

大佬轻喷 这个跟浏览器自动化区别在哪

8

那个读DOM 这个读像素

9

读像素的抗改版 读DOM的一改就废

10

10万核 我看看就好

11

纯靠看屏幕点，碰上弹窗和验证码基本就卡死了

12

但适配这事真的做不完 每个软件都改版

13

这条路慢是慢，好处是不用等对方开接口，什么系统都能接