Molili更加精准的桌面自动化控制教程

用desktop-control这个技能,Molili可以获取系统级别的操作权限,实现像素级的鼠标控制、拟人化的键盘输入、完整的窗口管理以及基于图像识别的屏幕交互。以下是关于Molili桌面自动化控制技能的配置与实测说明。

一、安装与配置方法

方法1:通过指令自动安装

帮我安装 desktop control 这个技能https://clawhub.ai/matagul/desktop-control

方法2:本地手动安装中文版

若需安装中文优化版本,可在cmd终端执行以下命令拉取至本地目录:

cd ~/.openclaw/skills/
git clone https://github.com/L-LesterYu/OpenClaw-hot-skills-zh.git temp-repo
cp -r temp-repo/skills/desktop-control-zh ./
rm -rf temp-repo

(注:执行完毕后重启Molili即可生效。)

二、功能实测与常用指令

配置完成后,Molili可根据自然语言指令直接接管鼠标、键盘及应用窗口。

1. 图像识别的定位与点击

请在当前屏幕上找到“确认提交”的按钮图标,并将鼠标移动过去进行左键点击。

3. 屏幕截图

请截取当前全屏幕图像,并发送至桌面

部署该技能后,用户可以通过文本指令构建本地应用的自动化执行流程。注意,Windows系统的DPI缩放可能会对绝对坐标的精度产生影响,建议结合图像识别功能进行综合定位。

1 个赞

Molili越来越强

桌面自动化精准控制这个确实比之前的版本好多了,点击定位准确率提升很大

但是遇到动态加载的页面还是会翻车,等待策略需要手动调整

教程里的例子太简单了,实际操作复杂软件时各种坐标偏移问题怎么解决?

桌面自动化最大的问题是跨分辨率兼容,换台显示器可能全挂

@flcam 坐标偏移问题用相对坐标+图像锚点定位解决 先截取目标元素的特征图 用图像匹配找到位置再点击 比硬编码坐标稳定多了

@bxdev 跨分辨率兼容确实是大问题 建议在脚本开头加一个获取屏幕分辨率的步骤 然后按比例换算坐标 或者直接用accessibility API定位控件