Computer Use

在折腾了一晚上 JEV in computer use 的方案后，感到 computer use 也不是万能的。

人已有的用户习惯，对 agent 来说是一种阻碍

人在操作电脑的时候，有一套非常非常基础的操作指南，这些都是长期使用电脑下来被养成的用户习惯，比如双击是打开，超链接单击是打开，搜索之后如果有快速匹配的个人信息只要按回车就能跳转。我们称之为用户习惯，所谓习惯是不可能在文档里写得一清二楚的，问题就在于，agent 实际上没这些用户习惯，有时候是单击，有时候又是双击的这种逻辑实际上对于 agent 来说，都是一堆没有区别的文字本身，我们给它的上下文里并不会告诉它这是个 icon 还是超链接。而且这些逻辑的细节，每个 app 都可能有细微的差距，要想让 agent 顺利执行这些，我们需要给每个 app 都开发一套指南（skill），这件事本身就很逆天，不科学。

冗余信息成为 Agent 的噪声

满屏幕都是噪声，即使我们的描述很准确，即使在人的视觉习惯里，某些字是更显眼更有辨识度的，但是对于 agent 来说，它依旧无法区分和排除噪声。现代电脑的屏幕都是高分辨率的，信息量巨大，随便看一眼屏幕，不同区域实际上对人来说是有不同的权重的，但是这些权重对 agent 是不可见的。

Agent 手眼并不协调

换句话说，computer use 在界面层面的所见即所得，与任务的可控可编排之间存在博弈。

Agent 想通过 planning 一次性完整地预测并规划复杂任务，是不太可能的。注意我说的 computer use 是依赖鼠标、键盘，或者 CLI；当你切换应用窗口前，你是永远不知道按钮具体放在哪个像素的，在你点击按钮之前，你是不知道它会跳出什么校验不通过的窗口的。这就倒逼着 agent 必须做一步，观察一步。

人也是一样，走一步看一步，偶尔依靠经验，在事情发生之前就能预测事情的可能性。人的手眼协调是高效的，记忆系统、神经系统和肌肉关节，都高度协调地配合在一起。

这样的手眼协调系统是需要数年之久的训练，而 agent 在利用 computer use 执行任务时，只能做一步，观察一步。观察的形式可以有很多种，有视觉的，有状态感知。我断言，以视觉的形式在 UI 层面做 computer use 是手眼极不协调的。UI 在发明之初，就是给人反馈给人看的，其链路和自由度都是基于人的认知能力设计的。再从 UI 层面给 Agent 翻译一遍系统，是绕了一大圈的解决方案。

当你代入 agent 的视角，就能看到拆解任务的悖论：你想在一开始就安排好整个鼠标的操作，但是你在操作到那步的时候，你是不知道屏幕会变成什么情况的。所以这里就有反复跟模型确认的过程，等待上就很令人抓狂，因为视觉操作慢。

如果大家都认同，有些系统、浏览器、操作系统，将来都不再是给人设计的，那么大可直接绕过 UI——把一切执行过程中的状态反映在日志里、在 debug 端口里，才是正解，才是 Agent 时代应该有的产物。

如果让你重新设计操作系统？

如果是一个运行时 agent：

那它首先内核里的描述文档一定要保真保全，help 指令清晰 Agent 可读，示例典型，安全方面做足工作，运行时、系统环境、网络环境，边界清晰，内置许多 harness 配置，等等等等。

如果是一个 coding agent：

我会希望无论是什么编程语言，它的内存状态都可见。

如果是一个开发使用的日常操作系统：

我希望它有丰富的 CLI，桌面 UI 信息少，每个界面按钮都能通过 CLI 控制，运行状态可见，甚至界面状态、按钮也可从日志或者 CLI 获取，非常灵活的 computer use CLI 和 browser use CLI，放弃所有的用户习惯，而是给一套没有歧义的界面。

我希望我的操作系统不会因为我做各种 PoC 而被污染，各种环境变量、文件夹、注册表、缓存文件等，都能简单地清除和恢复。

Omarchy

前段时间，我们发现了一个 agent facing 的 Linux 系统 Omarchy。调研之后，我们发现，在这个给 agent 使用的操作系统里，开发者花费了很大的精力在 UI 之上。

只不过开发者都是在费尽心思地让它变得“难用”，比如，

• no application dock
• no desktop icons
• no start menu
• 大幅削弱鼠标操作，不能用鼠标切换窗口，没有鼠标开应用入口，没有布局按钮
• 窗口只能平铺、不能自由重叠拖拽

他们一定在问自己，agent 时代的操作系统设计里，UI 还有那么重要吗？创始人在访谈里说：

Everything in Linux is either a config file or a CLI tool… the drawbacks of Linux five minutes ago are now its major selling points.

Omarchy 创始人认为 Linux 因为“文本可读写”这个曾被视为缺点的特性，反而在 agent 时代变成最大优势，这使得操作系统层面一切工具皆可 CLI 调用。

是的，一个在交互层面退化了的操作系统，可能才是这个时代面向 agent 更好的操作系统。当年乔布斯设计出一套如此适配人的习惯的桌面系统时，他很难想象，科技的力量正在推着这套系统往更为原始、更为机械的方向发展，毕竟很快，人可能就不再是这套系统的第一使用者。

最后

这次调研，我还是做出了一个很有意思的用例，请看录像：

JEV in computer use：语音下达指令，Gemini Live 拆解任务，本地视觉模型框出候选区域，OCR 识别文字，JEV 打分决策，本地执行器操控鼠标

所以我还是要问，JEV in computer use 的方案适合什么？

在这个场景里，我们可以用人来做这个手眼协调的桥梁，JEV in computer use 在我不方便使用手、键盘、鼠标的情况下，就是一个很好的产品。