讓 AI 操作電腦，最聰明的做法居然是叫它「不要看螢幕」？這聽起來超反直覺，但 Vercel 開源的 agent-desktop 就是這樣幹的，三天就衝破 140 萬次觀看。它不截圖猜位置，而是去讀作業系統本來就替視障朋友準備好的無障礙樹，把按鈕變成一份有編號的清單，AI 只要說「按一下 e8」就好。

影片時間軸

1. 00:00開場介紹 AI 操作電腦的新思路：不看螢幕
2. 00:16說明主流 Computer Use 做法：截圖、看圖猜按鈕、再截圖確認
3. 00:41介紹 Agent-Desktop 改走無障礙樹路線，把畫面說明書整理成 AI 讀得懂的元素清單
4. 01:19列舉三大好處：省算力、不搶滑鼠、多個 AI 可同時操作同一臺電腦
5. 02:02說明限制：遊戲或畫布類畫面無說明書可用，需退回截圖指令，並建議放進虛擬機隔離
6. 02:28收尾：Agent-Desktop 開源免費、一行指令安裝，問觀眾會讓它在背景先做什麼

主流做法為什麼卡住

現在大家講的 Computer Use，流程就是截圖、看圖猜按鈕、移動滑鼠點下去、再截一張確認，等於隔著照片遙控別人按鍵。問題很現實：圖片很燒算力，畫面一移動就猜錯，而且整個過程佔用你的滑鼠，你只能在旁邊乾等。這段把痛點講得很清楚，也是整支影片最值得先看的地方。

讀清單、按編號、再確認

agent-desktop 換條路走，把無障礙樹整理成 AI 讀得懂的清單，每個按鈕發一個編號，AI 不用猜位置，只要說按一下 e8，按完再讀一次確認。畫面變了它會收到提醒，重讀就好。整套就三步：讀清單、按編號、再確認。官方示範裡整個視窗 75 個元素，只看地點卡片就剩 45 個，先看大綱再展開需要的那塊，省下不少。

不搶滑鼠，還能多個 AI 共用

動作直接透過系統送出，不碰滑鼠，你繼續工作，它在背景做。更猛的是好幾個 AI 可以同時用同一台電腦，每個都有自己的遊標。macOS、Windows、Linux 都能用，會寫程式的 AI 都能接上，1.1 版連 Dock、選單列、控制中心都能操作，打字還看得到遊標在跑。這段是整個工具最有說服力的地方。

遊戲和畫布還是得靠截圖

它也有罩門。像遊戲或畫布這類畫面，無障礙樹寫不出元素資訊，這時還是得用另外提供的截圖指令。另外 AI 讀得到你畫面上的東西，所以有人乾脆把它放進虛擬機器裡跑，AI 只看得到裡面，私人檔案碰不到。這段提醒很實際，別以為開源就沒有邊界。

值得下載嗎

值得。三分鐘就能搞懂它跟截圖派差在哪，開源免費、一行指令就能裝，如果你本來就在玩 AI 操作電腦，這個思路值得留下來慢慢試。