開頭先說，我本來以為「本地 AI」就是自己電腦跑跑模型，結果林亦直接把兩台 DGX Spark 搬回家，還讓它們像印表機一樣自己大喊「我在這！」，這也太像在養電子寵物了吧。這支影片就是看他怎麼把這套自動發現、隱私路由的流程從零搓出來，還順便聊了 NVIDIA 新發表的 PAIR 怎麼把整間辦公室的算力都湊在一起用。

1. 00:00開場直接展示兩台 DGX Spark 的部署目標
2. 01:08讓 AI 節點在區域網路內廣播自己，像印表機一樣被自動發現
3. 02:33連線順暢後，開始處理第二個問題：哪些請求能送雲端
4. 03:48解釋請求裡不只有使用者輸入，系統提示詞和歷史對話也得一起檢查
5. 04:36拿出千問 3 的評分對比 GPT-4o，證明本地模型已能一戰
6. 07:14討論算力排隊問題，帶出 RTX Spark 這類新的本地 AI 節點
7. 08:33NVIDIA PAIR 官方演示，三台機器組叢集把任務時間砍半
8. 10:33結尾提問分散式算力會不會成為下一代 AI 基礎設施

讓 AI 自己找到算力，像印表機一樣隨插即用

林亦先吐槽了手動設定 API 的痛苦：換個網路就要重填 Base URL、API Key、模型名稱，煩到直接寫了一套基於 mDNS 的發現機制。兩台 DGX Spark 接上網路就開始廣播自己是誰、支援什麼、怎麼呼叫，客戶端掃到就問你要不要切換，點一下全部設定完成。他拿印表機來比喻很精準，以前要設 IP 裝驅動，現在插電連 WiFi 就能用，AI 節點也該長這樣。

隱私路由不能只看當下那句話

這段的關鍵在於請求的上下文很長，就算你後來改問公開話題，前面讀過的私有程式碼可能還躺在歷史對話裡。所以林亦的外掛重新組裝一份只含已核准資訊的請求，把帶有隱私標籤的對話和工具呼叫全部剔除。他特別強調，只檢查最新提示詞沒用，整包內容原樣送出去，隱私邊界照樣被繞過。

本地模型早就不是吉祥物了

林亦拿出資料說千問 3 27B 在 Arena 評分 1436，跟 GPT-4o 的 1443 只差一點，AIME 2024 數學測試甚至贏過 GPT-4o。他認為本地模型已經值得放進真實工作流測試，不是只能當隱私好但能力幾乎為零的備用選項。而且推理引擎也在進步，VLLM 在雙 DGX Spark 上吞吐最高能到原本的 1.4 倍，就算不換硬體，本地 AI 也會隨著軟體升級變快。

值得下載嗎

值得。如果你在玩本地 AI 或 Agent 工作流，這支影片把自動發現、隱私路由、算力排程這條脈絡講得很清楚，而且程式碼全開源，可以直接抓來改。