YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

兩台 Mac Studio 跑 8160 億引數模型的實測成本與等待時間

YouTube 影片筆記

兩台 Mac Studio 跑 8160 億引數模型的實測成本與等待時間

原片標題:Apple × Meta 讓兩台 Mac Studio 跑起 8160 億參數 AI!真的能拿來工作嗎?

原片說明
祖克伯最近曬出自己的辦公桌,旁邊直接擺了兩台 Mac Studio。Meta 這次公開的 Muse Spark Open 有 8160 億參數,Apple 用兩台 M5 Ultra Mac Studio 跑出每秒約 25 個 token 的成績。 但這樣的 AI,真的能拿來寫程式、剪影片嗎? 這集從 Apple 公布的兩台、四台 Mac Studio 測試出發,看模型怎麼分到不同電腦、長輸入會等多久,再看 Meta 展示的 Ice Cubes 程式修改與 DaVinci Resolve 剪輯工作。 最後聊自己架要準備哪些設備,跟直接用雲端 API 相比,什麼情況才值得花這筆錢。 片中 Apple 效能數據來自官方測試;Meta 的 Agent 任務為官方公開展示,並非本頻道親自實測。 影片章節 00:00 祖克伯桌上的兩台 Mac Studio 00:36 816B 模型為什麼需要兩台 01:54 Apple 實測:兩台和四台差多少 02:45 長上下文要等多久 03:29 Meta 展示寫程式與剪影片 04:46 自己架需要準備什麼 05:56 Mac Studio 硬體成本 06:21 雲端 API 要花多少 06:49 誰適合用本地 AI 07:17 我的看法 資料來源 Meta AI Research|Muse Spark Open 官方發布 Apple Machine Learning Research|MLX 多台 Mac Studio 推論測試 Meta Developers|Muse Spark Open on Mac 安裝文件 Together AI|Muse Spark Open API 價格 Mark Zuckerberg|X 原始貼文 補充與更正 影片中提到兩台 256GB Mac Studio 的價格作為硬體參照,但這不符合 Meta 公布的雙機安裝配置;雙機須各 512GB,或改用四台各 256GB。 片尾提到 Apple 與 NVIDIA 的對比,指的是本次桌面展示採用 Apple Mac Studio/MLX;Muse Spark Open 同樣支援 NVIDIA 等其他硬體。影片中口述的「RTX Spark」,產品正式名稱為 NVIDIA DGX Spark。

祖克伯桌上那兩台 Mac Studio 一擺出來,我第一個念頭是「這是在炫富還是在跑模型」?結果還真的是後者。Meta 的 Muse Spark Open 有 816B 引數,Apple 用兩台 M5 Ultra 讓它在本機每秒吐 25 個 token,兩家以前為了廣告追蹤吵成那樣,這次居然能好好相處。但能跑跟能拿來工作,是兩件事。

祖克伯桌上兩台 Mac Studio 搶盡鏡頭
祖克伯桌上兩台 Mac Studio 搶盡鏡頭00:04

影片時間軸

  1. 00:36拆解 816B 模型為什麼單台 Mac Studio 裝不下
  2. 01:54比較 Pipeline 與 Tensor 兩種分工,速度從 16 拉到 25 token
  3. 02:24加到四台後每秒 37 token,但記憶體優勢沒用上
  4. 02:45長輸入 65536 token 時,等第一個 token 要 40 秒以上
  5. 03:30Meta 展示用 Agent 改 Ice Cubes 專案並完成建置
  6. 03:56另一個展示是達芬奇逐幀挑畫面、裁成直式
  7. 04:46自己架要準備什麼:MLX、Thunderbolt 5 直連、SSH
  8. 05:56算給你看:兩台 62 萬起,對比雲端 API 每次 5.5 美元
Agent 讀檔改程式再確認編譯
Agent 讀檔改程式再確認編譯03:30

回答漂亮跟專案能建置是兩回事

Meta 拿 Muse Spark Open 配 Muse Code,在本機改開源 App Ice Cubes,自己讀檔、動手改、再呼叫工具確認能不能編譯。對用過 Codex 或 Claude Code 的人來說,這段落講得很實在:寫得漂亮跟整個專案建得起來,中間差很遠。另一個展示是讓 Agent 逐幀看影片、挑畫面、裁直式,但這只能操作現有素材,生不出一支新片。

Agent 逐幀挑畫面再裁成直式
Agent 逐幀挑畫面再裁成直式04:00

二十五個 token 量不到工具卡住

Apple 的每秒 25 個 token 跟 Meta 那兩段工作展示,量的根本不是同一件事。Agent 要搜尋檔案、執行程式、等軟體回應,出錯還得重試,模型吐字再快,工具卡住照樣要等。技之道說他更在意最後交出來的片段能不能用,而不是很快做完卻不能用,這句我認同。另外 Meta 沒公佈這兩段展示花了多久,也沒公佈 4-bit 量化後的準確率掉多少。

買回本很難,除非你每天大量跑

台灣 256GB 的 M5 Ultra Mac Studio 起價 31 萬 1 千元,兩台就 62 萬,而且 512GB 版本要到 10 月底才推出,實際價格還不能直接乘二。同一模型在 Together AI 上,輸入加輸出各 100 萬 token 約 5.5 美元,偶爾寫程式、整理檔案的人想靠省 API 費買回本,很難。真正划算的是每天有大量固定工作、又不能把內部程式碼送出去的團隊,代價是硬體、電費、維護跟多人同時使用的效能都得自己扛。

值得下載嗎:值得,如果你在評估本地大型 AI 的可行性,這支把成本、等待時間跟限制都攤開講清楚了;但如果只是想看熱鬧,片尾那幾個數字看一下就夠了。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。