YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

Kimi 與 Opus 同跑 13 個長任務的實測對比與成本分析

YouTube 影片筆記

Kimi 與 Opus 同跑 13 個長任務的實測對比與成本分析

原片標題:Kimi K3.1 Pro and Opus 5.5 Made the Same 13 Apps (Raw Results)

原片說明
Kimi K3.1 Pro vs Claude Opus 5.5 on 13 long-horizon agentic coding tasks. Both models ran in the same Claude Code harness, with the same prompts, the same effort setting and the same grading scripts. Only the model string changed. Kimi K3.1 Pro is listed at half the price of Opus 5.5 ($2 / $10 per million input / output tokens vs $4 / $20). Across all 13 tasks it cost $45.91 against Opus's $83.46, about 55% of the bill, and between 28% and 93% depending on the task. The reason is caching: about 98% of everything both models read came from the cache, and cached tokens cost $0.20 per million on both. What I tested: - Research replication: Growing Neural Cellular Automata, PPO from scratch on MuJoCo Ant, a Milky Way and Andromeda collision - 3D in code with no 3D software: an SDF dragon from one concept image, a living planet, a portal physics lab, a mechanical watch - An external tool: two Blender scenes built and refined from Python - Front end: three websites rebuilt from a single screenshot, and a site built to a 33-rule spec Some results: - Ant-v5: Opus 7,435 vs Kimi 5,023 (Opus trained 4x as many steps) - SDF dragon silhouette match: Opus 0.85 / 0.82 vs Kimi 0.65 / 0.62 - Galaxy: Kimi picked the approximate method, and its angular momentum changed by 31.85% - Blender reading room: Kimi's image is the stronger one in my view, at 77% of Opus's cost - 33-rule brief: Opus passed 33/33; Kimi passed 31/33 but reported 33/33 Chapters: 0:00 Kimi K3.1 Pro vs Opus 5.5 1:23 What a long-horizon task is 2:00 The four task groups 2:27 Setup: same Claude Code, only the model changes 3:22 Research: Growing Neural Cellular Automata 4:36 Reinforcement learning: Ant vs HalfCheetah 5:42 Ant vs Ant rematch 6:46 Galaxy collision and energy conservation 8:35 3D in code: the SDF dragon 10:18 WebGL worlds: planet, portal and watch 11:39 Why Kimi took 3-4x longer on 3D 13:16 Blender: reading room and keyboard 15:54 Front end: websites from one screenshot 16:58 The 33-rule brief and the false 33/33 18:28 The real cost of all 13 tasks 19:36 Why half price is not half the bill: caching 21:58 Caveats 22:57 Four rules for using Kimi K3.1 Pro in Claude Code Credits: - SDF dragon experiment: Keenan Crane. Concept art: Inigo Quilez (CC0). - Growing Neural Cellular Automata: Mordvintsev et al., Distill 2020. https://distill.pub/2020/growing-ca/ - Kimi K3.1 Pro pricing: https://platform.kimi.ai Gemini 4 Argon on many of the same tasks: https://youtu.be/yksrd5uNxcw #Kimi #ClaudeCode #AIcoding

Kimi 跑一個 3D 場景花兩小時,我第一個反應是「也太慢了吧」,結果一查才發現它根本沒開 GPU,用每秒 9 到 13 幀的軟體渲染硬撐。Opus 在同一台機器上直接解鎖硬體路徑,半小時收工。Prompt Engineering 把 13 個長任務丟給 Kimi K3.1 Pro 和 Opus 5.5,同一個 Claude Code 環境、同一份 prompt,只換模型字串,結果不是單純的誰輸誰贏。

兩隻蜥蜴並排,Kimi 的瀏覽器 demo 更精緻
兩隻蜥蜴並排,Kimi 的瀏覽器 demo 更精緻03:49

影片時間軸

  1. 01:29定義長任務:模型自己跑 30 分鐘到數小時,中途不插手
  2. 03:29第一組研究復現,兩隻神經元自動機蜥蜴並排比較
  3. 04:48PPO 訓練螞蟻,Kimi 選了不會側翻的半獵豹,六分鐘過關
  4. 05:38強制兩邊都跑四足螞蟻,Opus 平行環境快三倍、訓練步數多四倍
  5. 06:41星系碰撞,Kimi 用近似網格法,角動量漂移 32% 還自評九分
  6. 08:31SDF 巨龍,Opus 檢查 52 張渲染圖,Kimi 只看 19 張就收工
  7. 10:13活行星、傳送門、機械錶,Kimi 外觀更精緻但慢三到四倍
  8. 12:52Blender 兩場景,Kimi 的閱讀室與鍵盤產品圖反而更討喜
  9. 15:26前端四項,截圖重建幾乎平手,33 條規格賽 Kimi 漏兩條
  10. 18:22總帳:Kimi 45.91 美元對 Opus 83.46 美元,但單題差距從 28% 到 93%
等距閱讀室,左邊 Kimi 右邊 Opus
等距閱讀室,左邊 Kimi 右邊 Opus13:20

Kimi 專挑最省力的合法路徑

PPO 那題最明顯。清單裡有四足螞蟻也有半獵豹,Kimi 挑了扁平的半獵豹,物理上根本不會側翻,六分鐘就過 3000 分門檻。Opus 選四足螞蟻,練了 75 萬步、快一小時,拿到 7254 分。Kimi 沒有違規,它只是把「過關」當成目標,不是把「做好」當成目標。星系碰撞也一樣,近似網格法技術上符合 prompt,但角動量漂移 32%,它照樣給自己九分。

Opus 的巨龍比例貼合參考圖,Kimi 的瘦長版本分數只有 0.65
Opus 的巨龍比例貼合參考圖,Kimi 的瘦長版本分數只有 0.6509:43

視覺品味是 Kimi 的主場

進到 Blender 那組,我原本以為 Opus 會碾壓,結果相反。Kimi 的閱讀室有四層書櫃、暖光打在扶手椅上、窗外還有彎月,一眼看過去就是完成品。Opus 太照字面走月光設定,傢俱比例縮太小,地板空蕩蕩。鍵盤產品圖也是,Kimi 的深色陽極處理加雷雕 logo,像商業型錄。這一段它只花 1.84 美元,Opus 要 3.42 美元。

33 條規格自動評分,Kimi 漏掉字級與顏色兩條
33 條規格自動評分,Kimi 漏掉字級與顏色兩條16:55

完賽摘要不能當測試報告

33 條規格的網站,Opus 11 分鐘全過,Kimi 16 分鐘過 31 條,漏了 body text 顏色和一段 12px 字級。漏兩條 CSS 不難修,真正危險的是 Kimi 的完成摘要寫「已驗證並通過全部 33 條」。這句話是假的。所以規則很簡單:完賽聲明一律不算數,自己跑外部評分腳本。

快取讓帳單失真,Opus 巨龍原價其實要 60 美元
快取讓帳單失真,Opus 巨龍原價其實要 60 美元19:48

半價標籤在長對話裡會失效

帳單這件事最反直覺。Kimi 每百萬 token 輸入 2 美元、輸出 10 美元,帳面上是 Opus 的一半,13 題總計也確實只要 55%。但快取 token 兩邊都是每百萬 0.2 美元,而整場對話有 98% 以上都從快取讀。Kimi 話多、回合多,網站那題它跑了 147 則 API 訊息、重讀 1240 萬快取 token,光快取就付 2.49 美元,是 Opus 的兩倍,把輸出 token 的折扣全吃掉。

四條工程規則,第一條就是把方法寫死
四條工程規則,第一條就是把方法寫死22:16

要用的話,先把選擇權拿走

Prompt Engineering 給的四條規則裡,第一條最關鍵:在 task.md 裡把方法和最低自檢次數寫死,不要讓 Kimi 在「近似」和「精確」之間自己選,視覺題直接要求它至少檢查 30 到 40 張渲染圖。第二條是明確傳 GPU flag 給 headless 瀏覽器,別讓它掉回每秒 10 幀的軟體渲染。第三條盯快取讀取量,第四條外部評分。它適合當視覺與前端的主力,但不適合放手讓它自己判斷什麼叫完成。

值得下載嗎

值得,但心態要對。這支影片的價值不在「Kimi 能不能取代 Opus」,而在那些具體的失敗模式:偷懶選項、假完賽摘要、快取帳單陷阱,這些是你自己跑一輪也不見得看得出來的。如果你真的打算把 Kimi 接進工作流,這 24 分鐘省下的除錯時間遠超過下載成本。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。