YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

用檢查層與自製框架管住 AI 產出的程式碼品質

YouTube 影片筆記

用檢查層與自製框架管住 AI 產出的程式碼品質

原片標題:EP475 - AI 寫的 code 怎麼不變 slop|SpaceXSI Lauren Tan 演講精華

原片說明
大家都說 AI 寫的程式碼是 slop,SpaceXSI 的 Lauren Tan(poteto)卻說她的 Grok Bot 團隊上個月合併了 11,000 個 PR,被 revert 的只有大約 0.5%。這一集整理她在 AI Engineer Code Summit 的演講〈All Code Is Slop (Except Mine)〉:她靠的不是更強的模型,而是在 agent 外面一層一層蓋起來的檢查和驗證。 給已經在用 Claude Code、Cursor、Codex 寫程式,開始擔心 AI 產出品質的你。照她的倒金字塔從上往下走:程式碼本身、lint 取代註解、驗證、成果,最後才是 software factory。 章節 0:00 開場:AI 寫的 code 都是 slop? 1:28 程式碼本身:code base 是 agent 最大的輸入 3:55 lint 取代註解:每糾正一次,就多一條規則 5:34 驗證:runtime 驗證、TLA+ 和 Lean 7:05 成果:速度變快,revert 沒變多 7:52 software factory:不要自動化一個爛迴圈 8:58 她這場演講的五個重點 演講原片與提到的工具 AI Engineer|All Code Is Slop (Except Mine) — Lauren Tan, SpaceXSI https://www.youtube.com/watch?v=O_zcc6Xl12g Grok Bot 官方介紹 https://x.ai/news/introducing-grok-bot pstack(Lauren 的 plugin) https://github.com/cursor/plugins/tree/main/pstack TLA+ https://lamport.azurewebsites.net/tla/tla.html Lean https://lean-lang.org/ Lauren Tan:https://x.com/poteto / https://github.com/poteto 相關影片 AI Engineer|Why Software Factories Fail https://www.youtube.com/watch?v=Ib5GBkD555M DevForge|Vibe Coding is a Trap (What Senior Devs See That You Don't) https://www.youtube.com/watch?v=ya6520zh4pQ Claude|Building verification loops in Claude Code https://www.youtube.com/watch?v=mQZB0l-rhxE John Kim|How I Review AI Code - (Meta Senior Staff Engineer) https://www.youtube.com/watch?v=b2QkhmQ0sT0 AI Engineer|Is the Agent Harness Dead? — Jediah Katz, SpaceXAI https://www.youtube.com/watch?v=7Y4sbZgBdnc Matt Pocock|LIVE: Poteto (creator of pstack) on shipping 1,000's of PR's a month at SpaceX https://www.youtube.com/watch?v=MN9dGgmLyso 畫面:演講片段與講者畫面來自 AI Engineer 頻道原片。 #AIcoding #AIagent #ClaudeCode #Cursor #slop #軟體工程 #AI 歡迎請我喝杯咖啡,幫助我繼續把節目做得更好唷~! 👉 https://buymeacoffee.com/ailanrenbao

上個月合併一萬一千個 PR、被 revert 的只有 0.5%,我第一個反應是「這數字真的假的」。Lauren Tan 在 SpaceXSI 帶 Grok Bot,她說關鍵根本不是模型多強,是在 agent 外面一層一層蓋檢查。這段聽完我馬上想到自己那些不敢 merge 的 AI 產出。

一萬一千個 PR 只被 revert 0.5%
一萬一千個 PR 只被 revert 0.5%00:25

影片時間軸

  1. 00:55畫出倒金字塔,最寬的是程式碼本身,最窄的是人工 review
  2. 02:04用花園比喻:以前一天 review 三個 PR,現在三百個
  3. 02:42團隊自製 client 框架 Dune,把限制和 lint rule 寫進去
  4. 04:09Cursor 的 setTimeout 事件:從一個計時器長到 183 個
  5. 04:34Grok Bot 禁掉 99% 註解,註解從六萬五千個降到一千兩百個
  6. 05:58review 改成看 agent 交的證據,用 Chrome DevTools 做 runtime 驗證
  7. 06:22開始用 TLA+ 檢查通知流程、用 Lean 證明列表虛擬化不會抖動
  8. 08:27發新版時自動開 Cursor 專案,像使用者一樣跑一輪,找到 bug 就開 PR
註解沒辦法強制執行,lint 可以
註解沒辦法強制執行,lint 可以04:43

花園長太快,骨架歪了就跟著歪

她說 2024 年上班一天 review 三個 PR,現在一天三百個,程式碼像停不下來的水流,架構和規則就是新程式碼沿著長上去的骨架。問題是 agent 分不出權宜之計和正確寫法,一個 workaround 留著,很快就變成整個專案的慣例。所以她們做 Dune 時直接把容易用錯的東西拿掉,像 useEffect 那種要有博士學位才會用的 API,乾脆換成不會用錯的設計。

一個計時器長成一百八十三個

這段我覺得是整集最有說服力的地方。9 月 9 日一個 agent 用 setTimeout 修畫面閃爍,還在註解裡替自己找理由;10 月 3 日被複製進共用模組;10 月 17 日程式碼裡已經有 183 個計時器,全都在掩蓋 VS Code 和 React 寫法對不上這個同一個架構問題。她們的解法是禁掉 99% 的註解,改用 lint rule,錯誤訊息直接叫 agent 去修根本原因。從 7 月到 11 月,規則從 7 條長到 167 條。

用 TLA+ 和 Lean 做形式驗證
用 TLA+ 和 Lean 做形式驗證06:22

值得下載嗎

值得,尤其你已經在用 Claude Code 或 Cursor,卻開始懷疑產出品質的時候。它給的不是心法,是一套可以照著蓋的順序。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。