YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

Anthropic 三萬個變更怎麼審:AI 自動檢查與人工把關的分工

YouTube 影片筆記

Anthropic 三萬個變更怎麼審:AI 自動檢查與人工把關的分工

原片標題:EP451 - Anthropic 內部怎麼做 code review?哪些交給 AI,哪些一定要人看!?

原片說明
Anthropic 說,Claude Code 的程式碼大約九成是 Claude 自己寫的;Anthropic 的 monorepo,每天進來的變更,五月大約 2,500 個,到九月已經超過 30,000 個。這麼大的量,每個變更都由人從頭讀到尾已經不可能,所以他們把問題換成:這個變更可能出什麼問題,哪一種檢查,自動的還是人,最適合抓到它? 這一集整理 Anthropic 公開的做法,給已經在用 Claude Code 的人一套判斷:哪些交給 AI 先審,哪些一定要人最後來看。PR 開出來之前先讓 Claude 自己跑檢查;PR 開了之後 AI reviewer 怎麼設定才不洗版(REVIEW.md、信心門檻、review 輪數上限);人最後看什麼(風險分三級、classifier 決定要幾個人);怎麼知道這套 review 有沒有效,還有官方沒有公布的數字。最後用懶人報自己的 repo 當例子,說明怎麼搬回你的團隊。 📌 這集最重要的八條判斷 1. 能跑出通過或失敗的(測試、build、型別檢查)→ 讓 AI 自己跑、自己改,人不用看 2. 要拿整個 diff 對照整個 repo 才找得到的問題 → 交給 AI reviewer,要有驗證那一步,不確定就不報 3. reviewer 一直重複同一個發現 → 變成 lint、CLAUDE.md 或 REVIEW.md 的規則 4. 同一個 PR 已經 review 到第三輪 → 停下來,請作者重新想做法 5. 文件、文案、flag 後面的新增,自動檢查全過 → 不用人;一般產品變更 → 一個人;billing、CI workflow → 兩個人;agent 的 approve 不算人的一票 6. merge 之後沒辦法靠 revert 或關 flag 收回來 → 一定要人先看 7. 該不該做、會被別人照著抄的架構、你說不出檢查會漏掉什麼 → 人來看 8. 想知道有沒有用 → 追蹤人花的時間,以及 revert 跟 incident 的比例 ⏱ 章節 00:00 AI 寫了九成的 code,誰來看? 01:00 一、PR 開出來之前 02:08 二、AI reviewer 怎麼不洗版 05:03 三、人最後看什麼 07:27 四、怎麼知道有效 08:45 八條判斷 片中「被 revert 的比例下降超過 40%」指的是比例;官方沒有公布 revert 的件數,也沒有公布 reviewer 抓到多少 bug、誤報有多少。片中懶人報自己的 PR review 設計,是我們自己的例子,不是 Anthropic 的做法。 📄 官方文章、文件與一手來源 ・Anthropic|How the Claude Code team does code review(2026/10/15):https://claude.dev/blog/solving-code-review-at-anthropic/ ・Claude Code 文件|Code Review:https://code.claude.com/docs/en/code-review ・Claude Code 文件|Customize Code Review(REVIEW.md):https://code.claude.com/docs/en/code-review-customize ・Claude Code 文件|Read and request reviews on a pull request:https://code.claude.com/docs/en/code-review-pull-requests ・Claude Code 文件|Review locally with /code-review:https://code.claude.com/docs/en/code-review-local ・Claude Code 文件|GitHub Actions:https://code.claude.com/docs/en/github-actions ・Claude Code 文件|Best practices:https://code.claude.com/docs/en/best-practices ・Claude Code 文件|Hooks guide:https://code.claude.com/docs/en/hooks-guide ・Claude Code 文件|Commands(/security-review):https://code.claude.com/docs/en/commands ・anthropics/claude-plugins-official|code-review 外掛:https://github.com/anthropics/claude-plugins-official/tree/main/plugins/code-review ・anthropics/claude-code-action:https://github.com/anthropics/claude-code-action 🎬 參考影片(研究資料) ・Better Stack|Anthropic Barely Reads Claude's Code Anymore:https://www.youtube.com/watch?v=d8QpDbBKbAU ・Owain Lewis|How Anthropic Reviews 30,000 Claude Code Changes a Day:https://www.youtube.com/watch?v=0M7EXtYko04 你們團隊現在的 review,哪些已經交給自動檢查、哪些一定要人看?留言告訴我。 歡迎請我喝杯咖啡,幫助我繼續把節目做得更好唷~! 👉 https://buymeacoffee.com/ailanrenbao

Anthropic 的 Claude Code 有九成程式碼是 Claude 自己寫的,每天進來的變更從五月 2,500 個衝到九月超過 30,000 個,我第一個反應是:這誰看得完?他們乾脆把問題換掉,不問有沒有人讀過,改問這個變更可能出什麼問題、哪種檢查抓得到。這集懶人報就把這套分工拆給你看,從 PR 開出來之前到人最後看什麼。

合併量兩倍,revert 比例反降四成
合併量兩倍,revert 比例反降四成00:30

影片時間軸

  1. 01:00說明 PR 開出來之前,能回傳通過或失敗的檢查就讓 Claude 自己跑自己改
  2. 01:40用 /code-review 開一個沒看過對話的 subagent 審 diff,強度可以調
  3. 02:19介紹 Anthropic 內部的 Code Review 服務,多個 agent 找 bug 再投票
  4. 03:17設定 CLAUDE.md 與 REVIEW.md,並說明 AI reviewer 看不到什麼
  5. 04:16一個 CLI 的 PR 整晚跑了超過 50 輪 review,才被人停下來
  6. 05:12變更分三級風險,由 classifier 決定要幾個人看,agent 的 approve 不算
  7. 06:03拿懶人報自己的 repo 當例子,用 one-way-doors 清單決定誰擋 merge
  8. 07:34把過去的 incident 做成考題,每天跑一次,並誠實講哪些數字沒公佈
  9. 08:45收成八條判斷,最後是按讚訂閱跟社群資訊
一晚五十輪 review 的 CLI PR
一晚五十輪 review 的 CLI PR04:28

PR 開出來之前就先擋一輪

能跑出對或錯的東西,測試、build、linter、截圖比對,Claude 自己跑自己改就好,人不用看。懶人報引用 Boris Cherny 的說法,讓 Claude 能驗證自己的工作,成果大概會好上兩到三倍。另一個好用的是 /code-review,它在全新的 subagent 裡審 diff,沒看過你當初的對話,所以不會被你的理由說服。強度調 low 只報最有把握的,誤報比較少。這段很具體,直接可以照做。

四個 agent 同時審一個 PR
四個 agent 同時審一個 PR02:43

AI reviewer 不洗版的設定

Anthropic 內部的 Code Review 會對照整個 repo 看變更有沒有解決問題、會不會弄壞別的東西,多個 agent 找 bug、另一組投票,只跟風格有關的直接丟掉。官方外掛則先判斷這個 PR 要不要審,草稿、已關掉、太小的自動 PR 都跳過,再派四個 agent 分工,每個發現還要再派 subagent 驗證,不確定就不報,信心門檻設在 80。真正讓我省思的是洗版的代價:人看到 nit 幾秒揮掉,agent 會去改,就是多一個 commit、多一輪 review。

人最後看的是收不回來的事

風險分三級:文件、文案、flag 後面的新增,自動檢查全過就不用人;一般產品變更一個人;billing、CI workflow 兩個人,而且 agent 的 approve 永遠不算人的一票。懶人報自己的做法是列一張 one-way-doors 清單,merge 後沒辦法靠 revert 收回來的路徑才擋。文章列的五件事裡,我覺得最實在的是「你說不出檢查會漏掉什麼,就要求一次真正的 review」。還有 you land it, you own it:收得回來的錯誤交給自動檢查,收不回來的才需要人先看。

下降四成指的是比例,件數沒公佈
下降四成指的是比例,件數沒公佈08:03

值得下載嗎:值得,特別是已經在用 Claude Code 的人。它把「哪些交給 AI、哪些一定要人看」講成一組可以馬上套用的判斷,而且誠實標出官方沒公佈的數字,不會讓你拿著半套資料去說服主管。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。