YouTube 影片筆記
Claude Code 團隊如何驗證 AI 寫的程式:三種測試與九個把關做法
原片標題:AI 產出程式怎麼驗證?Claude Code 團隊的 3 種測試與 9 個驗證做法
原片說明
AI 說「寫好了」,打開卻不能用,問題出在哪裡?這支 10 分鐘影片用工廠驗收產線的比喻,拆解 Claude Code 團隊如何要求 AI 拿出能運作的證據。
本片整理 Addy Osmani 的〈How the Claude Code team thinks about verification〉。從實際操作、測試設計到審查規則,說明如何把「完成」變成可檢查的結果。
【三種值得投資的測試】
・端到端測試:像使用者一樣,從註冊、加入購物車到結帳,把完整流程跑一遍,確認真的得到預期結果。
・鐵則測試:檢查系統不能違反的條件,例如資料來回轉換後仍一致、特定性質永遠成立。
・差異測試:把相同輸入交給新舊系統,比較輸出,特別適合重構與系統搬家。
【團隊驗證流程,這集會講什麼】
1. 用 verify 技能啟動程式、實際操作並檢查結果,交付前先跑過一遍。
2. 讓 AI 先修正失敗;片中流程以三輪仍未通過作為找人處理的界線。
3. 由程式碼負責人撰寫與調整檢查,出問題時說清楚為什麼需要人介入。
4. 根據修改內容觸發可靠度清單,讓檢查聚焦真正受影響的地方。
5. 衡量額外審查的成本與效果,不把增加模型數量當作品質保證。
6. 讓檢查規則與待驗收的修改分開,避免 AI 為了過關而改掉自己的考卷。
7. 記錄每筆修改經過哪些驗證;先以觀察模式確認規則,再逐步強制執行。
8. 分開看不同階段抓到的問題,檢視驗證到底擋下什麼。
9. 從審查留言和被退回的修改整理反覆出現的問題,逐步更新規則。
【不寫程式,也能帶走的交辦方式】
請 AI 實際操作一遍,附上結果;事前講清楚怎樣才算完成;不要讓它為了過關任意修改測試;把反覆遇到的問題整理成下次能用的規則。
【影片章節】
00:00 AI 寫程式,為什麼需要驗收證據
00:30 九成程式由 Claude 撰寫,怎麼把關
01:00 測試的價值與不值得堆疊的測試
02:00 端到端測試:從使用者角度跑完整流程
03:00 功能地圖與鐵則測試
04:00 差異測試:比較新舊系統
04:30 團隊九個做法與 verify 驗證
05:30 測試失敗、人工介入與可靠度清單
06:30 審查成本與保護檢查規則
07:30 驗證紀錄與逐步強制執行
08:30 分階段衡量結果
09:00 從審查回饋更新規則
10:00 重點小抄與交辦提醒
【原始來源】
Addy Osmani/claude.dev
How the Claude Code team thinks about verification
https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
內容依 2026/11/16 製作時的文章與片中示範整理。九成程式碼與三輪重試屬文中團隊案例,不代表所有專案都應套用相同門檻。本片以中文解說與動畫呈現驗證流程。
訂閱 Jerry_AI 工具X實作X新知,一起把 AI 工具用成能驗收的成果。
#ClaudeCode #AI寫程式 #軟體測試 #AI驗證 #Anthropic
AI 說「寫好了」,你敢直接上線嗎?Claude Code 團隊的答案很硬:叫它拿出證據。九成程式碼都是 Claude 寫的、Claude 檢查的,人根本看不完每一行,所以他們把驗收做成一套流程,從實際跑一遍到三種騙不過的測試,再談九個把關做法。

影片時間軸
- 00:00開場破題:AI 說寫好了,怎麼知道真的能用
- 01:32先講三種別做的測試:時好時壞、太慢、太吃資源
- 01:56端到端測試,從加入購物車走到訂單完成頁
- 03:17鐵則測試,用工具生成幾千種輸入想辦法打破規則
- 04:11差異測試,同輸入丟給新舊系統比對結果
- 04:44團隊九個做法開場,verify 技能在交付前跑一遍
- 05:42測試失敗才找人,三輪不過就停下來
- 07:39新關卡先觀察再強制,最後收在四句白話與小抄

端到端測試為什麼排第一
文章說如果只能專心做一種測試,就選端到端。理由很實在:整個功能不是能用就是不能用,完成標準明確,壞掉時能具體告訴你壞在哪。片中對照圖很傳神,單元測試失敗只丟一句等了三十秒逾時,原圖形容這叫蒙著眼睛開槍;端到端測試則有每一步記錄、一張截圖,還有一句「付款表單沒載入,所以下單按鈕不能按」。要做到這件事,得讓 AI 能自己啟動程式、操作畫面、檢查結果。
不能讓考生自己改考卷
九個做法裡最關鍵的一條:修改不能動到檢查自己的規則。審查規則只從主線版本讀取,不讀這次修改帶來的版本,審查結果也綁定在某一版修改上,審查到一半又推新的,舊結果就作廢。另外便宜的先跑,Claude 送出合併申請前先自己跑測試、試著建置、檢查格式,沒測就送出去,浪費的是大家共用的審查時間。新關卡也不是一開始就硬擋,先用觀察模式記錄本來會被擋下的,確認沒有誤判再轉強制。

值得下載嗎
值得,特別是你在帶 AI 寫程式卻老是被「看起來完成了」騙到。十分鐘把測試種類和九個流程講清楚,還附四句不寫程式也能用的交辦方式,留著當檢查清單很實用。
覺得這篇筆記有幫助嗎?