YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

Claude Code 團隊如何驗證 AI 寫的程式:三種測試與九個把關做法

YouTube 影片筆記

Claude Code 團隊如何驗證 AI 寫的程式:三種測試與九個把關做法

原片標題:AI 產出程式怎麼驗證?Claude Code 團隊的 3 種測試與 9 個驗證做法

原片說明
AI 說「寫好了」,打開卻不能用,問題出在哪裡?這支 10 分鐘影片用工廠驗收產線的比喻,拆解 Claude Code 團隊如何要求 AI 拿出能運作的證據。 本片整理 Addy Osmani 的〈How the Claude Code team thinks about verification〉。從實際操作、測試設計到審查規則,說明如何把「完成」變成可檢查的結果。 【三種值得投資的測試】 ・端到端測試:像使用者一樣,從註冊、加入購物車到結帳,把完整流程跑一遍,確認真的得到預期結果。 ・鐵則測試:檢查系統不能違反的條件,例如資料來回轉換後仍一致、特定性質永遠成立。 ・差異測試:把相同輸入交給新舊系統,比較輸出,特別適合重構與系統搬家。 【團隊驗證流程,這集會講什麼】 1. 用 verify 技能啟動程式、實際操作並檢查結果,交付前先跑過一遍。 2. 讓 AI 先修正失敗;片中流程以三輪仍未通過作為找人處理的界線。 3. 由程式碼負責人撰寫與調整檢查,出問題時說清楚為什麼需要人介入。 4. 根據修改內容觸發可靠度清單,讓檢查聚焦真正受影響的地方。 5. 衡量額外審查的成本與效果,不把增加模型數量當作品質保證。 6. 讓檢查規則與待驗收的修改分開,避免 AI 為了過關而改掉自己的考卷。 7. 記錄每筆修改經過哪些驗證;先以觀察模式確認規則,再逐步強制執行。 8. 分開看不同階段抓到的問題,檢視驗證到底擋下什麼。 9. 從審查留言和被退回的修改整理反覆出現的問題,逐步更新規則。 【不寫程式,也能帶走的交辦方式】 請 AI 實際操作一遍,附上結果;事前講清楚怎樣才算完成;不要讓它為了過關任意修改測試;把反覆遇到的問題整理成下次能用的規則。 【影片章節】 00:00 AI 寫程式,為什麼需要驗收證據 00:30 九成程式由 Claude 撰寫,怎麼把關 01:00 測試的價值與不值得堆疊的測試 02:00 端到端測試:從使用者角度跑完整流程 03:00 功能地圖與鐵則測試 04:00 差異測試:比較新舊系統 04:30 團隊九個做法與 verify 驗證 05:30 測試失敗、人工介入與可靠度清單 06:30 審查成本與保護檢查規則 07:30 驗證紀錄與逐步強制執行 08:30 分階段衡量結果 09:00 從審查回饋更新規則 10:00 重點小抄與交辦提醒 【原始來源】 Addy Osmani/claude.dev How the Claude Code team thinks about verification https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/ 內容依 2026/11/16 製作時的文章與片中示範整理。九成程式碼與三輪重試屬文中團隊案例,不代表所有專案都應套用相同門檻。本片以中文解說與動畫呈現驗證流程。 訂閱 Jerry_AI 工具X實作X新知,一起把 AI 工具用成能驗收的成果。 #ClaudeCode #AI寫程式 #軟體測試 #AI驗證 #Anthropic

AI 說「寫好了」,你敢直接上線嗎?Claude Code 團隊的答案很硬:叫它拿出證據。九成程式碼都是 Claude 寫的、Claude 檢查的,人根本看不完每一行,所以他們把驗收做成一套流程,從實際跑一遍到三種騙不過的測試,再談九個把關做法。

九成程式碼由 Claude 自己寫自己檢查
九成程式碼由 Claude 自己寫自己檢查00:38

影片時間軸

  1. 00:00開場破題:AI 說寫好了,怎麼知道真的能用
  2. 01:32先講三種別做的測試:時好時壞、太慢、太吃資源
  3. 01:56端到端測試,從加入購物車走到訂單完成頁
  4. 03:17鐵則測試,用工具生成幾千種輸入想辦法打破規則
  5. 04:11差異測試,同輸入丟給新舊系統比對結果
  6. 04:44團隊九個做法開場,verify 技能在交付前跑一遍
  7. 05:42測試失敗才找人,三輪不過就停下來
  8. 07:39新關卡先觀察再強制,最後收在四句白話與小抄
端到端測試壞掉時附截圖與說明
端到端測試壞掉時附截圖與說明02:45

端到端測試為什麼排第一

文章說如果只能專心做一種測試,就選端到端。理由很實在:整個功能不是能用就是不能用,完成標準明確,壞掉時能具體告訴你壞在哪。片中對照圖很傳神,單元測試失敗只丟一句等了三十秒逾時,原圖形容這叫蒙著眼睛開槍;端到端測試則有每一步記錄、一張截圖,還有一句「付款表單沒載入,所以下單按鈕不能按」。要做到這件事,得讓 AI 能自己啟動程式、操作畫面、檢查結果。

不能讓考生自己改考卷

九個做法裡最關鍵的一條:修改不能動到檢查自己的規則。審查規則只從主線版本讀取,不讀這次修改帶來的版本,審查結果也綁定在某一版修改上,審查到一半又推新的,舊結果就作廢。另外便宜的先跑,Claude 送出合併申請前先自己跑測試、試著建置、檢查格式,沒測就送出去,浪費的是大家共用的審查時間。新關卡也不是一開始就硬擋,先用觀察模式記錄本來會被擋下的,確認沒有誤判再轉強制。

審查規則只從主線版本讀取
審查規則只從主線版本讀取07:10

值得下載嗎

值得,特別是你在帶 AI 寫程式卻老是被「看起來完成了」騙到。十分鐘把測試種類和九個流程講清楚,還附四句不寫程式也能用的交辦方式,留著當檢查清單很實用。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。