猜硬幣也能猜出 86% 準確率，我第一反應是這程式一定哪裡寫錯了吧？結果自學路說程式沒錯、工具也是大家天天在用的，只要把其中一個步驟的順序改對，同一個模型馬上掉回 49%。多出來的那三成根本是偷來的，這集就把資料洩漏的三種順序陷阱一個一個拆給你看。

影片時間軸

1. 00:45用 200 筆隨機資料、10000 個隨機特徵開始跑實驗
2. 01:38第一種做法：先用全部資料挑特徵，再交叉驗證，準確率 86%
3. 01:56第二種做法：把挑特徵放進交叉驗證每一輪，準確率掉回 49%
4. 02:23用一萬人猜硬幣、挑出 20 位預言家的比喻解釋洩漏
5. 03:33缺考補值的例子，算出 43.33 與 15 的差別
6. 04:27標準化的 fit 與 transform 正確順序
7. 05:45SMOTE 先混資料再切分，模型只是認得近親
8. 06:45拿 115 年第一次中級科目二兩題官方考題實戰
9. 09:14最終測試集鎖起來但標準化做錯的那題，答案是不對

預言家是怎麼被挑出來的

一萬個人猜硬幣，光靠運氣也會有人連中好幾次，你把最準的 20 個封為預言家，再拿同一批結果去考他們，當然個個神準。第一種做法就是這樣：挑特徵時模型已經看過全部 200 筆的答案，包含後來要當考卷的那一份。測試資料是期末考卷，要鎖在保險箱裡，留到最後才開。

fit 只能碰訓練資料

補值那段最清楚：訓練資料只有 10 和 20，測試資料有一筆 100，混在一起算平均是 43.33，乖乖只用訓練資料算是 15，差了快三倍。標準化也一樣，先切分，只用訓練資料 fit，再用同一組平均數和標準差去 transform 兩邊。就算你先切出最終測試集鎖好，交叉驗證每一輪還是會漏，前處理得跟模型綁進 pipeline，每輪重做。

考題要你起疑的地方

籃球隊受傷風險那題，測試集 AUC 從 0.68 跳到 0.81，看起來很成功，但團隊是在包含測試集的全部資料上算相關係數、刪特徵，測試資料早就參與了「留下哪些特徵」的決定。這跟開頭的猜硬幣實驗是同一類錯誤。自學路把破解法濃縮成一句：會從資料學參數、會用到答案、會產生新樣本的步驟，只能用當下那輪的訓練資料做。

值得下載嗎：值得，尤其是要考 iPAS 中級科目二的人。三個陷阱講得具體，還附官方考題演練，考前拿來複習流程題的判斷順序很實用。