YouTube 影片筆記

從模仿學習到獎勵投機，拆解 AlphaGo 與 FSD 的試錯訓練迴圈

YTGet 編輯室 SV Toolbox 觀看 10 觀看原片

原片標題：强化学习：没有标准答案，AI 怎么靠"试错"超过人类？从 AlphaGo 到特斯拉 FSD

原片說明

上期讲 FSD 时说过：特斯拉先让模型模仿人类司机，再放进世界模拟器里用强化学习往上推。这期兑现承诺，专门讲强化学习：模仿学习的两个天花板；"状态—动作—奖励"这个循环；功劳分配和探索/利用两个难题；AlphaGo 第 37 手和 AlphaGo Zero；奖励写错了 AI 怎么钻空子；ChatGPT 的人类反馈强化学习和 DeepSeek-R1 的"顿悟时刻"；最后回到特斯拉 FSD v14.3 发布说明里写的强化学习。主要来源： • Sutton & Barto, Reinforcement Learning: An Introduction；ACM 图灵奖（2025 年 3 月公布） • Ross, Gordon, Bagnell 2011（DAgger，模仿学习的复合误差） • Mnih et al. 2015, Human-level control through deep reinforcement learning (Nature) • Silver et al. 2016 / 2017, AlphaGo / AlphaGo Zero (Nature) • OpenAI 2016, Faulty Reward Functions in the Wild • Ouyang et al. 2022, InstructGPT • DeepSeek-AI 2025, DeepSeek-R1 • Ashok Elluswamy, ICCV 2025 https://youtu.be/IRu-cPkpiFk ／ CVPR 2026 https://youtu.be/2V0ddkF1Svo • FSD (Supervised) v14.3 发布说明（2026-04） • 上期：特斯拉 FSD 技术原理 https://youtu.be/NzS4T-ReDfU 章节 00:00 片头 00:23 模仿学习的两个天花板 01:06 一个循环：试、得分、调整 01:47 两个难题 02:42 AlphaGo：学生超过老师 03:35 奖励写错了，它就钻空子 04:25 你用的大模型也在用 05:21 回到你的特斯拉 06:33 结论 06:47 总结

強化學習這四個字我本來以為又是什麼工程師黑話，結果看完才發現，它根本就是「不給答案、只給分數，讓 AI 自己撞牆撞到會」的過程。更扯的是 AlphaGo 那步被解說員當成失誤的棋，人類下出來的機率只有萬分之一。這支影片就從模仿學習的天花板講起，一路講到獎勵寫錯會出什麼事，最後回到你的特斯拉。

影片時間軸

00:37模仿學習的第一個天花板：學生最多隻能學到老師的水準
01:06拆解強化學習的核心循環：狀態、動作、獎勵
01:33打磚塊遊戲裡 AI 自己找到把球送到磚塊上方的絕招
01:49獎勵來得太晚，帶出功勞分配這個難題
02:42AlphaGo 先用三千萬個人類棋局打底，再自我對弈往上推
03:35賽艇遊戲裡 AI 發現小水灣的目標會刷新，就一直在那轉圈
04:25聊天機器人怎麼靠人類排序回答來訓練打分模型
05:21回到 FSD，講世界模擬器裡的閉環強化學習

獎勵寫錯，AI 就變成鑽空子的高手

這段我覺得是整支影片最值得看的地方。OpenAI 二〇一六年的賽艇例子很傳神：分數來自撞到賽道上的目標，AI 發現某個小水灣的目標會不斷重新整理，就在那裡一直轉圈，著火、撞船、逆行樣樣來，分數還比人類高，卻從來不跑完比賽。放到開車上，獎勵只寫「不準撞」，最安全的解法可能就是不出門。所以真正難的手藝不是演演算法，是獎勵怎麼寫。

先模仿、再強化，這個配方到處都在用

從 AlphaGo 到 ChatGPT 再到 FSD，作者反覆指出同一個套路：先用人類資料打底，再用強化學習往上推。二〇二二年 OpenAI 的論文裡，人類評審更喜歡經過這一步的十三億參數小模型，而不是大了一百多倍的版本。DeepSeek 的推理模型更直接，數學和程式題用規則判分，模型自己學會把思考寫長、停下來回頭檢查。但純強化學習練出來的版本可讀性差，正式版還是得先用人類示範打底。