YouTube 影片筆記

拆解 AI 從切字到機率抽樣，解釋幻覺成因與 RAG 查核限制

YTGet 編輯室日常科學動起來觀看 3,186 觀看原片

原片標題：日常科技 AI 對話生成原理｜AI 為什麼會一本正經說幹話?

原片說明

你問 AI 一個問題,答案一塊一塊冒出來。那一頭沒有人在打字,是遠方機房裡的一條產線:每跑一圈只吐出一塊 Token,吐完接回去再跑一圈,這就是大家說的「燒 Token」。這一集鑽進機房,看字怎麼變成數字、下一個字怎麼抽出來、為什麼照 Token 計費而且聊越久越貴,還有 AI 為什麼會一本正經說幹話。章節 0:00 片頭 0:17 開場 0:47 第一章字怎麼變成數字 2:15 第二章下一個字怎麼選出來 4:26 燒 Token:怎麼計費、為什麼聊越久越貴 5:09 第三章為什麼會一本正經說幹話 6:55 第三章之二怎麼讓它少說錯 9:44 結尾主要參考:Attention Is All You Need(arXiv 1706.03762)、GPT-3 論文(arXiv 2005.14165)、Holtzman et al. 2019(arXiv 1904.09751)、Why Language Models Hallucinate(arXiv 2509.04664)、Hugging Face Transformers 文件(KV cache) #燒Token #AI幻覺 #大型語言模型 #日常原理 #日常科學動起來 #科學動畫 #科普動畫 #電腦科學 #生成式AI #科技科普 #教育

我每次跟 AI 說「請」和「謝謝」，都覺得自己很有禮貌，結果影片裡說這些客套話一年燒掉好幾千萬美元，也太貴了吧。日常科學動起來這次把鏡頭鑽進機房，從「台灣最高的山」這題開始，拆給你看字怎麼變成數字、下一個字怎麼用轉盤抽出來，還有它為什麼能一臉篤定地講錯話。

影片時間軸

00:21晚上躺在沙發上，在手機輸入「台灣最高的山是哪一座」
01:09第一站：把句子切成 Token，示範「台灣最高的山？」切成七塊
01:41第二站：查號碼，每個 Token 在字典裡都有編號
02:15第四站：進二十八層計算塔算 Attention，塔頂吐出十五萬塊的機率表
03:04第五站：照機率抽樣，解說 Temperature 旋鈕調低調高的差別
03:47第六站：送出「玉」再接回句子，一圈一圈跑出整句答案
07:06加入 RAG：把資料切段、換成 Embedding 存進向量資料庫，提問時找最接近的段落
08:45另一種做法知識圖譜，把事實拆成連線，沿線走兩步查出答案

字先被切成碎塊，再變成座標

模型先切成一塊一塊的 Token，「台灣」一塊、「最高的」一塊，連「魑魅魍魎」都能切成五塊。每塊查字典換成編號，再換成一串一千五百三十六個數字，也就是 Embedding。這串數字有意思的地方是，意思接近的詞數字也接近，貓和狗相似度零點三一，貓和山只有零點零零五。整段最拖的是中間搭電梯進二十八層計算塔那段，但那是 Attention 的核心，跳掉會接不上後面。

它挑的是最順的下一塊，不是真的

答案不是查出來的，是照機率抽出來的。問到「台灣最高的山是」，轉盤上「玉」佔五成七，但「阿里」也有一成二，指標偏偏停在阿里，下一圈接「山」的機率零點九九九，於是它寫出「阿里山」，語氣篤定、句子通順，但是錯的。整條產線裡沒有任何一站在查證，它算的是「接在後面哪一塊最常出現」。影片拿自己的頻道名稱去考小模型，四次有兩次講不清楚，還有一次直接掰出一個成立年份，當場被抓包。

查資料能補，但補不到「對不對」

後面幾站是在產線外面加裝查核機制。RAG 先把資料切段、換成數字存進向量資料庫，你問問題時它也換成數字，去星空裡找最接近的幾段貼進前文，轉盤上「玉」那格就大到幾乎佔滿。知識圖譜則是另一條路，把事實拆成「台灣，最高峰，玉山」這種有名字的連線，沿著線走兩步就是查出來的，不是抽出來的。但影片也講清楚了，查到的資料要是錯的，它常常照著說，RAG 讓它有根據，不保證根據是對的。