YouTube 影片筆記
DeepSeek 把長文本壓成圖像記憶的技術拆解與限制
原片標題：DeepSeek Solved AI’s Memory Problem
原片說明
❤️ Check out Lambda here and sign up for their GPU Cloud: https://lambda.ai/papers
📝 The DeepSeek OCR paper is available here:
https://github.com/deepseek-ai/DeepSeek-OCR
🙏 We would like to thank our generous Patreon supporters who make Two Minute Papers possible:
Adam Bridges, B Shang, Carlos Galarza, Christian Ahlin, Eric Tyson, Juan Benet, Lukas Biewald, Michael Tedder, Owen Skarpness, Ryan Stankye, Shawn Becker, Steef, Taras Bobrovytsky, Tazaur Sagenclaw, Tybie Fitzhugh, Ueli Gallizzi
讓 AI 學會「忘記」，這什麼反向操作？我一開始也覺得莫名其妙，讀越多越貴，結果 DeepSeek 的解法是把整本書壓成一張圖，壓到只剩 10% 空間還能還原 96% 的文字，這根本是魔術吧。Károly 這集就在拆解這個聽起來很怪的點子到底怎麼成立。
影片時間軸
- 00:00開場丟出問題：為什麼 AI 記住一本書最好的方式是停止閱讀
- 00:54把大量文字渲染成圖片，再用類似 JPEG 的方式壓縮
- 01:2810 倍壓縮下丟掉九成空間，仍能還原超過 96% 的文字
- 02:02追問這是不是隻是把 30 年前的 JPEG 搬進來
- 02:59拆解編碼器怎麼在高解析度文件下不爆炸：局部視窗注意力、卷積壓縮、全域視覺處理
- 04:07談限制：模型可能靠語言先驗猜字，而不是真的看見
這不是 JPEG，是壓縮記憶
Károly 特別澄清，JPEG 壓的是像素，這套壓的是記憶。先把記憶變成一張圖，再壓那張圖。關鍵工程在編碼器：先用局部視窗注意力，再過一層 16 倍卷積壓縮，最後做全域視覺處理。講白話就是它不會盯著每個像素看，而是先掃、先擠，最後才讀。這段是整支影片技術含量最高的地方，也是它跟舊壓縮技術真正分道揚鑣的點。
壓縮之外還能生資料
便宜到一個程度之後，用途就不只是記舊資料。論文說單張 A100 一天能生成超過 20 萬頁的訓練資料給 LLM 和 VLM。Károly 對這點的興奮程度明顯高於 OCR 本身，因為這代表開源模型有機會靠它自己長出訓練素材。這裡才是他眼中真正值錢的地方，OCR 只是入口。
限制講得比宣傳清楚
論文自己承認 OCR 不足以證明真正的文字壓縮，後續壓力測試也顯示模型可能重度依賴語言先驗。圖壓得太狠時，它未必真的看見缺漏的字，而是從上下文猜最可能的詞，像更強的自動補全。Károly 沒有閃避這點，反而把它當成判斷這份研究可信度的依據，這種態度比結果本身更值得看。
值得下載嗎
值得，如果你關心開源模型怎麼解決長文本成本，這集把原理、數字和限制都講清楚了。但它是概念拆解不是實作教學，想動手的人還是得回去讀論文。
覺得這篇筆記有幫助嗎？