Cerebras 晶圓級晶片跑 Kimi K3 為何仍需 59 片的配置拆解

晶片已經大到一整片晶圓，為什麼一個 AI 模型還要分到 59 片？這支影片從 Cerebras 公開的 Kimi K3 配置示例出發，用工作桌、工具與工單，拆解模型權重、執行空間和 KV 快取的差別，再看多片晶圓如何沿流水線交棒。 模型放得下，與服務能順利處理請求，是兩個需要一起考慮的問題。單次等待和整體處理量也不同；換成資料中心 GPU，同樣要面對資料存放、傳輸與多卡協調的取捨。 本片分析的是官方示例：4-bit 權重、8-bit KV 快取，並假設平均每個請求為 256k tokens。59 指晶圓數，並非機櫃數、所有模型的最低需求或本頻道實測結果；也不代表 K3.1 Pro 的配置。 章節 00:00 晶片大到一整片，為什麼還要 59 片？ 01:09 SRAM 與每片 44GB 的空間 01:40 模型之外，還要放得下工作 02:23 線性狀態與 KV 快取有何不同？ 03:16 35＋24＝59：官方如何安排？ 03:59 權重留原地，中間結果往前交 05:03 流水線如何接手不同請求？ 06:11 單次等待、micro-batch 與處理量 07:10 換成資料中心 GPU 呢？ 08:08 看晶片大小，也要看資料怎麼走 主要資料來源 Cerebras：How we deploy Trillion-parameter frontier models on Cerebras https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras Moonshot AI：Kimi K3 Model Card https://huggingface.co/moonshotai/Kimi-K3 Hugging Face：How caching works https://huggingface.co/docs/transformers/main/en/cache_explanation NVIDIA：HGX AI Factory Components https://docs.nvidia.com/enterprise-reference-architectures/hgx-ai-factory-h100-h200-b200/latest/components.html NVIDIA：Megatron Bridge Parallelisms Guide https://docs.nvidia.com/nemo/megatron-bridge/latest/parallelisms.html 部分畫面與縮圖使用 AI 視覺合成及自製功能示意，協助理解資料與工作的關係，不代表真實晶片的精確物理布局、實測畫面或官方部署現場。官方素材與編輯示意的來源另有紀錄。