128GB記憶體跑AI反而最慢，三台機器實測容量與頻寬差異

記憶體最大，AI 回答就最快嗎？把機房伺服器、電競桌機、桌上小電腦放在一起，從容量、回答速度、多人等待到價格，用白話看懂本地 AI 設備怎麼選。 比較的三個硬體資源：NVIDIA L40S、RTX 5090，以及採用 DGX Spark 平台的華碩 ASUS Ascent GX10。 我是應援快門，假日在球場拍啦啦隊，平日是生成式 AI 研發工程師。這是頻道第一支 AI 硬體影片，歡迎球場老朋友，也歡迎剛接觸 AI 的新朋友。 ⏱ 章節 0:00 容量大，為什麼沒有比較快？ 0:27 從球場到 AI 工作桌 0:56 三個硬體資源 1:17 測試方法：一次講清楚 1:46 一個人用：回答跑得多快 2:17 按下送出：要等多久 2:53 容量：書桌要放模型，也放對話 3:34 頻寬與算力：送書的通道、讀題的本事 4:16 L40S 伺服器實拍 4:57 RTX 5090 桌機實拍 5:21 GX10 實拍與 DGX OS 6:02 RTX 5090 為什麼沒有明顯領先 6:41 找資料的小模型 7:32 多人使用與兩張 L40S 分流 8:32 耗電與溫度 9:17 價格參考：單卡與整機 10:07 怎麼選：先記特色，再回到工作 10:52 RTX PRO 6000 與留言邀請 【實測結果】順序：L40S／RTX 5090／GX10 ・單人生成速度：74.5／69.6／25.6 token/s ・看到第一個字（中位數）：短問答 0.054／0.050／0.161 秒；長文件（約 1.6 萬 token）2.7／2.4／9.0 秒 ・轉成向量：18.0／6.3／15.0 毫秒；重排序 20 段：146／80.9／222 毫秒 ・持續 4 個請求：第一個字約 4.2／4.4／11 秒；總輸出約 146／137／54.9 token/s ・兩張 L40S 分流：第一個字約 75 毫秒，總輸出約 292 token/s ・token 不固定等於一個中文字；「第一個字」含排隊時間。 【測試條件】 ・模型 Google Gemma 4 12B（QAT W4A16 量化），vLLM 三台同版本；測試日期 2026/10/14～10/16。 ・一般比較用一張 L40S、一張 RTX 5090、一台 GX10；多人分流用兩張 L40S，各卡獨立跑服務。 ・RTX 5090 這台同時在跑我們公司客製化的生成式 AI 服務，因此 vLLM 做了特別設定（含 --enforce-eager），輸入長度與記憶體配置也不同；調整後的速度沒有實測。 ・生成時 GPU 忙碌的時間比例：99.9／55.9／96.0%（時間比例，不能換算成速度）。 ・找資料的小模型是 NVIDIA llama-nemotron embed／rerank 1B，不是 Gemma；L40S 上與 12B 模型共用同一張卡，兩台的 vLLM 版本也不同。 ・GX10 向量化與重排序採比照 RTX 5090 的設定，其餘比照 L40S；單人生成速度：比照 5090 那組 23.6、比照 L40S 那組 25.6 token/s。 【功耗、溫度與規格】 ・GPU 回報平均功耗 268／237／37.2 W，不是整機耗電，不能直接換算電費。 ・測試期間最高溫 68／72／86°C，GX10 沒有回報降頻；5 分鐘連續負載三台都沒有降速。 ・記憶體 48（每張）／32／128 GB（GX10 為 CPU、GPU 共用）；規格頻寬 864／1,792／273 GB/s。 ・受測 GX10 為 2TB 版，DGX OS 7.2.3（Ubuntu 24.04.4）。 【價格參考】台幣，價格變動快，購買前請再確認 ・GX10 1TB 整機：PChome 標價 175,900 元（2026/10/17 查詢）；受測機是 2TB。華碩 2025/10 發表建議價 97,900 元為歷史價格。 ・RTX 5090 單卡：2026/07/28 報導中部分微星款式約 16～18 萬元，為歷史報導參考，現價未核實，主機另計。 ・L40S 單卡：整理資料約 24.6 萬元，待核實；正式採購請向經銷商取得完整伺服器報價。 ・GeForce 驅動用於資料中心有授權條款限制。 【資料出處】 GX10 規格：https://www.asus.com/displays-desktops/desktop-ai-supercomputer/ascent/asus-ascent-gx10/techspec/ 華碩發表：https://press.asus.com/tw/news/press-releases/zh-asus-ascent-gx10-ai-supercomputer/ GX10 標價：https://24h.pchome.com.tw/prod/DSAUR0-A900JIS6V RTX 5090：https://www.nvidia.com/zh-tw/geforce/graphics-cards/50-series/rtx-5090/ L40S：https://www.nvidia.com/en-us/data-center/l40s/ 驅動授權：https://www.nvidia.com/en-us/drivers/geforce-license/ 5090 價格報導：https://www.blocktempo.com/taiwan-graphics-card-price-list-rtx-5090-doubles-nvidia-msrp/ L40S 比價（待核實）：https://feebee.com.tw/all/nvidia%20l40s/ RTX PRO 6000 還在採購，等貨到會再考慮另外做一支影片來比較。 如果有想看我們測試哪些大語言模型的功能指標項目，歡迎在下面留言！ 喜歡這種白話的 AI 硬體介紹，歡迎訂閱應援快門 @cheershot_tw。 #本地AI #RTX5090 #DGXSpark #L40S #大語言模型