YTGET

YouTube · Facebook · X · TikTok · Instagram · Threads

零度解說實測 Strata 分片載入讓老電腦跑 125B 大模型

YouTube 影片筆記

零度解說實測 Strata 分片載入讓老電腦跑 125B 大模型

原片標題:太爽了!8~12G 显存就能跑 125B 大模型?Strata 开源神器来了!老电脑也能部署超大模型|零度解说

原片說明
【更多资源】▶https://bittly.cc/lingdu 【零度博客】▶https://www.freedidi.com 【零度同款】下载器:https://www.tdmfast.com 【会员提问】▶https://vip.freedidi.com ------------------------------------- 🔔 1、Strata 开源神器下载:https://www.freedidi.com/25831.html 2、【零度同款】TDM Fast 高速下载器:https://www.tdmfast.com 3、视频去码、秒变高清神器:https://bittly.cc/videox 🪶🥇🥈 会员咨询 / 一对一(限量开放):🔗https://vip.freedidi.com 🔰 安全VPN推荐(最高优惠链接): 1.SurfsharkVPN:https://get.surfshark.net/aff_c?offer_id=390&aff_id=4890 2.ProtonVPN:https://go.getproton.me/aff_c?offer_id=26&aff_id=1905&source=youtube 3.ExpressVPN:https://go.expressvpn.com/c/2612933/1645830/16063 4.PureVPN: https://billing.purevpn.com/aff.php?aff=44074 🚀VPS 推荐(CN2 GIA 直连线路): 1.https://bandwagonhost.com/aff.php?aff=58794 (老牌稳定价格略高) 2.https://www.dmit.io/aff.php?aff=10334 (性价比高但需抢) 🦞 AI 生成对口型视频(支持多语言):https://bittly.cc/heygen 💰比特币交易平台 1.火币官网 : https://www.htx-kol.com/invite/zh-cn/1g?invite_code=48tr7 2.欧易官网: https://www.okx.com/join/15073927 3.币安官网:https://www.binance.com/join?ref=LINGDU ======================= 其它更多精彩内容推荐:😍 https://youtu.be/-VrgBEz-EZ4 https://youtu.be/bowzVW93pig https://youtu.be/uFHtS_kJAUE https://youtu.be/dNsxnuAIIdw https://youtu.be/q1qCzx3sakA https://youtu.be/swafOCGzmow https://youtu.be/5eA7-gWH_2o https://youtu.be/HAXed-ZYEZQ https://youtu.be/nc-EQHtx2W8 https://youtu.be/LQwD0x1Z8ak https://youtu.be/T4eLUtIRy_M https://youtu.be/5XrayNHLWrg https://youtu.be/b_NTQEWJLxw https://youtu.be/lzb5bJS4XtI https://youtu.be/cHIyeTdKB4g https://youtu.be/p8KTaBv7nxw https://youtu.be/UWelKj2LkIU https://youtu.be/JBv-thjmVP8 https://youtu.be/QCvF8mCPwdQ https://youtu.be/NLO0nx4EN24 https://youtu.be/r351ngmDL3Q https://youtu.be/IIcAe2AlROE https://youtu.be/kCrX3Dm4_cY https://youtu.be/UhMim4G79Oo https://youtu.be/xzBiF8TJ_t4 https://youtu.be/Q-FUmOtysyg https://youtu.be/MEZnK8ZOSVw ========================= 零度电报群:https://t.me/lingdujie

8G 視訊記憶體跑 125B 大模型?我原本以為是標題殺人,結果零度解說直接拿一台 24G 顯示卡的機器實測,載入 83.6G 的千問模型,跑得比 llama.cpp 快將近四倍。這不是什麼雲端服務,是在自己電腦上跑。以前這種規模的模型硬體成本要幾十萬,現在幾千塊的老電腦就能扛,這個變化真的有點誇張。

Strata 與 llama.cpp 速度對比
Strata 與 llama.cpp 速度對比00:46

影片時間軸

  1. 00:36左邊 llama.cpp 花 104 秒,右邊 Strata 只花 28.8 秒
  2. 01:40下載 Windows 版安裝檔,安裝過程自動裝引擎包和環境
  3. 02:25軟體偵測到 64G 記憶體加 24G 顯存,推薦 83.6G 的千問模型
  4. 03:54模型開始分片,放進顯存、記憶體和硬碟
  5. 04:24選擇保留 20% 效能給其他軟體,或全效能跑
  6. 06:01丟一個「雪地 FPS 射擊遊戲」任務給它,要求真實槍聲和貼圖
  7. 07:25過了四十多分鐘完成,總共燒掉 300 萬 Token,完全免費
  8. 07:36實際開遊戲測試,雪地場景、換彈、切槍、手榴彈爆炸都正常
模型開始呼叫工具寫遊戲
模型開始呼叫工具寫遊戲06:24

分片載入才是重點

這支影片最核心的資訊在 t=234 那段:Strata 把模型切成好幾塊,核心的放視訊記憶體,其餘丟到記憶體和硬碟。這才是 8 到 12G 視訊記憶體能跑 125B 模型的關鍵,不是什麼壓縮魔術。零度解說自己的機器是 24G 顯示卡加 64G 記憶體,加起來 88G,剛好塞得下 83.6G 的模型。如果你記憶體不夠,它會推薦小一點的模型,不會硬塞。

模型分片載入的過程
模型分片載入的過程03:54

四十多分鐘換一個能玩的遊戲

t=361 之後那段才是真的在測實力。零度解說要它做一個雪地 FPS,要求真實槍聲、真實槍枝貼圖,不能是模型假槍。模型自己派子代理去畫四把槍的貼圖,同時寫遊戲主體,全程 GPU 滿載、視訊記憶體佔 21G。四十多分鐘後成品直接能玩,換彈、切槍、手榴彈爆炸都有。三百萬 Token 零成本,這個數字比什麼跑分都有說服力。

值得下載嗎

如果你手上有一台視訊記憶體 8G 以上、記憶體夠大的舊電腦,這支影片值得看,Strata 也值得裝來玩玩看。但如果你期待的是「隨便一台文書機就能跑」,那還是先確認自己的記憶體夠不夠,不然模型載入階段就會卡住。

覺得這篇筆記有幫助嗎?
YTGet 編輯室|看完影片整理的筆記,細節以原片為準。

連線中

影片封面

擷取畫面

輸入時間點,例如 3:20、3.20 或 200

影片皆已含音訊。檔案越大準備時間越久,完成前請保持頁面開啟。