YouTube 影片筆記
零度解說實測 Strata 分片載入讓老電腦跑 125B 大模型
YTGet 編輯室
零度解说
觀看 5.7萬
觀看原片
原片標題:太爽了!8~12G 显存就能跑 125B 大模型?Strata 开源神器来了!老电脑也能部署超大模型|零度解说
原片說明
【更多资源】▶https://bittly.cc/lingdu
【零度博客】▶https://www.freedidi.com
【零度同款】下载器:https://www.tdmfast.com
【会员提问】▶https://vip.freedidi.com
-------------------------------------
🔔
1、Strata 开源神器下载:https://www.freedidi.com/25831.html
2、【零度同款】TDM Fast 高速下载器:https://www.tdmfast.com
3、视频去码、秒变高清神器:https://bittly.cc/videox
🪶🥇🥈
会员咨询 / 一对一(限量开放):🔗https://vip.freedidi.com
🔰 安全VPN推荐(最高优惠链接):
1.SurfsharkVPN:https://get.surfshark.net/aff_c?offer_id=390&aff_id=4890
2.ProtonVPN:https://go.getproton.me/aff_c?offer_id=26&aff_id=1905&source=youtube
3.ExpressVPN:https://go.expressvpn.com/c/2612933/1645830/16063
4.PureVPN: https://billing.purevpn.com/aff.php?aff=44074
🚀VPS 推荐(CN2 GIA 直连线路):
1.https://bandwagonhost.com/aff.php?aff=58794 (老牌稳定价格略高)
2.https://www.dmit.io/aff.php?aff=10334 (性价比高但需抢)
🦞
AI 生成对口型视频(支持多语言):https://bittly.cc/heygen
💰比特币交易平台
1.火币官网 : https://www.htx-kol.com/invite/zh-cn/1g?invite_code=48tr7
2.欧易官网: https://www.okx.com/join/15073927
3.币安官网:https://www.binance.com/join?ref=LINGDU
=======================
其它更多精彩内容推荐:😍
https://youtu.be/-VrgBEz-EZ4
https://youtu.be/bowzVW93pig
https://youtu.be/uFHtS_kJAUE
https://youtu.be/dNsxnuAIIdw
https://youtu.be/q1qCzx3sakA
https://youtu.be/swafOCGzmow
https://youtu.be/5eA7-gWH_2o
https://youtu.be/HAXed-ZYEZQ
https://youtu.be/nc-EQHtx2W8
https://youtu.be/LQwD0x1Z8ak
https://youtu.be/T4eLUtIRy_M
https://youtu.be/5XrayNHLWrg
https://youtu.be/b_NTQEWJLxw
https://youtu.be/lzb5bJS4XtI
https://youtu.be/cHIyeTdKB4g
https://youtu.be/p8KTaBv7nxw
https://youtu.be/UWelKj2LkIU
https://youtu.be/JBv-thjmVP8
https://youtu.be/QCvF8mCPwdQ
https://youtu.be/NLO0nx4EN24
https://youtu.be/r351ngmDL3Q
https://youtu.be/IIcAe2AlROE
https://youtu.be/kCrX3Dm4_cY
https://youtu.be/UhMim4G79Oo
https://youtu.be/xzBiF8TJ_t4
https://youtu.be/Q-FUmOtysyg
https://youtu.be/MEZnK8ZOSVw
=========================
零度电报群:https://t.me/lingdujie
8G 視訊記憶體跑 125B 大模型?我原本以為是標題殺人,結果零度解說直接拿一台 24G 顯示卡的機器實測,載入 83.6G 的千問模型,跑得比 llama.cpp 快將近四倍。這不是什麼雲端服務,是在自己電腦上跑。以前這種規模的模型硬體成本要幾十萬,現在幾千塊的老電腦就能扛,這個變化真的有點誇張。
Strata 與 llama.cpp 速度對比00:46
影片時間軸
- 00:36左邊 llama.cpp 花 104 秒,右邊 Strata 只花 28.8 秒
- 01:40下載 Windows 版安裝檔,安裝過程自動裝引擎包和環境
- 02:25軟體偵測到 64G 記憶體加 24G 顯存,推薦 83.6G 的千問模型
- 03:54模型開始分片,放進顯存、記憶體和硬碟
- 04:24選擇保留 20% 效能給其他軟體,或全效能跑
- 06:01丟一個「雪地 FPS 射擊遊戲」任務給它,要求真實槍聲和貼圖
- 07:25過了四十多分鐘完成,總共燒掉 300 萬 Token,完全免費
- 07:36實際開遊戲測試,雪地場景、換彈、切槍、手榴彈爆炸都正常
模型開始呼叫工具寫遊戲06:24
分片載入才是重點
這支影片最核心的資訊在 t=234 那段:Strata 把模型切成好幾塊,核心的放視訊記憶體,其餘丟到記憶體和硬碟。這才是 8 到 12G 視訊記憶體能跑 125B 模型的關鍵,不是什麼壓縮魔術。零度解說自己的機器是 24G 顯示卡加 64G 記憶體,加起來 88G,剛好塞得下 83.6G 的模型。如果你記憶體不夠,它會推薦小一點的模型,不會硬塞。
模型分片載入的過程03:54
四十多分鐘換一個能玩的遊戲
t=361 之後那段才是真的在測實力。零度解說要它做一個雪地 FPS,要求真實槍聲、真實槍枝貼圖,不能是模型假槍。模型自己派子代理去畫四把槍的貼圖,同時寫遊戲主體,全程 GPU 滿載、視訊記憶體佔 21G。四十多分鐘後成品直接能玩,換彈、切槍、手榴彈爆炸都有。三百萬 Token 零成本,這個數字比什麼跑分都有說服力。
值得下載嗎
如果你手上有一台視訊記憶體 8G 以上、記憶體夠大的舊電腦,這支影片值得看,Strata 也值得裝來玩玩看。但如果你期待的是「隨便一台文書機就能跑」,那還是先確認自己的記憶體夠不夠,不然模型載入階段就會卡住。