16GB 到 128GB 本地 AI 模型實測與 Ollama 設定避坑指南

很多人把 AI 裝在自己的電腦上，接上 agent 叫它做事，結果它一直失敗，就以為本地模型太笨。其實很多時候是設定錯了：Ollama 在顯示記憶體小於 24GB 的機器上，預設 context 只有 4k，但 OpenClaw 這類 agent 需要 64k 以上。 這一集照記憶體大小，從 16GB 一路講到 128GB：每一級能跑哪一顆模型、多快、適合做什麼。再講為什麼有的大模型反而比較快（MoE）、要用 LM Studio、Ollama 還是 llama.cpp、哪些用法真的有人做成功、哪些會讓你失望，最後是新手最常踩的五個坑，跟一張一個下午就能鎖好的安全清單。 片中所有速度（tok/s）都是社群上分享的實測，不是我們自己量的；同一台機器換軟體、換設定就會差很多，看大概就好。 📌 七句照做 1. 要接 agent，先把 context 拉到 64k 以上 2. 4-bit 模型 ≈ 參數量 × 0.6 GB，再多留空間給 context 3. 用 Mac 的話，先照記憶體的四分之三來算 4. 16GB 跑小模型；32GB 跑 27B 等級；64GB 開長 context；128GB 才換到大模型 5. 想要快，先試 MoE 模型，再試著換一個軟體 6. 難的交給雲端，私密的、重複的留在本地 7. Ollama 保持只聽本機，agent 的資料夾裡不要放密碼 ⏱ 章節 00:00 你的本地 AI 不笨，是設定錯了 01:25 一、一條規則：放不放得下 02:45 二、16GB 到 128GB 能跑什麼 06:52 三、為什麼有的大模型反而快（MoE） 08:13 四、用什麼軟體：LM Studio、Ollama、llama.cpp 09:15 五、拿來做什麼、做不好什麼 11:52 六、新手五個坑＋一個下午鎖好的清單 14:25 什麼時候才該升級＋七句整理 📄 官方文件與報導 ・Ollama 官方文件｜Context length（預設 4k／32k／256k）：https://docs.ollama.com/context-length ・Ollama 官方文件｜OpenClaw 整合（建議至少 64k）：https://docs.ollama.com/integrations/openclaw ・OpenClaw 官方文件｜Local models：https://docs.openclaw.ai/gateway/local-models ・Ollama 官方文件｜FAQ：https://docs.ollama.com/faq ・MLX-LM（Apple）｜大模型與 wired memory：https://github.com/ml-explore/mlx-lm ・LM Studio｜系統需求：https://lmstudio.ai/docs/app/system-requirements ・Qwen3.8-27B model card：https://huggingface.co/Qwen/Qwen3.8-27B ・Qwen3.8-Flash-Next model card：https://huggingface.co/Qwen/Qwen3.8-Flash-Next ・Gemma 4 26B-A4B model card：https://huggingface.co/google/gemma-4-26B-A4B-it ・Qwen3.6-35B-A3B model card：https://huggingface.co/Qwen/Qwen3.6-35B-A3B ・gpt-oss-20b model card：https://huggingface.co/openai/gpt-oss-20b ・Unsloth GGUF（4-bit 檔案大小）：https://huggingface.co/unsloth/Qwen3.8-27B-GGUF ・The Hacker News｜175,000 台 Ollama 伺服器對外開放：https://thehackernews.com/2026/01/researchers-find-175000-publicly.html ・Level1Techs｜Why your local LLM feels dumber than it is：https://forum.level1techs.com/t/why-your-local-llm-feels-dumber-than-it-is/253917 ・Windows Report｜GitHub Copilot 在本地與雲端模型之間切換：https://windowsreport.com/github-copilot-will-soon-switch-between-local-and-cloud-ai/ ・The New Stack｜Perplexity 在 Mac 上的 Hybrid Compute：https://thenewstack.io/perplexity-hybrid-compute-mac/ 🎬 參考影片 ・Tina Huang｜Every Size Local AI In 24 Minutes：https://www.youtube.com/watch?v=rPGJhrunbxo ・Kai｜Every Ways to Get 128GB VRAM for Local AI at Full Context：https://www.youtube.com/watch?v=NA9D49kQFuU ・Kai｜Is 16GB All You Need for Serious Local LLM?：https://www.youtube.com/watch?v=i9mRnbdDYxk ・Kai｜Your Local AI Is Not as Private as You Think：https://www.youtube.com/watch?v=3mx84MRj8lY 你的電腦是幾 GB？跑了哪一顆模型、拿來做什麼？留言告訴我。 歡迎請我喝杯咖啡，幫助我繼續把節目做得更好唷～！ 👉 https://buymeacoffee.com/ailanrenbao