凌晨两点，把模型请进自己的电脑
凌晨两点，窗外的雨敲着空调外机，像一台慢速运行的机械键盘。我关掉浏览器里最后一个云端聊天窗口，桌面只剩终端的黑底白字。那一刻我忽然想：如果网络断了，如果 Claude免费使用 额度用完了，如果某些资料不方便上传，我们还能不能和 AI 继续安静地说话？这就是我开始写这篇 Ollama下载 与 LM Studio教程 的原因——不是为了炫技，而是为了让一台普通电脑，也能拥有一盏离线的小灯。
先说结论：如果你喜欢命令行、想做 API 调用，优先选 Ollama；如果你想像使用聊天软件一样点点鼠标，LM Studio 更友好。我的测试机器是 Windows 11，32GB 内存，RTX 4060 8GB 显存。7B 量化模型基本可流畅运行，首 token 延迟约 700-1200ms；14B 模型能跑，但显存压力明显，长上下文时会变慢。没有独显也能跑，只是速度可能从每秒 20-40 token 降到 3-8 token，这很正常。
Ollama怎么用：命令行部署与本地 API
Ollama 的好处是干净。安装 Ollama 后，打开终端，先拉一个适合中文和日常问答的模型。我通常从 7B 开始，不要一上来就追大模型，机器先能稳定跑起来，比什么都重要。
安装 Ollama，完成后在终端输入
ollama -v，能看到版本号说明安装成功。拉取模型，例如：
ollama pull qwen2.5:7b。如果磁盘紧张，预留至少 6-10GB 空间。启动对话：
ollama run qwen2.5:7b，然后直接输入问题，比如“用三句话解释什么是向量数据库”。测试本地接口：
curl http://localhost:11434/api/generate -d "{\"model\":\"qwen2.5:7b\",\"prompt\":\"写一段100字的周报总结\",\"stream\":false}"
如果你想让局域网其他设备访问，比如 iPad 或另一台电脑，需要设置监听地址。Windows 可在系统环境变量里加入 OLLAMA_HOST=0.0.0.0:11434，重启 Ollama 后，用同一 Wi-Fi 下另一台设备访问主机 IP 加 11434 端口。注意，家庭网络可用，公司网络请先确认安全策略，不要把接口暴露到公网。
LM Studio教程：图形界面、模型选择与常见坑
LM Studio 更像一间灯光柔和的书房。安装后进入模型搜索页，建议搜索 GGUF 格式模型，例如 Qwen2.5 7B Instruct GGUF、Llama 3.1 8B Instruct GGUF。新手优先选 Q4_K_M 量化版本，体积通常 4-6GB，质量和速度比较平衡。
| 场景 | 建议模型 | 内存/显存建议 |
|---|---|---|
| 中文聊天、写作 | Qwen2.5 7B Instruct Q4_K_M | 16GB 内存起步 |
| 英文资料总结 | Llama 3.1 8B Instruct Q4_K_M | 16-32GB 更稳 |
| 代码解释 | DeepSeek Coder 6.7B GGUF | 8GB 显存体验较好 |
LM Studio下载 并安装后，按这几步走：在 Models 搜索并下载 GGUF 模型；进入 Chat 页面加载模型；把 Context Length 先设为 4096，GPU Offload 开到系统能承受的范围；如果报错或闪退，就降低 GPU Offload，或者换 Q4 量化模型。很多人第一次失败，不是电脑不行，而是模型太大、上下文太长、显存被浏览器和剪辑软件吃掉了。
如果你正在查 Claude注册方法、Claude怎么用，或者想比较云端模型与本地模型，我的建议是：敏感草稿、离线笔记、批量摘要用本地；高难推理、复杂代码审查再交给云端。技术从来不是非黑即白，它更像深夜调频，你要慢慢找到没有杂音的那一格。
如何验证它真的跑通了
验证不要只看“能聊天”。请做三个小测试：第一，断开网络后继续提问，若仍能回答，说明模型确实在本地；第二，在任务管理器里观察 GPU 或 CPU 占用，对话时应明显上升；第三，用同一提示词连续问两次，记录首字延迟和生成速度，我在 7B Q4 模型上测得约每秒 25 token，低于每秒 5 token 时就该考虑换更小模型或降低上下文。
如果最后你只是想少折腾，官方免费路线、Ollama、LM Studio 都足够好；若需要整理更多 AI 工具路径，也可以把睿盈工具作为备选入口看看：https://wizzegroup.com。夜深时，本地模型的意义也许不只是省钱，而是让一部分思考，重新回到自己的桌面上。