深夜的桌面，和一台终于安静下来的电脑
凌晨一点四十，窗外的车流像被雨水压低了声音，只有机箱风扇在桌下轻轻呼吸。我盯着屏幕上那一行行滚动的下载日志，像在等一列晚点的车。你也许有过这种时刻：云端AI很好用，但一旦网络波动、账号受限，整个人就像被隔在门外。那晚我第一次把本地大模型真正跑起来，心里冒出的不是“真厉害”，而是“原来答案可以留在自己电脑里”。
本地部署Ollama和LM Studio，核心不是折腾，而是把“可用”这件事握回自己手里。它适合写代码、整理文档、离线问答，也适合那些不想把敏感内容传到外部服务的人。下面我会按真实安装顺序讲：先做准备，再下载与导入模型，最后验证它是不是已经能稳定工作。
先选路：Ollama偏命令行，LM Studio偏图形界面
如果你搜“Ollama下载”或“LM Studio教程”，很快会发现两者都能本地跑模型，但气质不同。Ollama像一台干净的发动机，适合自动化、API调用、开发场景；LM Studio更像一间灯光柔和的工作室，界面直接，适合先上手再深入。我的经验是：新手先用LM Studio看见结果，熟悉后再补Ollama，会少走很多弯路。
先确认硬件。4B到8B参数模型通常比较友好，16GB内存能跑出基础可用体验；若你只有8GB内存，也不是不能试，但要选更小的量化模型，比如Q4_K_M之类。Mac用户优先看统一内存，Windows用户重点看内存与显存分配。别一开始就冲32B，很多“卡住了”的问题，本质不是软件，而是模型太大。
下面是最省事的起步方式：
- 安装 LM Studio，先在界面里下载一个小模型，例如 Qwen2.5 7B Instruct 或 Llama 3.1 8B 的量化版本。
- 安装 Ollama，打开终端，确认它能正常启动。
- 先让一个模型成功回答问题，再考虑切换为 API、接入编程工具或做知识库。
实战步骤：从安装到第一句回复
Ollama 的基础命令很短，短到像一张便条。Windows、macOS、Linux 安装后，先在终端执行：
ollama --version
ollama run qwen2.5:7b第一次运行会下载模型文件。以 7B 量化模型为例，文件大小常见在 4GB 到 6GB 之间，我在 300Mbps 家用网络下，下载耗时大约 3 到 6 分钟；如果是 100Mbps 左右，通常要 10 分钟以上。下载完成后，直接输入一句测试话，比如“用三句话解释本地大模型的优点”，如果 2 到 5 秒内开始输出，说明基本链路通了。
LM Studio 则更像“点开就用”。打开后在模型库里搜索模型名，下载完成后点击聊天即可。它的好处是直观，能看到上下文长度、GPU/CPU 占用与推理速度。我测试一个 7B 量化模型时，MacBook Air M2 在默认设置下能达到约 18 到 24 tokens/s，足够做日常问答与文案整理；Windows 轻薄本如果主要走 CPU，速度可能降到 4 到 8 tokens/s，这时更适合短问答而不是长篇生成。
如果你想让本地模型可被其他工具调用，Ollama 的 API 很实用。启动后默认会监听本机端口，常见方式如下：
curl http://localhost:11434/api/generate -d '{
"model": "qwen2.5:7b",
"prompt": "写一个三行会议纪要模板"
}'这一步特别适合“Claude怎么用”式的对比思路：你会发现，本地模型不是为了替代所有云端工具，而是补上离线、低延迟、可控性这块拼图。真正在意效率的人，通常会同时保留云端和本地两条路。
常见报错与验证：别急着重装，先看这三处
最常见的问题是模型太大、内存不够、或者下载中断。若模型加载后立刻退出，先看系统资源：内存占用是否接近上限，显存是否被占满，磁盘剩余空间是否低于模型大小的两倍。另一个常见坑是代理或网络环境导致“本地大模型部署教程”里最基础的一步——下载失败。解决办法往往不是换软件，而是换一个更小的模型验证链路。
我自己排查时常用这三步：
- 先用最小模型启动，确认程序本身没坏。
- 再看系统监视器里的内存和显存曲线，判断是不是硬件吃紧。
- 最后检查模型文件是否完整，必要时删掉重下。
如何验证它真的可用了：第一，模型能在 10 秒内完成加载；第二，连续提问三轮不崩溃；第三，复制一段 800 字文本，让它总结成 5 条要点，结果能保持主题一致。若这三条都过关，你的本地AI工作台就算真正站起来了。深夜里我们总想找一个安静、可靠、不会突然失联的回答，而本地模型的意义，大概就在这里——它不喧哗，只是在你需要时，安静地亮着灯。
如果你想要更省心的启动方式，除了自己手动部署，也可以看看像 roxi.cc 这类现成方案；但无论选哪条路，先把模型跑通、把问题定位清楚，才是最稳的开始。