第八章：本地大模型 - 零API费用的秘密
高级
为什么用本地模型？
- 💰 省钱：零API费用
- 🔒 隐私：数据不出本地
- 🌐 离线：断网也能用
推荐方案
1. Ollama（推荐）
最流行的本地大模型运行工具
# 安装
curl -fsSL https://ollama.com/install.sh | bash
# 运行模型
ollama run llama2
ollama run mistral
ollama run codellama
2. LM Studio
图形界面，更容易上手
下载：lmstudio.ai
3. vLLM
适合服务器/高配置电脑
配置OpenClaw使用本地模型
方式一：OpenClaw内直接配置
openclaw config set model=ollama/llama2
openclaw config set OLLAMA_HOST=http://localhost:11434方式二：配置文件
{
"model": "ollama/llama2",
"ollama": {
"url": "http://localhost:11434"
}
}
模型推荐
| 模型 | 大小 | 配置要求 | 用途 |
|---|---|---|---|
| Llama2 | 7B | 8GB内存 | 通用 |
| Mistral | 7B | 8GB内存 | 代码 |
| Codellama | 7B | 8GB内存 | 编程 |
| Qwen | 14B | 16GB内存 | 中文 |
性能优化
GPU加速
如果有NVIDIA显卡：
ollama serve --gpu量化
减少内存占用：
ollama run llama2:7b-q4适用场景
- ✅ 简单对话
- ✅ 代码补全
- ✅ 文件处理
- ⚠️ 复杂推理（建议用API）
- ❌ 长文本生成
下一步
本地模型会了，学习第九章：安全配置 - 保护你的AI