本地 LLM vs 云端 LLM

核心对比

维度	本地 LLM	云端 LLM
部署成本	硬件投入	按量付费
响应速度	取决于硬件	通常更快
隐私	✅ 完全私有	❌ 数据上传
定制能力	✅ 微调自由	受限
维护成本	自己维护	供应商负责
模型选择	开源模型	闭源+开源

本地 LLM 优势

• 隐私安全：数据不离开本地
• 离线可用：无需网络
• 成本可控：一次性硬件投入
• 定制灵活：可微调、可量化

本地 LLM 劣势

• 硬件要求：需要足够显存/内存
• 质量差距：顶级开源 vs 闭源仍有差距
• 维护成本：需要配置和优化

适用场景

本地 LLM 适合

• 数据敏感场景（医疗、法律、商业）
• 离线环境
• 长期高频使用
• 实验和开发

云端 LLM 适合

• 快速原型
• 非敏感场景
• 追求最强模型
• 低频使用

工具选择

本地部署

• [[llama.cpp]] - 通用 CPU/GPU
• [[Ollama]] - 简易部署
• [[vLLM]] - 高性能推理

云端服务

• OpenAI API
• Anthropic API
• Google AI Studio
• MiniMax API

状态

evergreen

来源

待补充