llama.cpp vs LiteLLM
以下是从 11 个维度对 llama.cpp 和 LiteLLM 的详细对比。
llama.cpp
C/C++ 实现的 LLM 推理引擎
- 价格
- 免费（本地运行）
- GitHub Stars
- 121K+
- 开源
- true
- 支持模型
- GGUF 格式模型（Llama, Mistral, Qwen 等）
- 上下文窗口
- 可配置（最高 128K+）
- 多文件编辑
- false
- Git 集成
- false
- MCP 支持
- false
- 子代理
- false
- 平台支持
- macOS, Linux, Windows
- 首发年份
- 2023
brew install llama.cppLiteLLM
统一 LLM API 代理（100+ 模型接口）
- 价格
- 免费（BYOK）+ 企业版
- GitHub Stars
- 54K+
- 开源
- true
- 支持模型
- 100+ 模型（OpenAI, Anthropic, Google, 本地等）
- 上下文窗口
- 依模型而定
- 多文件编辑
- false
- Git 集成
- false
- MCP 支持
- false
- 子代理
- false
- 平台支持
- macOS, Linux, Windows
- 首发年份
- 2023
pip install litellm完整对比表
| 工具 | 价格 | GitHub Stars | 开源 | 支持模型 | 上下文窗口 | 多文件编辑 | Git 集成 | MCP 支持 | 子代理 |
|---|---|---|---|---|---|---|---|---|---|
llama.cpp🔓 C/C++ 实现的 LLM 推理引擎 | 免费（本地运行） | 121K+ | ✓ | GGUF 格式模型（Llama, Mistral, Qwen 等） | 可配置（最高 128K+） | — | — | — | — |
LiteLLM🔓 统一 LLM API 代理（100+ 模型接口） | 免费（BYOK）+ 企业版 | 54K+ | ✓ | 100+ 模型（OpenAI, Anthropic, Google, 本地等） | 依模型而定 | — | — | — | — |
一键安装
llama.cpp
brew install llama.cppLiteLLM
pip install litellm