llama.cpp vs vLLM

以下是从 11 个维度对 llama.cpp 和 vLLM 的详细对比。

llama.cpp

C/C++ 实现的 LLM 推理引擎

brew install llama.cpp

高性能 LLM 推理与服务引擎

pip install vllm

工具	价格	GitHub Stars	开源	支持模型	上下文窗口	多文件编辑	Git 集成	MCP 支持	子代理
llama.cpp🔓 C/C++ 实现的 LLM 推理引擎	免费（本地运行）	121K+	✓	GGUF 格式模型（Llama, Mistral, Qwen 等）	可配置（最高 128K+）	—	—	—	—
vLLM🔓 高性能 LLM 推理与服务引擎	免费（BYOGPU）	87K+	✓	主流模型（Llama, Mistral, Qwen 等）	依模型而定	—	—	—	—

llama.cppbrew install llama.cpp

vLLMpip install vllm