跳到主要内容

Ollama vs vLLM

以下是从 11 个维度对 Ollama 和 vLLM 的详细对比。

Ollama

本地大模型运行工具,一键跑 LLM

价格
免费(本地运行)
GitHub Stars
176K+
开源
true
支持模型
Llama, Mistral, Gemma, Qwen 等 100+ 模型
上下文窗口
依模型而定
多文件编辑
false
Git 集成
false
MCP 支持
false
子代理
false
平台支持
macOS, Linux, Windows
首发年份
2023
curl -fsSL https://ollama.ai/install.sh | sh

vLLM

高性能 LLM 推理与服务引擎

价格
免费(BYOGPU)
GitHub Stars
87K+
开源
true
支持模型
主流模型(Llama, Mistral, Qwen 等)
上下文窗口
依模型而定
多文件编辑
false
Git 集成
false
MCP 支持
false
子代理
false
平台支持
Linux(需 GPU)
首发年份
2023
pip install vllm

完整对比表

工具价格GitHub Stars开源支持模型上下文窗口多文件编辑Git 集成MCP 支持子代理
Ollama🔓
本地大模型运行工具,一键跑 LLM
免费(本地运行)176K+Llama, Mistral, Gemma, Qwen 等 100+ 模型依模型而定
vLLM🔓
高性能 LLM 推理与服务引擎
免费(BYOGPU)87K+主流模型(Llama, Mistral, Qwen 等)依模型而定

一键安装

Ollamacurl -fsSL https://ollama.ai/install.sh | sh
vLLMpip install vllm