程序员应该熟悉的概念(7)vLLM和ollama

vLLM(Virtual Large Language Model) 和 Ollama 都是用于运行大语言模型 大语言模型/LLM 的工具,旨在降低本地部署和使用大模型的门槛。应用程序可以通过它们的统一接口,使用不同大模型。 ...

九月 29, 2025 · 1 分钟 · 火云