TuxAI

vLLM

面向生产环境的高吞吐大模型推理服务，支持 OpenAI 兼容接口。

许可：开源 (Apache-2.0) 平台：Linux 官方网站

vLLM 面向多用户并发场景，通过 PagedAttention 等技术提升吞吐。主要用于服务端部署，需要较新的 NVIDIA 显卡与较大显存。