TuxAI

llama.cpp

轻量级大模型推理引擎，主打 CPU 运行与模型量化，对低配机器友好。

许可：开源 (MIT) 平台：Linux / Windows / macOS 官方网站

llama.cpp 用 C/C++ 实现，支持多种量化格式（GGUF），在只有 CPU 的机器上也能运行 7B 级模型。适合资源受限场景与嵌入式设备。