llama.cpp
工具简介
llama.cpp是一个纯C/C++实现的大语言模型推理引擎，以极致的性能优化著称。支持CPU推理、GPU加速、量化推理（2-8bit），内存占用极低。被Ollama、LM Studio等工具作为底层引擎使用，是本地AI部署的核心组件。
1
浏览量
0
收藏
4.8
评分