SGLang
工具简介
SGLang是一个创新的LLM推理框架，引入结构化生成语言来高效编排LLM程序。在前端约束解码、多轮对话缓存等方面有独特优化，推理效率优于vLLM。
1
浏览量
0
收藏
4.6
评分