🚀

Text Generation Inference

Hugging Face 模型推理与服务免费开源 ⭐ 4.7

访问官网 →

工具简介

Text Generation Inference（TGI）是Hugging Face推出的高性能模型推理服务器，专为大规模文本生成场景优化。支持动态批处理、张量并行、连续批处理、流式响应等生产级特性。

1 浏览量

0 收藏

4.7 评分