🤖 AI工具大全

精选可私有化部署的开源AI工具，搭建你自己的AI平台所需的一切工具尽在于此

🔍
✕ 清除筛选
全部 大语言模型 10 图像与视频生成 10 RAG与知识库 10 AI应用开发框架 9 模型推理与服务 9 运维与部署工具 9
⚡
模型推理与服务 免费开源

vLLM

高性能LLM推理引擎，吞吐量领先

vLLM ⭐ 4.9
🚀
模型推理与服务 免费开源

Text Generation Inference

Hugging Face出品的高性能模型推理服务

Hugging Face ⭐ 4.7
🖥️
模型推理与服务 免费开源

Triton Inference Server

NVIDIA出品的企业级推理服务器

NVIDIA ⭐ 4.7
🔄
模型推理与服务 免费开源

ONNX Runtime

微软开源跨平台推理引擎，支持多硬件加速

Microsoft ⭐ 4.6
🔥
模型推理与服务 免费开源

TensorRT-LLM

NVIDIA LLM推理优化引擎，极致GPU性能

NVIDIA ⭐ 4.7
🍱
模型推理与服务 免费开源

BentoML

AI应用打包和部署平台，从模型到服务一站式

BentoML ⭐ 4.5
🔓
模型推理与服务 免费开源

OpenLLM

开源的LLM微服务和部署平台

BentoML ⭐ 4.4
💎
模型推理与服务 免费开源

SGLang

LLM推理新秀，结构化生成语言

SGLang ⭐ 4.6
📡
模型推理与服务 免费开源

MLServer

Seldon开源的ML模型服务框架

Seldon ⭐ 4.3