Triton Inference Server
工具简介
Triton Inference Server是NVIDIA推出的企业级AI推理服务器，支持多种框架（TensorRT、ONNX、PyTorch等）、多种硬件（GPU/CPU/ARM）、动态批处理和模型流水线。是GPU集群推理部署的标准方案。
1
浏览量
0
收藏
4.7
评分