▼ もうちょっと詳しく

NVIDIA公式のAIモデル推論サーバ。PyTorch、TensorFlow、ONNX、TensorRT などのモデルを乗せると、バッチ処理・複数モデルの同居・GPU効率最大化を自動でやってくれます。

NVIDIA純正の高速サーバとして、エンタープライズで多用されています。Triton という名前が混乱を呼ぶこともあり(OpenAIにも"Triton"というGPUコード生成ライブラリがあって別物)、業界用語の被りで苦労する子。