SERVIDOR DE INFERÊNCIA NVIDIA TRITON

Compatibilidade com Vários Frameworks

El Servidor de Inferencia Triton es compatible con todos los principales frameworks como TensorFlow, NVIDIA® TensorRT™, PyTorch, MXNet, Python, ONNX, RAPIDS FIL (para XGBoost, scikit-learn, etc.), OpenVINO, C++ personalizado y más.

Inferência de Alto Desempenho

O Triton suporta todas as inferências baseadas em CPU NVIDIA, x86 e ARM®. Ele oferece recursos como lotes dinâmicos, execução simultânea, configuração de modelo ideal, conjunto de modelos e entradas de streaming para maximizar o rendimento e a utilização.

Projetado para DevOps e MLOps

O Triton se integra ao Kubernetes para orquestração e dimensionamento, exporta métricas do Prometheus para monitoramento, oferece suporte a atualizações de modelos ao vivo e pode ser usado em todas as principais plataformas de AI e Kubernetes de cloud público. Também está integrado em muitas soluções de software MLOPS.

Simplifique a Implantação de AI em Escala

Simplifique a implantação de modelos de AI em escala na produção. Saiba como o Triton enfrenta os desafios de implantação de modelos de AI e revise as etapas para começar.

Assista a Sessões On Demand

Confira as últimas sessões on demand do Servidor de Inferência Triton no NVIDIA GTC.

Implante Modelos de Deep Learning de AI

Receba as últimas notícias e atualizações e saiba mais sobre as principais vantagens no Blog Técnico da NVIDIA.

Leia a Documentação do Produto

Veja o que há de novo e saiba mais sobre os recursos mais recentes nas notas de versão do Triton.

O Servidor de Inferência NVIDIA Triton oferece alta taxa de transferência de inferência:

O Triton executa vários modelos da mesma ou de diferentes frameworks simultaneamente em uma única GPU ou CPU. Em um servidor multi-GPU, o Triton cria automaticamente uma instância de cada modelo em cada GPU para aumentar a utilização.

Ele também otimiza o serviço para inferência em tempo real sob restrições estritas de latência, suporta inferência em lote para maximizar a utilização de GPU e CPU e inferência de streaming com suporte integrado para entrada de streaming de áudio e vídeo. O Triton oferece suporte ao conjunto de modelos para casos de uso que exigem vários modelos para realizar inferência de ponta a ponta, como AI conversacional.

Os modelos podem ser atualizados ao vivo na produção sem reiniciar o Triton ou a aplicação. O Triton permite inferência multi-GPU e multi-nó em modelos muito grandes que não cabem em uma única memória de GPU.

O Servidor de Inferência NVIDIA Triton oferece inferência altamente escalável:

Também disponível como um contêiner do Docker, o Triton se integra ao Kubernetes para orquestração, métricas e dimensionamento automático. O Triton também se integra aos pipelines Kubeflow e Kubeflow para um workflow de AI de ponta a ponta e exporta métricas do Prometheus para monitorar a utilização da GPU, latência, uso de memória e taxa de transferência de inferência. Ele suporta a interface HTTP/gRPC padrão para conectar-se a outras aplicações, como balanceadores de carga, e pode ser facilmente dimensionado para qualquer número de servidores para lidar com cargas de inferência crescentes para qualquer modelo.

O Triton pode servir dezenas ou centenas de modelos por meio de uma API de controle de modelos. Os modelos podem ser carregados e descarregados dentro e fora do servidor de inferência com base nas alterações para caber na memória da GPU ou CPU. O suporte a um cluster heterogêneo com GPUs e CPUs ajuda a padronizar a inferência entre plataformas e dimensiona dinamicamente para qualquer CPU ou GPU para lidar com cargas de pico.