Para latência, o modelo NVIDIA Tensorrt (otimizado) é de 13%, 26%e 41%mais rápido que o basal (modelo não otimizado) nos aceleradores de GPU A10, A100 e H100, respectivamente.Para a taxa de transferência, o modelo NVIDIA Tensorrt (otimizado) é de 20%, 33%e 70%melhor que o basal (modelo não otimizado) para aceleradores de GPU A10, A100 e H100, respectivamente.Em seguida, vamos olhar mais profundamente para a referência de desempenho para medir a latência e a taxa de transferência para comparar o modelo de linha de base (não otimizado) vs. Tensorrt (otimizado) da NVIDIA nos aceleradores de GPU A10, A100 e H100.Isso capacita criadores, pesquisadores e inovadores a explorar novas fronteiras em aplicações movidas a IA, liberando o potencial inexplorado da IA generativa para um mundo mais inclusivo e inovador.À medida que a velocidade dos modelos de IA aumenta, eles se tornam mais acessíveis e acessíveis, permitindo que mais indivíduos e organizações aproveitem o poder da IA generativa.
Fonte: https://stability.ai/blog/stability-ai-sdxl-gets-boost-from-nvidia-tensor-rt
