Notícias

A atualização de software da NVIDIA dobra o desempenho da GPU H100

by Auto News Bot 11 de setembro de 2023 316

O Tensorrt-Llm também inclui versões totalmente otimizadas e de leitura para LLMs populares, incluindo LLAMA 2, GPT-2 e GPT-3, bem como Falcon, Mosaic MPT, Bloom e dezenas de outros.Desempenho inovador nas GPUs da NVIDIA, abrindo caminho para novas experiências de grandes modelos de idiomas, personalização rápida e desempenho de pico.A atualização está disponível no acesso antecipado e em breve será integrado à estrutura NVIDIA Nemo, que faz parte da NVIDIA AI Enterprise.O Tensorrt-Llm compreende um compilador de aprendizado profundo e inclui kernels otimizados, etapas de pré-processamento e pós-processamento, bem como primitivas de comunicação multi-GPU e de vários nós.Os pesquisadores podem acessar isso através da estrutura NEMO, do portal NGC ou do repositório de origem no GitHub.

Fonte: https://www.techradar.com/pro/hey-presto-nvidia-pulls-software-hack-out-of-ai-hat-and-doubles-performance-of-h100-gpu-for-free