Enquanto isso, usando o suporte a BF16 nativo de Gaudi, os pesquisadores da AWS reduziram os requisitos de tamanho da memória e aumentaram o desempenho do treinamento em comparação com o FP32 para permitir que os modelos Bert 1,5 bilhão.Enviaremos notícias de última hora e análises aprofundadas de CPUs, GPUs, AI, hardware fabricante e mais direto para sua caixa de entrada.Enquanto o Habana Gaudi da Intel oferece desempenho um tanto competitivo e vem com o pacote de software Habana Sinapseai, ele ainda fica aquém em comparação com as GPUs computadas habilitadas para CUDA da Nvidia.Isso, emparelhado com a disponibilidade limitada, é por isso que a Gaudi não foi tão popular para modelos de idiomas grandes (LLMS) como o ChatGPT.A eficiência de escala da Intel Habanagaudi tende a ser relativamente alta e nunca cai abaixo de 90%, com oito instâncias e 64 aceleradores executando um modelo Bert 340 milhões.
Fonte: https://www.tomshardware.com/news/aws-uses-intel-habana-gaudi-for-llvm
