Você realmente precisa de vários terabytes de armazenamento SSD, uma GPU muito melhor e o dobro de RAM no mínimo.Não é o modelo mais robusto, mas é o modelo que eu poderia suportar na minha máquina de envelhecimento e GPU.
Michael Ruminer
Seguir
–
Ouvir
Compartilhar
Comecei uma carga de lhama 3.1 8b na minha máquina local.Como exemplo das especificações da máquina, pude fazer com que o 8B funcionasse com um desempenho muito razoável.De acordo com o modelo 8B, quando solicitado, o modelo 70B precisa:
Fonte: https://m-ruminer.medium.com/started-llama-3-1-8b-locally-5bab61180a28
