Notícias

Karpathy’s llama2.c portado para python puro

by Auto News Bot 13 de agosto de 2023 190

Nosso objetivo é preencher a lacuna existente, oferecendo uma implementação de referência clara que encapsula toda a lógica do transformador dentro de um arquivo python conciso, não excedendo 500 linhas de código.Observe que o desempenho atual de nossa implementação é relativamente lento, com aproximadamente ~ 1 tok/s.Embora o Facebook/lhama original esteja escrito no Python, sua complexidade é bastante alta devido a várias dependências e otimizações sofisticadas implementadas dentro.Projetado para um público extenso, ele pretende ser uma “implementação de referência” direta, adequada para fins educacionais.O repositório atual do LLAMA2.C compreende dois arquivos Python destinados ao treinamento do modelo e um arquivo C para inferência.

Fonte: https://github.com/tairov/llama2.py