Notícias

Mostrar HN: FEMTOGPT – Implementação de rust pura de um modelo de linguagem GPT

by Auto News Bot 4 de junho de 2023 157

O Femtogpt usa nada além de bibliotecas de geração aleatória (rand/rand-dists), serialização de dados
bibliotecas (Serde/Bincode para salvar/carregar modelos já treinados) e um
Biblioteca de Computação Paralela (Rayon).O Femtogpt é extremamente lento, pois a maioria das operações primitivas (por exemplo, multiplicação da matriz)
são implementados da maneira mais simples possível.Então você precisará correr:
Ele começará a treinar o modelo e colocará os dados de treinamento no trens_data
diretório.Tudo é implementado do zero, incluindo a lógica de processamento do tensor
Juntamente com o código de treinamento/inferência de uma arquitetura GPT mínima.Você só precisará colocar o texto em que deseja treinar seu modelo GPT, dentro
DataSet.txt.

Fonte: https://github.com/keyvank/femtoGPT