Notícias

Mostrar HN: Llama correndo em um microcontrolador

by Auto News Bot 15 de novembro de 2023 377

Clone este repositório com seus submódulos karpathy/llama2.c (especificamente a versão quantizada de 8 bits) e maxbbraun/coralmicro (um garfo para maximizar o tamanho da pilha):
Algumas das ferramentas usam Python.A placa possui vários recursos puros de hardware que não estão sendo usados aqui (principalmente uma TPU, sensores e um segundo núcleo da CPU).A qualidade das versões do modelo menor não é ideal, mas boa o suficiente para gerar histórias um tanto coerentes (e ocasionalmente estranhas).Isso é pequeno para o LLMS, que geralmente é medido no GBS, mas comparativamente enorme para um microcontrolador.No entanto, também possui 64 MB de RAM.

Fonte: https://github.com/maxbbraun/llama4micro