Notícias

Mostrar HN: LLM.F90 Implementação de transformador rápido e hackable em Fortran

by Auto News Bot 13 de novembro de 2023 244

A otimização das mãos em muitas plataformas, além de uma grande gama de opções (as que o tornam um projeto de software bom e completo) torna pesado trabalhar.Llama2.c (os nomes são confusos e eu posso alterar o nome deste projeto) é muito hackeable (embora menor do que quando iniciado) e simples de entender.Opções adicionais, como quantização (em desenvolvimento), são preferidas a serem adicionadas como em programas dedicados, em vez de ramos de um programa principal.Os modelos podem carregar um pouco mais rápido se você se converter no formato de arquivo “AK” (da llama2.C de Andrej Karpathy) e carregar isso.Entre este e o Projeto Irmão https://github.com/rbitr/ferrite, você pode criar e personalizar um sistema de recuperação aumentado (RAG) ou outro modelo completo de modelos de idiomas.

Fonte: https://github.com/rbitr/llm.f90