A otimização das mãos em muitas plataformas, além de uma grande gama de opções (as que o tornam um projeto de software bom e completo) torna pesado trabalhar.Llama2.c (os nomes são confusos e eu posso alterar o nome deste projeto) é muito hackeable (embora menor do que quando iniciado) e simples de entender.Opções adicionais, como quantização (em desenvolvimento), são preferidas a serem adicionadas como em programas dedicados, em vez de ramos de um programa principal.Os modelos podem carregar um pouco mais rápido se você se converter no formato de arquivo “AK” (da llama2.C de Andrej Karpathy) e carregar isso.Entre este e o Projeto Irmão https://github.com/rbitr/ferrite, você pode criar e personalizar um sistema de recuperação aumentado (RAG) ou outro modelo completo de modelos de idiomas.
Trending posts dos últimos 30 dias
-
-
-
-
Diretor de Ciências Aplicadas da AWS sobre por que o Gen Ai precisa de raciocínio automatizado
3 de dezembro de 2024| 0 Comments -
