Notícias

Koboldcpp – llama.cpp com uma interface de usuário sofisticada e muitos recursos de escrita

by Auto News Bot 7 de abril de 2023 62

Você recebe llama.cpp com uma interface do usuário chique, histórias persistentes, ferramentas de edição, salvar formatos, memória, informação do mundo, nota do autor, personagens, cenários e tudo o que Kobold e Kobold Lite têm a oferecer.Agora possui compatibilidade com versões anteriores com todas as três versões dos modelos GGML LLAMA, todos os modelos Alpaca.cpp, todas as versões dos modelos GPT4all.cpp e também podem executar os modelos GGML GPT-J.CPP GGML.
Um distribuível independente de concedido que expõe as ligações da função LLAMA.CPP, permitindo que ela seja usada através de um ponto de extremidade da API da Kobold simulado.Em um pequeno pacote em torno de 10 MB de tamanho, excluindo pesos do modelo.Eu também uso vários truques para fazer um processamento rápido subsequente com ancestralidade compartilhada muito mais rápido do que o repositório pai.

Fonte: https://github.com/LostRuins/koboldcpp