Notícias

Um invólucro de clojure para llama.cpp

by Auto News Bot 24 de julho de 2023 120

O método mais fácil é incluir a dependência nativa correspondente para sua plataforma (incluindo múltiplas é boa, mas aumentará o tamanho de suas dependências).
Um invólucro para llama.cpp
Se você está apenas procurando um modelo para experimentar as coisas, experimente o modelo de bate -papo LLAMA2 7B de 3,6 GB do TheBloke.A biblioteca compartilhada LLAMA.CPP pode ser compilada localmente ou pode ser incluída como uma dependência independente do Maven.NOTA: As ligações LLAMA.CPP FFI são baseadas no 294F424554C1599784AC9962462FC39ACE92D8A5 GIT CONMIT.TODO: Inclua instruções para atualizar as ligações de FFI.

Fonte: https://github.com/phronmophobic/llama.clj