Notícias

Python Bindings para llama.cpp

by Auto News Bot 12 de julho de 2023 153

Instale no Pypi (requer um compilador C):
O comando acima tentará instalar o pacote e criar llama.cpp a partir da fonte.Para instalar o pacote do servidor e começar:
Navegue para http: // localhost: 8000/docs para ver a documentação do OpenAPI.Por exemplo:
Caso contrário, ao instalar, construirá a versão llama.ccp x86, que será 10x mais lenta no Mac Apple Silicon (M1).Isso permite que você use modelos compatíveis com llama.cpp com qualquer cliente compatível com o OpenAI (bibliotecas de idiomas, serviços etc.).Abaixo está um pequeno exemplo demonstrando como usar a API de baixo nível para tokenizar um prompt:
Confira a pasta Exemplos para obter mais exemplos de uso da API de baixo nível.

Fonte: https://github.com/abetlen/llama-cpp-python