Em 21 de agosto de 2023, llama.cpp no
mais longa suporta modelos GGML, e é por isso que estamos prendendo um mais antigo
versão de todas as dependências.Depois de instalar Pytorch, você
pode instalar o onprem.llm com:
Para inferência rápida acelerada por GPU, consulte Instruções adicionais abaixo.Inspirado no
PRITTEGPT GITHUB repo e
Linha de comando LLM de Simon Willison
Utility, Onprem.llm foi projetado para ajudar a integrar LLMs locais em
aplicações práticas.Você também pode fornecer o URL a um LLM do seu
escolhendo LLM (ver
Seção de geração de código abaixo para um exemplo).Você fornece o URL para outros modelos para o
Construtor LLM, como
Fizemos acima no exemplo de geração de código.
