Por exemplo:
Deve ter algo assim:
Novamente, quero definir expectativas em torno de ser um projeto de prova de conceito.Você tem 2 opções para obter o modelo
Você pode baixar os modelos pré-convertidos e pré-Quantizados do Google Drive.A maneira mais fácil de experimentar o projeto é pegar os modelos pré-processados e executar o servidor no Docker.
O Turbopilot é um clone de copiloto auto-hospedado que usa a biblioteca por trás do LLAMA.CPP para executar o modelo de codorna Salesforce de 6 bilhões de parâmetros no 4GIB da RAM.Faça um garfo, faça suas alterações e depois abra um PR.
